Selon The Decoder, l’IA de recherche de Google conseillait aux utilisateurs de se mettre en sécurité ou de contacter les services d’urgence lorsqu’ils décrivaient une situation où ils se retrouvaient seuls face à une personne africaine, indienne ou pakistanaise. Le titre de la publication indique que Google a ensuite retiré ce conseil lié à des nationalités, mais que le système continue de mettre en évidence des personnes issues de Facebook.

L’affaire est importante car les réponses de l’IA dans des scénarios sociaux sensibles peuvent sembler incohérentes et viser des groupes ethniques ou nationaux. Dans le paquet de sources, il n’y a qu’un seul résumé et des métadonnées concernant une publication, il est donc inconnu dans quelles conditions les réponses ont été générées, ce que signifie exactement « mettre en évidence » des personnes de Facebook et s’il s’agit d’un incident isolé ou d’un contrôle plus large.