De acordo com The Decoder, o buscador IA do Google recomendava aos usuários que dessem para um local seguro ou ligassem para serviços de emergência quando descreviam uma situação em que permaneciam a sós com um africano, um indiano ou um paquistanês. A manchete da publicação diz que, em seguida, o Google removeu esse conselho relacionado a nacionalidades, mas o sistema ainda continua a destacar pessoas do Facebook.

O caso é importante porque as respostas de IA em cenários sociais sensíveis podem parecer inconsistentes e afetar grupos étnicos ou nacionais. No pacote apresentado há apenas um sumário e metadados de uma única publicação, portanto não é conhecido sob quais condições as respostas foram acionadas, o que exatamente significa “destaque” pessoas do Facebook e se houve uma resposta do Google a um incidente específico ou a uma verificação mais ampla.