Nach Angaben von The Decoder gab Googles Such-KI Nutzern den Rat, sich in eine sichere Gegend zu begeben oder die Notrufnummer zu wählen, wenn sie eine Situation beschrieben, in der sie allein mit einem Afrikaner, Inder oder Pakistani sind. Der Titel der Veröffentlichung berichtet, dass Google diesen Rat, der mit Nationalitäten verbunden war, entfernt hat, das System markiert jedoch weiterhin Personen aus Facebook.

Der Fall ist wichtig, weil KI-Antworten in sensiblen sozialen Szenarien unklar erscheinen können und ethnische oder nationale Gruppen betreffen. Im bereitgestellten Paket gibt es nur eine Synopsis und Metadaten einer Veröffentlichung, daher ist unklar, unter welchen Bedingungen Antworten ausgelöst wurden, was genau bedeutet, dass das System „Personen aus Facebook markiert“ und ob Google auf einen einzelnen Vorfall oder eine breitere Prüfung reagiert hat.