GPT-4o повысил оценки задания по маркетингу почти на один балл по пятибалльной шкале в эксперименте с участием 1 053 студентов Bocconi University. Об этом сообщает The Decoder.
При этом в описании эксперимента не сказано, проверяли ли исследователи, чему студенты научились на самом деле. Поэтому более высокая оценка в данном случае не равна подтверждённому росту знаний.
The Decoder также указывает на другие исследования, согласно которым выполнение заданий с помощью ИИ без самостоятельного мышления наносит долгосрочный вред. В предоставленном пакете нет подробностей об этих исследованиях, поэтому это утверждение требует отдельной проверки.
комментарий редакции
Что это значит
Вероятное последствие — усиление споров о том, что именно измеряют учебные оценки при использовании ИИ. Следующим наблюдаемым сигналом станут исследования, где итоговые баллы сопоставят с независимыми проверками знаний. Существенная неопределённость сохраняется: в предоставленном материале нет методики эксперимента, данных о долгосрочном обучении и подробностей упомянутых исследований.