GPT-4o aumentou as notas da tarefa de marketing em quase um ponto na escala de cinco pontos em um experimento com a participação de 1 053 estudantes da Bocconi University. Isso, segundo The Decoder.
Ao mesmo tempo, a descrição do experimento não informa se os pesquisadores verificaram o que os estudantes realmente aprenderam. Portanto, uma nota mais alta, neste caso, não equivale a um aumento comprovado do conhecimento.
The Decoder também aponta para outros estudos que, de acordo com eles, realizar tarefas com IA sem pensamento independente está associado a danos a longo prazo. No pacote fornecido não há detalhes sobre esses estudos, portanto essa afirmação requer verificação adicional.
comentário editorial
Por que importa
Provável consequência — aumento das controvérsias sobre o que exatamente as notas universitárias medem ao usar IA. O próximo sinal observado serão estudos onde as notas finais são comparadas com verificações independentes do conhecimento. A incerteza substancial persiste: no material fornecido não há metodologia do experimento, dados sobre aprendizado de longo prazo e detalhes dos estudos mencionados.