
A Anthropic divulgou pela primeira vez métricas sobre como o Claude participa da criação de futuros modelos de IA. Segundo dados citados pelo The Decoder, o Claude agora "lidera» 26% desse trabalho, contra menos 1% em fevereiro.
No entanto, a formulação exige cautela. A fonte observa que a escala geral do trabalho é incerta e que a avaliação foi realizada pelo próprio Claude. Além disso, a palavra "lidera" significa menos do que pode parecer a partir dessa métrica.
A publicação é importante como uma tentativa da Anthropic de medir a participação da IA em suas próprias pesquisas, mas os dados apresentados são insuficientes para comparar 26% com a fração de trabalho totalmente executado ou para tirar conclusões sobre a autonomia do modelo.
comentário editorial
Por que importa
A provável consequência é o aumento do interesse em métricas de participação da IA no desenvolvimento de sistemas de IA. O próximo sinal observável será uma publicação da Anthropic com uma definição precisa do indicador e verificação independente. Uma incerteza significativa relaciona-se ao fato de estar disponível apenas um resumo da fonte, e a avaliação ser atribuída ao próprio Claude.