Artificial Analysis запустила Optima — платформу, на которой пользователи могут создавать собственные тесты ИИ-моделей на основе своих данных и рабочих процессов.
Optima позволяет сравнивать модели не только по качеству, но также по стоимости и времени выполнения задачи. В описании платформы отдельно отмечено, что для приложений на основе агентов такие показатели могут быть информативнее одной лишь цены токенов.
Источник не приводит данных о числе пользователей, результатах конкретных тестов или сравнении отдельных моделей. Информация основана на синопсисе The Decoder, а не на полном тексте первоисточника.
комментарий редакции
Что это значит
Вероятное следствие — пользователи будут чаще выбирать модели по совокупной эффективности конкретной задачи, а не по универсальному рейтингу или цене токенов. Следующим наблюдаемым сигналом станут опубликованные сравнения на реальных пользовательских данных. Существенная неопределённость — в источнике нет сведений о методике Optima, масштабе запуска и результатах тестирования.