ИИ Meta Llama 4 Maverick показал худшие результаты в тесте на фоне конкурентов

Стандартная версия модели, названная «Llama-4-Maverick-17B-128E-Instruct», заняла только 32-е место, уступив лидерам вроде GPT-4o от OpenAI, Claude 3.5 Sonnet от Anthropic и Gemini 1.5 Pro от Google. Эти конкуренты, многие из которых были выпущены раньше, обошли Maverick по качеству диалогов.

Ранее Meta вызвала споры, использовав экспериментальную версию Maverick, «оптимизированную для разговоров», чтобы добиться высокого результата в том же тесте. После критики организаторы LM Arena изменили правила и протестировали обычную версию, которая оказалась менее впечатляющей. LM Arena — это площадка, где модели ИИ соревнуются в естественности и полезности ответов, что важно для разработчиков.

Представитель Meta пояснил, что компания экспериментирует с разными вариантами моделей, а Llama 4 теперь открыта для доработки сообществом.