Искусственный интеллект всё активнее проникает в повседневную жизнь, помогая машинам имитировать человеческие действия. Однако насколько хорошо ИИ справляется с реальной работой? Чтобы это выяснить, исследователи создали фиктивную компанию, полностью укомплектованную виртуальными сотрудниками — агентами на основе различных ИИ-моделей.
В проекте приняли участие такие технологии, как Claude, GPT-4, Gemini, Amazon Q, Groq (Сверхновая), Meta Llama и Quen. Каждому агенту были поручены типичные офисные задачи: навигация по папкам, организация виртуальных туров и взаимодействие с веб-страницами. Результаты оказались далеко от идеальных — ИИ-агенты провалили более 75% заданий.
Лидером среди участников стал Claude 3.5 Sonnet, выполнивший 24% поставленных задач с итоговой оценкой 34,4%. Второе место занял Gemini 2.0 Flash с результатом выполнения 11,4% заданий. Остальные участники не смогли преодолеть даже 10%-ный рубеж.
Подробнее https://www.pravda.ru/news/science/2213352-a...