Искусственный интеллект теряет точность при решении сложных задач
Исследование Apple выявило фундаментальные ограничения современных ИИ-моделей. Оказалось, что крупные модели рассуждений (LRM) демонстрируют «полный коллапс точности» при решении сложных задач. Проще говоря, чем труднее вопрос — тем хуже результат.
С простыми задачами модели справляются неплохо, но с ростом сложности начинаются странности:
- ИИ сначала тратит вычислительные ресурсы на правильные решения простых подзадач
- Затем переходит к исследованию неверных вариантов
- В какой-то момент просто сдаётся и выдаёт полную ерунду
Особенно забавно, что при приближении к критическому порогу сложности модели снижают усилия, хотя логичнее было бы наоборот. Видимо, даже искусственный интеллект иногда предпочитает «не париться».
Кто провалил тесты
В исследовании участвовали топовые модели:
- Google Gemini Thinking
- OpenAI o3
- Claude 3.7 Sonnet-Thinking
- DeepSeek-R1
Результаты одинаково разочаровывающие. Даже когда моделям давали готовые алгоритмы решения, они всё равно ошибались в сложных случаях.
Вывод исследователей: текущие технологии ИИ имеют принципиальные ограничения в способности к рассуждениям. Похоже, до настоящего мышления машинам ещё далеко. Хотя, если честно, многие люди в сложных ситуациях ведут себя примерно так же.
