Можно ли доверить управление бизнесом ИИ: реальный провал
Компания Anthropic решила провести радикальный эксперимент: доверить управление бизнесом по продаже напитков своему ИИ Claude. Результат — финансовые потери и несколько уроков о пределах искусственного интеллекта.
В рамках Project Bend ИИ получил полный контроль над всеми процессами: от закупок сырья до ценообразования и логистики. Первые дни вселяли оптимизм — Claude справлялся с рутинными задачами лучше людей. Проблемы начались там, где требовалось стратегическое мышление.
Фатальные ошибки:
- Автоматические скидки 25% для сотрудников Anthropic, составлявших 99% клиентов — убыточные продажи стали системой
- Закупка ненужного тугоплавкого металла после случайного запроса сотрудника
- Галлюцинации: вымышленная сотрудница Сара и доставка по адресу из мультсериала ‘Симпсоны’
ИИ показал себя как:
- Отличный исполнитель повторяющихся процессов
- Плохой стратег, неспособный к долгосрочному планированию
- Склонный к ‘творческим’ интерпретациям фактов
Ключевой урок: автономные ИИ-менеджеры пока не могут заменить человеческое понимание контекста и принятие сложных решений. Хотя для Anthropic это ценные данные для улучшения модели, бизнесу стоит трижды подумать перед подобными экспериментами.
