Аннотаторы ошибаются в эмоциях – исследование
Исследователи из Университета Пенсильвании изучили, насколько точно сторонние аннотаторы — как люди, так и языковые модели — определяют эмоции, выраженные в текстах. Результаты, опубликованные в препринте на arXiv, показали, что третьи лица часто ошибаются в интерпретации чужих эмоций.
Машинное обучение и большие языковые модели (LLM), такие как ChatGPT, обучаются на размеченных данных, где люди отмечают ключевые особенности, включая эмоции. Однако исследование выявило, что аннотаторы редко учитывают разрыв между тем, что автор действительно чувствовал, и тем, как его текст воспринимают другие.
«Это не просто ошибка разметки — несоответствие может распространяться через модели и подрывать надежность приложений», — объясняет Сара Райтмайер, соавтор работы.
Методология
Участники исследования — пользователи соцсетей — сначала отмечали эмоции, которые они вкладывали в свои посты. Затем разные группы аннотаторов, включая LLM, пытались определить эти эмоции. Точность оценивалась с помощью F1-меры и статистических тестов.
Выяснилось, что:
- Люди лучше понимают эмоции тех, кто демографически похож на них.
- LLM показывают небольшое, но значимое улучшение, если им сообщают демографические данные автора.
Последствия для NLP
Результаты ставят под сомнение распространенное предположение, что сторонние аннотаторы могут точно определять эмоции по тексту. Это особенно критично для приложений вроде поддержки ментального здоровья или эмпатического общения, где важно понимать именно авторские эмоции, а не их интерпретацию.
Исследователи предлагают учитывать демографические сходства при разметке данных и разрабатывать более точные модели эмоций, выходящие за рамки стандартных категорий.
Работа будет представлена на конференции ACL 2025 в Вене.
