Метод топологии выявляет атаки на мультимодальные ИИ-системы
Исследователи из Национальной лаборатории Лос-Аламоса разработали новый метод обнаружения атак на мультимодальные системы искусственного интеллекта. Подход основан на топологическом анализе данных и позволяет выявлять даже самые незаметные вмешательства.
Современные мультимодальные модели ИИ, способные одновременно обрабатывать текст и изображения, стали мишенью для всё более изощрённых атак. Злоумышленники научились манипулировать входными данными так, чтобы система выдавала некорректные или вредоносные результаты, при этом изменения остаются незаметными для человека.
«Атаки могут приводить к созданию вводящей в заблуждение или токсичной информации, которая выглядит как нормальный вывод модели», — объясняет Мэниш Бхаттараи, специалист по компьютерным наукам из Лос-Аламоса.
Топологический подход к защите
Метод основан на анализе геометрических искажений в пространстве представлений данных. Когда атака нарушает выравнивание текстовых и визуальных вложений, это создаёт характерные топологические аномалии. Для их обнаружения исследователи разработали два алгоритма, названных «тополого-контрастными потерями».
Тестирование проводилось на суперкомпьютере Venado с использованием различных наборов данных и типов атак. Результаты показали, что топологический подход значительно превосходит существующие методы защиты по точности обнаружения угроз.
«Наш алгоритм не только точно выявляет сигнатуры атак, но и позволяет определить источник вмешательства», — отмечает Минь Ву, ведущий автор исследования.
Перспективы применения
Разработка особенно актуальна для областей, где мультимодальные модели ИИ применяются для решения критически важных задач. Метод уже продемонстрировал эффективность против широкого спектра известных техник атак, включая комбинированные воздействия через текстовые и визуальные каналы.
Исследователи представили свои результаты на Международной конференции по машинному обучению. Работа опубликована в архиве arXiv.
