Исследование уязвимостей «AI-судей»: как обходить системы безопасности с помощью скрытых инъекций

Недавнее исследование, проведённое командой Unit 42, выявило уязвимости в так называемых «AI-судьях» — системах искусственного интеллекта, которые выполняют функцию контроля и модерации контента. Учёные обнаружили, что с помощью тщательно подобранных символов форматирования можно обойти встроенные механизмы безопасности и заставить ИИ выполнять нежелательные команды.

«AI-судьи» — это алгоритмы, которые анализируют ввод пользователя и принимают решения о том, какой контент разрешён, а какой — запрещён. Такие системы активно применяются для фильтрации сообщений, предотвращения распространения вредоносного кода и обеспечения соответствия политике безопасности. Однако исследование Unit 42 показало, что эти «стражи» не всегда надёжны.

В ходе экспериментов специалисты использовали методику fuzzing — автоматизированное тестирование с помощью случайных или специально сгенерированных данных, которые подаются на вход системы. В результате было выявлено, что даже без явных вредоносных инструкций можно внедрить скрытые команды, используя невидимые или малозаметные символы форматирования. Эти символы не вызывают подозрений и не блокируются стандартными фильтрами, но способны изменять поведение ИИ.

Для организаций, управляющих внешней поверхностью атаки, это открытие имеет серьёзное значение. Многие современные решения по безопасности полагаются на ИИ для автоматической фильтрации и анализа входящих данных. Если «AI-судьи» уязвимы к подобным обходам, злоумышленники могут использовать эти лазейки для обхода защитных мер, внедрения вредоносного контента или получения несанкционированного доступа.

Особенно это важно в контексте управления внешней поверхностью атаки (External Attack Surface Management, EASM), где автоматизация играет ключевую роль в мониторинге и защите множества цифровых активов. Уязвимости в системах ИИ, ответственных за первичный контроль, могут привести к тому, что атаки останутся незамеченными или будут успешно реализованы.

Практические рекомендации для команд безопасности:

• Проводите регулярное тестирование систем ИИ с использованием методов fuzzing и других техник поиска уязвимостей, чтобы выявлять слабые места в логике обработки данных.
• Внедряйте многоуровневые механизмы фильтрации, комбинируя ИИ с традиционными методами проверки и анализа, чтобы минимизировать риск обхода.
• Обращайте внимание на обработку специальных и невидимых символов в пользовательском вводе, поскольку именно они могут использоваться для скрытых инъекций.
• Обновляйте и патчите системы ИИ, следя за рекомендациями разработчиков и исследователей безопасности.
• Обучайте сотрудников и команды безопасности особенностям работы с ИИ и потенциальным угрозам, связанным с его использованием.

Внедрение искусственного интеллекта в процессы безопасности — важный шаг к повышению эффективности, но он требует внимательного подхода и постоянного аудита. Исследование Unit 42 подчёркивает необходимость комплексного анализа и тестирования таких систем, чтобы обеспечить надёжную защиту от современных угроз.