Исследование Unit 42 выявляет уязвимости больших языковых моделей с помощью метода prompt fuzzing

Специалисты Unit 42 представили результаты исследования, в котором с применением метода prompt fuzzing, вдохновлённого генетическими алгоритмами, была выявлена хрупкость современных больших языковых моделей (LLM) — как открытых, так и закрытых. Работа демонстрирует масштабируемые методы обхода встроенных защит и подчёркивает важность усиления безопасности генеративного искусственного интеллекта (GenAI).

В ходе исследования команда Unit 42 применила инновационный подход к тестированию LLM, используя алгоритмы, имитирующие естественный отбор, для создания разнообразных вариантов запросов (prompt fuzzing). Это позволило выявить слабые места в текущих защитных механизмах моделей, которые зачастую не способны эффективно фильтровать или блокировать нежелательные или вредоносные запросы. В результате были обнаружены способы обхода ограничений, что ставит под угрозу безопасность и надежность систем на базе ИИ.

Для организаций, управляющих внешней поверхностью атаки, эти выводы имеют особое значение. Большие языковые модели всё активнее интегрируются в бизнес-процессы, включая автоматизацию поддержки клиентов, генерацию контента и анализ данных. Уязвимости в защитных механизмах LLM могут привести к утечкам конфиденциальной информации, распространению вредоносного кода или манипуляциям с данными, что существенно увеличивает риски внешних атак.

Особое внимание следует уделить следующим аспектам:

• Масштабируемость обхода защит — методы prompt fuzzing позволяют создавать большое количество вариантов запросов, что усложняет обнаружение и блокировку злоупотреблений.
• Универсальность уязвимостей — как открытые, так и закрытые модели демонстрируют схожие слабые места, что говорит о необходимости комплексного подхода к безопасности.
• Влияние на доверие к GenAI — успешные атаки могут снизить доверие пользователей и клиентов к решениям на базе ИИ, что негативно скажется на бизнес-репутации.

Для команд информационной безопасности и специалистов по управлению внешней поверхностью атаки рекомендуется:

• Внедрять регулярное тестирование LLM с использованием методов prompt fuzzing для выявления и устранения уязвимостей.
• Усиливать многоуровневые механизмы фильтрации и мониторинга запросов к языковым моделям.
• Обеспечивать прозрачность и аудит взаимодействий с ИИ-системами, чтобы своевременно обнаруживать аномалии.
• Обучать сотрудников и пользователей основам безопасного взаимодействия с генеративным ИИ.
• Рассматривать интеграцию специализированных решений по защите GenAI в общую стратегию кибербезопасности.

Данное исследование подчёркивает, что несмотря на быстрый прогресс в области больших языковых моделей, их безопасность остаётся критическим вызовом. Компании, использующие такие технологии, должны активно инвестировать в выявление и устранение уязвимостей, чтобы минимизировать риски и сохранить устойчивость своих цифровых экосистем.