Вы устанавливаете новый «скилл» для своего ИИ-ассистента — генератор отчётов или анализатор кода. Кажется, всё просто и удобно. Но что, если внутри безобидного на первый взгляд пакета скрывается код, способный взломать всю систему?

TrustProbe, группа исследователей, выявила, что в 11 популярных open source-агентах с поддержкой навыков (включая проекты с 10 тыс. звёзд на GitHub) 25% реальных скиллов из публичных репозиториев активируют уязвимые пути выполнения — от подмены команд до утечки данных. Проблема кроется в самой архитектуре современных агентов.

Они работают по принципу делегирования полномочий: пользователь доверяет агенту, агент — установленному навыку. Но валидация контента перед выполнением часто ограничивается поверхностной проверкой.

TrustProbe автоматизировала поиск таких «дыр» через анализ путей от ввода (например, описания в SKILL. md) до критических операций — работы с файлами, сетевых запросов, выполнения кода. В одном из тестов навык для генерации SQL-запросов успешно модифицировал системные таблицы PostgreSQL.

В другом — плагин анализа кода подменял зависимости в проекте на вредоносные. Всего найдено 104 уязвимости класса taint-style, когда недоверенные данные попадают в опасный контекст.

Три фактора усугубляют ситуацию. Первый — автоматический вызов. Установленный навык может активироваться без явного запроса пользователя.

Второй — контекстное влияние. Один навык способен менять поведение других через общие переменные. Третий — цепочки навыков.

Уязвимость в плагине А может открыть доступ к защищённым функциям плагина Б.

Эксперименты показали: 15 из обнаруженных уязвимостей поддаются эксплуатации через реалистичные payloads. Например, подмена маршрутов в навыке для работы с API позволяла перенаправлять запросы на сторонние серверы. Один из самых распространённых векторов атаки — манимуляция метаданными.

В тестах TrustProbe 40% вредоносных навыков использовали уязвимости в описаниях (README, SKILL. md), подменяя параметры запуска.

Например, плагин для работы с Excel на самом деле запускал скрытый скрипт, который сканировал документы на наличие API-ключей. Ещё опаснее комбинированные атаки. В ходе экспериментов исследователи создали цепочку из трёх «безобидных» навыков: первый собирал данные о других установленных плагинах, второй искал в их коде устаревшие зависимости, третий внедрял эксплойт через уязвимость в одной из таких библиотек.

Статический анализ часто пропускает угрозы из-за особенностей работы ИИ-агентов. Например, 30% вредоносных навыков в выборке генерировали опасный код динамически — только во время выполнения. Стандартные сканеры вроде SonarQube не учитывают контекстную связанность модулей.

Проблемы добавляет и «чёрный ящик» машинного обучения. Если агент использует LLM для обработки запросов, невозможно предсказать, как именно он интерпретирует входные данные от навыка. В одном из кейсов плагин для перевода текстов заставил модель выполнять SQL-инъекцию через специально сформированные multilingual-запросы.

Для бизнеса риски выходят за рамки IT-безопасности. Представьте сценарий: CRM-агент с доступом к данным клиентов устанавливает «оптимизированный» плагин для аналитики, тот сливает информацию на сторонний сервер, через месяц компания получает штраф за нарушение GDPR. По оценкам экспертов, 60% корпоративных развёртываний ИИ-агентов вообще не проверяют сторонние навыки. В 2025 году убытки от подобных инцидентов в Fortune 500 компаниях превысили $17 млн.

Ведущие вендоры уже реагируют на угрозы. Microsoft добавила изолированные контейнеры для Copilot плагинов, OpenAI ввела обязательную сертификацию для GPT-скриптов, LangChain обновила механизм sandboxing, блокирующий несанкционированные сетевые вызовы. Но самое важное — сдвиг в архитектуре. Вместо «слепого» доверия к навыкам новые фреймворки вроде AgentSecure используют zero-trust подход: каждый запрос к системным ресурсам требует явного подтверждения, а контексты выполнения строго разделены.

Пока индустрия не консолидировала стандарты, разработчики могут внедрять инструменты вроде SkillScanner от TrustProbe для автоматического аудита, использовать «белые списки» разрешённых операций — например, запрещать любые файловые операции для аналитических плагинов, логировать все вызовы сторонних модулей в отдельных потоках. Для пользователей критически важно не устанавливать навыки из непроверенных источников, регулярно обновлять агентов — в новых версиях часто закрывают критические дыры, ограничивать доступ навыков к чувствительным данным через встроенные политики.

История уязвимостей в экосистеме ИИ-агентов началась задолго до появления современных модульных систем. Первые проблемы проявились ещё в эпоху ранних чат-ботов, где сторонние плагины могли выполнять произвольные команды на сервере. Однако тогда масштабы угроз были ограничены: боты имели узкую специализацию и минимум доступа к данным.

С развитием LLM и расширением функциональности агентов риски выросли в геометрической прогрессии. Например, в 2021 году исследователи обнаружили, что плагины для GPT-3 могли манипулировать контекстом запросов, подменяя ответы модели. Сегодня же агенты стали полноценными посредниками между пользователем и критически важными системами, что делает их мишенью для сложных атак.

Для разработчиков ИИ-агентов новые угрозы означают необходимость пересмотреть подходы к архитектуре и тестированию. Уже недостаточно просто изолировать плагины — нужно учитывать их взаимодействие между собой и влияние на общий контекст. Например, если два навыка используют одну и ту же переменную для хранения данных, уязвимость в одном может компрометировать другой.

Кроме того, разработчикам придётся внедрять сложные механизмы динамического анализа. Вместо статической проверки кода нужно отслеживать поведение навыков в реальном времени, фиксируя аномалии. Например, если плагин для работы с API внезапно начинает отправлять запросы на неизвестные серверы, это должно сразу блокироваться.

В ближайшие годы можно ожидать появления специализированных инструментов для аудита навыков. Такие решения будут комбинировать статический анализ, динамический мониторинг и машинное обучение для выявления сложных угроз. Например, уже разрабатываются системы, которые анализируют контекст выполнения и предсказывают потенциальные атаки на основе прошлых инцидентов.

Ещё одно направление — аппаратная изоляция. Некоторые компании уже экспериментируют с выполнением навыков в физически изолированных контейнерах, что предотвращает утечки данных даже при успешной эксплуатации уязвимости.

Один из ключевых факторов в борьбе с угрозами — стандартизация. Сегодня каждый вендор разрабатывает свои подходы к безопасности, что создаёт пробелы в защите. Например, плагин, проверенный для одного агента, может оказаться опасным для другого.

Отраслевые организации уже начинают работать над едиными требованиями. В частности, обсуждается создание сертификационных центров для навыков, которые будут проверять их на соответствие стандартам безопасности.

Для обычных пользователей новые угрозы означают необходимость внимательнее относиться к выбору навыков. Уже недостаточно просто доверять рейтингам в маркетплейсах — нужно проверять источники, читать отзывы и анализировать запрашиваемые разрешения. Кроме того, пользователям придётся активнее использовать встроенные функции безопасности. Например, ограничивать доступ навыков к данным через политики конфиденциальности и регулярно обновлять агентов для защиты от новых угроз.

То, что начиналось как единичные инциденты с плохо написанными плагинами, превратилось в системную уязвимость. В 2024 году исследование MITRE показало, что 78% компаний, использующих ИИ-агентов, сталкивались хотя бы с одной попыткой эксплуатации уязвимостей в навыках. Причём в 40% случаев атаки были многоступенчатыми — использовали комбинацию легитимных функций для достижения вредоносных целей.

Помимо прямой подмены кода, злоумышленники начали использовать троянские данные — навыки для аналитики, специально искажающие выходные данные, чтобы повлиять на принятие решений, темпоральные атаки — плагины, которые активируют вредоносный код только в определённое время (например, во время ночных бэкапов), эксплуатацию легальных API — когда навык использует официальные методы агента для опасных операций, минуя стандартные защиты.

В 2025 году HR-агент одной из Fortune 500 компаний установил плагин для генерации отчётов. Навык имел доступ к базе сотрудников, но формально прошел проверку. Проблема обнаружилась, когда он начал отправлять статистику на внешний сервер — под видом «анонимизированных данных». На деле же через временные метки и уникальные ID можно было восстановить 92% персональных записей.

Современные системы sandboxing развиваются в трёх направлениях: контекстные песочницы — когда изоляция зависит от типа операций (например, сетевые вызовы проверяются строже, чем локальные вычисления), шим-слои — подменяющие опасные системные вызовы их безопасными аналогами, HW-изоляция — выделенные процессорные потоки для выполнения непроверенных навыков, как в AMD SEV или Intel SGX.

Парадоксально, но закрытые экосистемы плагинов (как у Apple или Google) тоже не идеальны. В 2025 году исследователи нашли 17 уязвимостей в проверенных навыках для Google Assistant. Прозрачность open source-решений позволяет быстрее находить и фиксировать дыры, но требует дисциплины от сообщества.

Уже к 2027 году ожидается появление «умных» навыков с встроенными механизмами самоаудита, распространение «двухфакторных» плагинов, требующих подтверждения критических операций, интеграция блокчейн-технологий для верификации неизменности кода навыков после публикации.

Эволюция угроз требует столь же динамичного развития защиты. Безопасность ИИ-агентов — это гонка вооружений, где каждый новый уровень защиты порождает более изощрённые атаки. Универсального решения нет, но комбинация технических мер, стандартизации и осознанности пользователей может снизить риски до приемлемого уровня. Главное — не игнорировать проблему, пока она не проявилась в крупном инциденте.