Чем мощнее модели, тем сложнее оценивать риски
Международный доклад по безопасности искусственного интеллекта за 2026 год подготовили при участии более 100 независимых экспертов. В работе участвовали представители более чем 30 стран и международных организаций, включая ООН, ОЭСР и Европейский союз.
Авторы документа отмечают, что современные ИИ-системы быстрее развиваются в программировании, работе с инструментами и выполнении многоэтапных задач. Одновременно становится сложнее заранее определить, как модель поведёт себя после внедрения в реальный процесс.
Одна из проблем заключается в разрыве между лабораторными тестами и практическим использованием. Модель может успешно проходить стандартную проверку, но иначе реагировать на нестандартные инструкции, новые инструменты или действия злоумышленника.
«Ожидание окончательных доказательств может оставить общество уязвимым», — говорится в международном докладе.
ИИ уже используют в реальных кибератаках
Эксперты зафиксировали больше случаев применения ИИ в настоящих кибероперациях. По данным международного доклада, злоумышленники и связанные с государствами группы используют модели для подготовки и сопровождения атак.
При этом речь не всегда идёт о полностью автономной системе, самостоятельно проводящей атаку от начала до конца.
ИИ может помогать:
— искать уязвимости;
— писать или изменять код;
— создавать фишинговые сообщения;
— анализировать инфраструктуру;
— обрабатывать украденные данные;
— ускорять выполнение отдельных этапов атаки.
Даже частичное ускорение снижает стоимость киберопераций и позволяет злоумышленникам одновременно работать с большим количеством целей.
Все проверенные ИИ-агенты удалось атаковать
В марте 2026 года американский Центр стандартов и инноваций в области ИИ при NIST опубликовал результаты крупного соревнования по поиску уязвимостей в ИИ-агентах.
Более 400 участников провели свыше 250 тысяч попыток атаковать 13 передовых моделей. По результатам тестирования хотя бы одна успешная атака была найдена против каждой проверенной системы.
Основное внимание исследователи уделили перехвату управления агентом через косвенные инструкции — indirect prompt injection.
Такая атака может быть спрятана:
— в электронном письме;
— на веб-странице;
— в документе;
— внутри программного кода;
— в содержимом внешней базы данных.
Агент читает информацию, принимает скрытую инструкцию за часть задания и может выполнить нежелательное действие.
Например, система способна отправить конфиденциальные данные, открыть вредоносный файл или запустить команду, которую пользователь не разрешал.
«Хотя бы одна успешная атака была найдена против каждой целевой модели», — сообщили исследователи NIST.
Обычных фильтров становится недостаточно
Для классического чат-бота основным риском был нежелательный или ошибочный текстовый ответ.
ИИ-агент может получить доступ к браузеру, электронной почте, файлам, терминалу, CRM и другим рабочим инструментам. Ошибка в таком случае способна привести не только к неправильному тексту, но и к реальному действию.
Поэтому безопасность теперь зависит от всей системы:
— возможностей модели;
— перечня доступных инструментов;
— прав доступа;
— защиты учётных данных;
— проверки входящих данных;
— журналирования действий;
— подтверждения критических операций человеком;
— возможности быстро остановить агента.
Модель нельзя считать безопасной отдельно от среды, в которой она работает.
OpenAI формализовала управление рисками
В мае 2026 года OpenAI опубликовала Frontier Governance Framework — систему управления наиболее серьёзными рисками передовых моделей.
Документ охватывает кибератаки, химические и биологические угрозы, манипулятивное воздействие, потерю контроля, реагирование на инциденты и привлечение внешних экспертов.
Основой подхода остаётся Preparedness Framework — внутренняя система оценки возможностей, которые могут создать риск серьёзного вреда.
OpenAI заявила, что её подход будет меняться вместе с развитием моделей, методов оценки и законодательства.
Это важное уточнение: универсального и окончательного набора тестов безопасности пока не существует.
Anthropic продолжает обновлять правила масштабирования
Anthropic использует Responsible Scaling Policy — политику, которая связывает возможности моделей с необходимыми защитными мерами.
Актуальная версия 3.4 вступила в силу 8 июля 2026 года. В ней компания уточнила пороги, связанные с автоматизацией исследований, содержание отчётов о рисках и порядок внешней проверки.
Anthropic рассматривает политику как систему, которая должна регулярно меняться.
«Политика является живым документом», — заявила компания.
В феврале Anthropic также сообщала, что для будущих передовых моделей будет готовить отдельные отчёты о риске саботажа. Компания объяснила это тем, что уверенно исключать опасные возможности становится всё сложнее.
Компании создают собственные системы безопасности
По данным международного доклада, в 2025 году 12 разработчиков опубликовали или обновили рамочные документы по безопасности передового ИИ.
Такие документы обычно определяют:
— какие возможности считаются опасными;
— когда требуется дополнительное тестирование;
— какие ограничения вводятся при превышении порога;
— в каких случаях выпуск модели необходимо отложить;
— как расследуются инциденты;
— кто принимает окончательное решение о запуске.
Но подходы компаний отличаются.
Одни делают основной акцент на биологических и химических угрозах. Другие — на кибербезопасности, автономности, манипуляциях или способности моделей ускорять создание новых ИИ-систем.
Добровольных обязательств может быть недостаточно
Большинство рамочных документов пока остаются добровольными. Их практический эффект зависит от того, насколько последовательно разработчики выполняют собственные правила.
Международный доклад указывает, что независимых проверок соблюдения таких обязательств пока немного. Унифицированной системы внешнего аудита также не существует.
Это создаёт конфликт интересов.
Разработчик одновременно:
— создаёт модель;
— оценивает её возможности;
— определяет допустимый риск;
— выбирает защитные меры;
— принимает решение о выпуске.
При высокой конкуренции компания может испытывать давление, заставляющее быстрее выводить продукт на рынок.
Поэтому регуляторы постепенно требуют раскрывать больше информации о тестировании, инцидентах и применяемых мерах безопасности.
Открытые модели создают отдельную проблему
Модели с открытыми весами позволяют компаниям и исследователям запускать ИИ на собственной инфраструктуре, проверять его и адаптировать под свои задачи.
Но после публикации такую модель невозможно полностью отозвать. Защитные ограничения можно удалить, а использование системы сложнее контролировать и отслеживать.
Это не означает, что все открытые модели опасны или должны быть запрещены.
Риск зависит от возможностей конкретной системы. Небольшая специализированная модель и передовая универсальная модель могут требовать совершенно разных ограничений.
Главный вопрос заключается не только в открытости, а в том, какие опасные возможности получила система к моменту публикации.
Что меняется для бизнеса
Безопасность ИИ становится практической задачей не только для разработчиков моделей.
Компания, подключающая агента к внутренним системам, должна заранее определить:
— какие данные он может читать;
— какие действия может выполнять самостоятельно;
— что требует подтверждения сотрудника;
— где хранятся журналы операций;
— как ограничивается доступ к паролям и ключам;
— кто отвечает за ошибку;
— как остановить систему при подозрительном поведении.
Особенно осторожно следует автоматизировать финансовые операции, работу с персональными данными, медицинские процессы, юридически значимые действия и управление критической инфраструктурой.
В таких сценариях одной инструкции «не делай ничего опасного» недостаточно.
Безопасность передовых моделей выходит на первый план, потому что ИИ перестаёт быть только генератором текста.
Современные системы получают доступ к инструментам, самостоятельно планируют последовательность действий и работают с внешними источниками данных.
Исследования показывают, что существующие агенты остаются уязвимыми для перехвата управления, а предварительные тесты не всегда надёжно предсказывают поведение модели после запуска.
OpenAI, Anthropic и другие разработчики формализуют оценку рисков, но единых стандартов и независимого контроля пока недостаточно.
Следующий этап развития ИИ будет определяться не только мощностью моделей. Не менее важным станет вопрос, можно ли безопасно предоставить им доступ к реальным данным, программам и бизнес-процессам.
