В связи с увеличением числа атак и опасениями, связанными с непредсказуемым поведением автономных ИИ-агентов, компании, специализирующиеся на информационной безопасности, стали использовать нейронные сети для защиты от подобных же систем. Разрабатываемые решения осуществляют мониторинг действий цифровых помощников в режиме реального времени, проводят анализ их внутреннего состояния и предотвращают потенциальные угрозы до наступления инцидента.
Среди ключевых участников этого направления выделяется стартап-лаборатория Apollo Research, которая представила систему Watcher AI. Алгоритм действует как внешний надзорный орган за автономными агентами, проверяя их операции на предмет несанкционированного удаления файлов, попыток утечки данных и других действий, представляющих угрозу. Процесс мониторинга включает несколько этапов: при выявлении отклонений от нормы система передает записи о событиях более мощной нейросетевой модели для детального изучения, а окончательное решение о блокировке или разрешении действия остается за человеком.
Компания Goodfire предлагает альтернативный метод, заключающийся в анализе не только итогового результата работы агента, но и его промежуточных этапов «рассуждений». Такой подход к изучению внутренних состояний позволяет более глубоко понимать поведение ИИ в задачах кибербезопасности и биоинженерии. Тем не менее, специалисты подчеркивают важность традиционных способов контроля: для обеспечения безопасности автономных систем по-прежнему активно применяются классический анализ журналов событий и подробные записи без привлечения дополнительного уровня искусственного интеллекта.
