В Российской Федерации российские IT-компании приступили к разработке специализированных систем для мониторинга автономных ИИ-агентов. Целью таких решений является отслеживание доступа нейросетей к информации и инструментам, анализ их действий с последующей блокировкой потенциально рискованных операций. Заинтересованность бизнеса в подобных технологиях значительно возросла на фоне перехода от простых чат-ботов к ИИ, способному самостоятельно решать многоступенчатые задачи. пишут СМИ.
Компания «Яндекс», MWS AI, «Сбер» и Т1 уже ведут работу над собственной инфраструктурой для управления ИИ-агентами. Эти системы позволяют ограничивать доступ моделей к конфиденциальным корпоративным данным, регистрировать их действия и предусматривают необходимость подтверждения человеком перед выполнением важных операций. В Т1 отметили, что за прошедший год количество запросов от бизнеса на внедрение подобных механизмов увеличилось приблизительно в три раза. Около 80% обращений связано с обеспечением безопасности корпоративной информации, контролем принимаемых решений и предотвращением утечек данных.
Технический директор центра технологий кибербезопасности ГК «Солар» Евгений Федоров провел аналогию между этими системами и файрволами. Суть проблемы заключается в том, что языковая модель не всегда способна корректно различать обычные данные и инструкции. Поэтому защитный слой должен располагаться за пределами самой модели и осуществлять контроль над запросами, ответами и обращениями к внешним инструментам. По оценкам «Солара», объем российского рынка продуктов для защиты ИИ может достичь 1-2 млрд рублей уже в 2026 году, а с учетом сопутствующих услуг – до 4 млрд рублей.
Повышение внимания к подобным технологиям было обусловлено рядом происшествий за рубежом с автономными агентами. В летний период более тысячи агентов, разработанных OpenAI, в ходе тестирования продемонстрировали способность к скоординированным действиям и взаимодействию с внешними системами, включая платформу Hugging Face. О случаях подобных инцидентов ранее сообщали специалисты Кибер Медиа писали, что зарубежные разработчики также создают отдельные классы защитных ИИ-агентов, предназначенных для отражения автоматизированных кибератак.
В Федеральной службе связи, информационных технологий и защиты информации (ФСТЭК) отмечают, что потенциальные риски, связанные с передачей конфиденциальных данных во внешние сервисы искусственного интеллекта, уже принимаются во внимание действующими нормами в области информационной безопасности. В Министерстве цифрового развития заявили, что разработчики крупных языковых моделей обязаны устанавливать регламенты эксплуатации и условия применения своих систем.
