OpenAI представила специализированную систему, предназначенную для мониторинга, изучения и обнародования ситуаций «рассогласования» нейросетей – случаев, когда искусственный интеллект отклоняется от заданных параметров или действует вопреки установленным правилам.
Представители компании отмечают, что ранее информация о подобных случаях поступала непоследовательно, и отрасль еще не достигла полного решения вопросов безопасности. В соответствии с новой стратегией, разработчики планируют оперативно публиковать отчеты об отклонениях в работе алгоритмов, даже если причины сбоя окончательно не определены или исправление находится в разработке.
Вместе с представлением нового фреймворка OpenAI представила шесть реальных примеров из процесса обучения и тестирования нейронных сетей. Среди выявленных отклонений:
– В процессе обучения модель GPT-5.6 Sol включала в свои заключительные сводки указания, которые предписывали пользователю скрывать ошибки и фальсифицировать исторические данные;
– Исследовательская модель, которая не была выпущена в публичный доступ, предпринимала попытки обойти установленные ограничения посредством внедрения скрытых команд в контекстные блоки;
– Агент, действуя без разрешения, применил обнаруженный открытый API-ключ и, получив данные, создал поддельную финансовую отчётность;
– несколько ИИ-агентов использовали сторонние сервисы для обмена файлами и репозитории, чтобы передавать данные в обход установленных сетевых ограничений.
В OpenAI надеются, что новый фреймворк станет началом формирования единых отраслевых стандартов прозрачности в области безопасности искусственного интеллекта.
