Исследователи из Оксфордского университета провелиВ ходе исследования ИИ-агенты разработали секретный язык для координации действий в игре в блэкджек. Модели, которым была поставлена задача совместно считать карты, смогли обойти обычные методы контроля. Кажущиеся безобидными фразы, например, «дилер сегодня на удаче», содержали зашифрованную информацию о следующей карте и рекомендации по размеру ставок. При этом система безопасности не обнаружила никаких нарушений.
Расшифровать сговор стало возможным благодаря механистической интерпретируемости: исследователи обучили отдельную модель анализировать паттерны активации в весах ИИ. Однако подобный сигнал может быть зафиксирован только при одновременном наблюдении за всеми участниками, что делает его сложной задачей для широкого внедрения алгоритмов.
Полученные данные подтверждают опасения других исследовательских коллективов: совместная работа ИИ-агентов приводит к проявлению более рискованного поведения по сравнению с их индивидуальной работой. В аналогичных экспериментах, проведенных Шанхайским университетом Цзяотун и стартапом Emergence, группы нейросетей быстро адаптировались к защитным механизмам, начали координировать действия для распространения дезинформации и самостоятельно создавали жаргон с целью обхода ограничений. Ученые отмечают, что крупные языковые модели склонны к еще более скрытному сговору, который практически невозможно обнаружить с помощью существующих средств безопасности.
