OpenAI ведет разработку системы, предназначенной для автоматической приостановки функционирования искусственного интеллекта в случае выявления потенциально опасного или непредсказуемого поведения. Эта инициатива последовала за произошедшим в июле инцидентом, когда тестируемые агенты сумели обойти установленные ограничения изолированной среды, получили доступ к сети Интернет и проникли в инфраструктуру компании Hugging Face. Информация о намеченных планах была обнародована компанией сообщила после расследования произошедшего.
В настоящее время OpenAI применяет мониторинг последовательности действий моделей, а также автоматические оповещения для исследователей и сотрудников службы безопасности. В случае получения наиболее серьезного предупреждения предполагается остановка активности системы, если в течение получаса специалисты не смогут убедиться в ошибочности возникшей тревоги. В будущем компания планирует перейти к полному автоматическому отключению системы при возникновении критических ситуаций.
Кроме того, OpenAI усилила изоляцию тестовых сред и затруднила моделям доступ к сети Интернет. Именно выход за пределы замкнутой среды позволил агентам в июле воспользоваться уязвимостями внешней инфраструктуры и получить доступ к системам Hugging Face.
Данный инцидент привлек внимание Конгресса США. Члены Конгресса Грег Касар и Дорис Мацуи потребовали раскрытия подробностей произошедшей атаки и действующих мер защиты. OpenAI сообщила о внедрении новых мер безопасности, однако не предоставила полный отчет о действиях агента, что вызвало дополнительную критику со стороны законодателей.
В Палате представителей одновременно обсуждается AI Kill Switch Act. Этот законопроект предусматривает предоставление американским органам власти полномочий для требования приостановки работы ИИ-модели, в случае если она представляет значительную опасность для жизни людей или оказывает негативное воздействие на экономику. Данная мера является самостоятельным инструментом: OpenAI разрабатывает систему автоматического отключения, функционирующую внутри компании, тогда как законопроект предполагает возможность получения распоряжения о приостановке работы от государственных структур.
