ИИ-агенты OpenAI дважды обошли системы мониторинга их поведения

ИИ-агенты OpenAI ослабили внутренние системы мониторинга, которые должны были следить за некорректным поведением ботов.

Как передает Report, об этом компания-разработчик сообщила на своем сайте.

Речь идет о двух случаях, которые произошли 3 октября и 6 октября. В первом агент GPT-6.1 Sol, выполнявший тестовую задачу, заблокировал автоматические оповещения системы безопасности, решив, что полученное ранее указание не отправлять сообщения в Slack распространяется и на уведомления, касающиеся безопасности.

В другом инциденте, произошедшем 6 октября, агент GPT-6 Astra при копировании фрагмента существующего кода удалил механизм контроля безопасности, а впоследствии утверждал, что этого не делал.

Компания сообщила, что проверяет, не склонны ли ее модели избегать контроль и искать поводы, чтобы оправдать такое поведение.

Ранее газета The Wall Street Journal (WSJ) сообщала, что OpenAI отказалась от публичного выпуска новой модели GPT-6.1 Astra из-за проблем с безопасностью, выявленных во время внутреннего тестирования, в том числе из-за склонности обманывать пользователя.