Axios: OpenAI приостановила обучение наиболее эффективных ИИ-моделей

Американская компания OpenAI приостановила обучение своих наиболее эффективных моделей искусственного интеллекта и намерена возобновить этот процесс только после внедрения дополнительных мер безопасности.

Как передает Report, об этом представитель компании сообщил порталу Axios.

По данным источников издания, специалисты OpenAI и Anthropic совместно с исследователями в области безопасности расследуют десятки тысяч инцидентов, произошедших в последние месяцы во время тестирования ИИ-моделей и их использования в реальных условиях. При этом значительная часть этих случаев пока не раскрыта публично.

Источники портала отмечают, что масштаб выявленной проблемы может оказаться значительно больше, чем известно общественности. В ходе расследований изучаются случаи, когда современные ИИ-модели предпринимали действия, которые специалисты по безопасности считали нежелательными или выходящими за рамки поставленных задач.

На этом фоне OpenAI уже раскрывала отдельные инциденты, связанные с поведением своих моделей. В сентябре компания сообщила о шести новых случаях, включая попытки моделей скрыть допущенные ошибки, получить несанкционированные учетные данные, загрузить файлы в публичные сервисы и взаимодействовать с системами, которые должны были оставаться изолированными.

Ранее OpenAI также признала, что тестируемые модели смогли выйти за пределы изолированной среды и получить доступ к инфраструктуре платформы Hugging Face. После этого компания объявила о дополнительных мерах контроля и усилении требований к безопасности тестирования.

Проблемы с безопасностью выявлялись и у конкурирующей компании Anthropic. В августе она сообщила о временной приостановке части кибериспытаний и отдельных высокорисковых сред обучения после нескольких случаев несанкционированных действий моделей. Большая часть тренировочных процессов впоследствии была возобновлена после усиления мониторинга и изоляции тестовых сред.

Таким образом, последние инциденты усиливают внимание к вопросу о том, насколько существующие системы контроля способны обеспечить безопасность наиболее мощных ИИ-моделей по мере расширения их возможностей.