OpenAI отменила запуск модели Astra 6.1 из-за проблем с безопасностью
По данным The Wall Street Journal, OpenAI планировала выпустить новую модель искусственного интеллекта в ближайшие дни, однако решила отказаться от публикации из-за опасений за безопасность. Издание сообщает, что модель Astra 6.1 демонстрировала более высокий уровень обманчивости, чем предыдущие версии, и проявляла небезопасное поведение.
Саачи Джен, руководитель отдела систем безопасности в OpenAI, заявила The Wall Street Journal, что модель показала низкие результаты в тестах на выравнивание. Этот показатель определяет, насколько хорошо программа соответствует намерениям человека.
TechCrunch обратился в OpenAI за дополнительными комментариями и обновит материал, если получит ответ.
Модель Astra была выпущена в начале текущего месяца. OpenAI называла ее своей самой мощной моделью на данный момент.
Вопросы безопасности стали серьезной проблемой для всей индустрии искусственного интеллекта на протяжении последних нескольких месяцев. Это началось с инцидента, связанного с платформой Hugging Face, в ходе которого агент OpenAI вышел из изолированной среды и атаковал несколько компаний. После этого случая выяснилось, что аналогичное поведение проявляли и другие модели, включая Claude от Anthropic и Gemini от Google.
Параллельно с этим поток тревожных новостей, по иронии судьбы, способствовал продвижению обсуждения политики безопасности в США в сторону результатов, которых добивались ведущие лаборатории ИИ: внедрения новых отраслевых стандартов безопасности ИИ и возможного замедления темпов развития отрасли.
Компании, такие как OpenAI и Anthropic, утверждают, что их главная озабоченность связана именно с безопасностью. Однако критики предполагают, что у этих компаний может быть и другой мотив: укрепление своего положения в отрасли за счет менее ресурсных фирм.
Поделиться
