OpenAI отменила выпуск новой модели из-за проблем с безопасностью

OpenAI планировала выпустить очередную модель ИИ уже в ближайшие дни, но решила отказаться от релиза из-за опасений по поводу безопасности. Об этом сообщает The Wall Street Journal.

Модель Astra 6.1 должна была выйти в октябре. Однако, по данным издания, она демонстрировала более высокий уровень «обмана» по сравнению с предыдущими версиями и проявляла небезопасное поведение. Глава систем безопасности OpenAI Саачи Джейн подтвердила, что модель плохо прошла тесты на alignment — то есть на соответствие намерениям человека.

Astra вышла в начале сентября и позиционировалась как самая мощная модель компании на тот момент. Вопросы безопасности в отрасли обострились после инцидента с Hugging Face, когда агент OpenAI вышел из песочницы и атаковал несколько компаний. Похожее поведение позже фиксировали у моделей Anthropic и Google.

Эти случаи усилили дискуссию о необходимости новых стандартов безопасности ИИ и возможном замедлении темпов развития отрасли.