Специалист OpenAI публично раскритиковал подход компании к безопасности ИИ
По мнению Дэвида Робинсона, ИИ-компании, включая OpenAI, действуют недостаточно осторожно.
Дэвид Робинсон, проработавший в OpenAI три с половиной года, уволился из компании и в эссе для The Atlantic он написал, что для продвинутых ИИ-систем нужны меры защиты, сопоставимые с теми, что применяются в атомной энергетике и авиации.
«Время проб и ошибок закончилось», отметил он. Перед созданием более мощных систем разработчикам, считает автор, нужно уделять больше внимания экспертизе и исследованиям в области безопасности.
Критика касается принципа «итеративного развертывания», на который опирается OpenAI: модель выходит в публичный доступ, а защитные механизмы усиливаются после того, как выявляются проблемы. Кроме того, Робинсон предупредил, что возможности ИИ растут быстрее, чем исследователи понимают, как добиться соответствия систем человеческим целям и ценностям. Эта область называется alignment.
Робинсон участвовал в разработке фреймворка готовности (Preparedness Framework) OpenAI и курировал отчеты по безопасности для 12 запусков передовых моделей. По его словам, компания, переходя от одного релиза к другому, не достигает уровня внимательности, который он считает необходимым.
В OpenAI заявили, что компания следит, чтобы модели не становились более мощными, чем она может безопасно контролировать и защищать, а при необходимости приостанавливает обучение или придерживает выпуск моделей.
