Создатели ChatGPT увидели угрозу в собственной ИИ-модели
OpenAI предупредила о том, что её новая модель может оказаться «слишком способной»
Компания OpenAI, наиболее известная созданием ChatGPT, предупредила о рисках безопасности при использовании своей новой ИИ-модели, сообщает NBK.
Слишком умная модель
Как пишет Reuters, компания считает, что её ещё не вышедшая в открытый доступ модель Astra может представлять угрозу с точки зрения безопасности. По оценке OpenAI, она требует принятия дополнительных мер перед полноценным запуском.
Astra может находить больше уязвимостей в системах безопасности, чем самые продвинутые продукты OpenAI, которые сегодня доступны на рынке, заявили представители компании на пресс-конференции 1 сентября. Новая модель также использует для этого меньше вычислительных ресурсов.
«При наличии правильных доступов и инструментов Astra может находить неизвестные прежде недостатки во многих хорошо защищённых системах безопасности и разрабатывать способы их использования без участия человека, контролирующего каждый её шаг», — сказала Амелия Глэйзе, вице-президент OpenAI.
Компания хочет сначала дать доступ к Astra ограниченной группе пользователей, но не уточнила детали. Глэйзе признала, что дополнительные меры безопасности могут замедлить или даже приостановить работу по разработке новых ИИ-моделей, но OpenAI стремится минимизировать это воздействие.
На что способен ИИ без человека
Astra станет первой ИИ-моделью от создателей ChatGPT, к которой будут применяться более жёсткие стандарты безопасности, утверждённые компанией. До сих пор эти требования считались теоретическими. Но сейчас OpenAI фактически признала, что быстрое развитие искусственного интеллекта требует более строгого регулирования.
Вопросы к безопасности инструментов от OpenAI возникли после того, как её ИИ-агенты «сбежали» из пространства для ограниченного тестирования и взломали платформу Hugging Face с открытым исходным кодом. После этого обучение новых моделей было приостановлено на две недели для усиления защиты. Astra в инциденте с Hugging Face не участвовала, но её возможности потребовали дополнительного контроля. Компания уже усложнила для этой модели исполнение запросов, которые могут быть связаны с вредоносными действиями.
По обновлённым правилам безопасности OpenAI, особые критерии применяются к ИИ-моделям, которые способны:
- Находить и эксплуатировать уязвимости в системах кибербезопасности.
- Планировать и реализовывать детализированные, оригинальные стратегии кибератак.
- Делать всё вышеперечисленное без участия человека.
Ранее мы писали, что годовая выручка создателей ChatGPT приблизилась к $40 млрд.
