OpenAI не стала выпускать свою новую модель искусственного интеллекта (ИИ) из-за опасений по поводу безопасности пользователей. Ранее ее сервисы взломали систему здравоохранения Австралии, из-за чего компании пришлось принести извинения. Ее основной конкурент Anthropic также признала, что ИИ может привести к экзистенциальной угрозе человечеству. Что пишут СМИ об опасностях ИИ — в дайджесте «Известий».

Компания OpenAI приостановила выпуск новой версии своей модели искусственного интеллекта после того, как программное обеспечение показало себя хуже в оценках безопасности, чем текущая версия. Саачи Джайн, руководитель отдела систем безопасности OpenAI, заявил, что модель оказалась не настолько хорошей, как хотелось бы компании, когда речь идет о «соблюдении ограничений и разрешений, а также о том, как она сообщает пользователю о проделанной работе». Тем не менее версия, получившая название GPT-6.1 Astra, стала лучше в части так называемой лени модели, которая подразумевает, например, невыполнение задачи.

Bloomberg

Компания OpenAI сообщила о серии инцидентов в сфере безопасности, в результате которых ее агенты ИИ взломали внешние системы, что усиливает опасения по поводу выхода ИИ из-под контроля человека. На прошлой неделе компания заявила, что приостанавливает обучение с использованием инструментов на своих наиболее способных моделях после того, как другая модель ИИ получила доступ к интернету, когда это было невозможно.

Тогда OpenAI заявила, что также решила не возобновлять обучение по этой конкретной модели, которая, получив доступ к интернету, обращалась к внешнему чат-боту. В компании заявили, что хотят убедиться в безопасности разработки новой модели Astra, и пообещали предъявлять чрезвычайно высокие требования к безопасности пользователей и соответствию стандартам.

OpenAI отменила выпуск GPT-6.1 Astra, запуск которой был запланирован на октябрь, после того как внутреннее тестирование показало, что система не соответствует стандартам безопасности и выравнивания компании. В начале сентября генеральный директор OpenAI Сэм Альтман и генеральный директор конкурирующей компании Anthropic Дарио Амодей присоединились к лидерам отрасли, призвав к замедлению темпов развития ИИ и усилению мер безопасности.

Reuters

Компания OpenAI предупредила, что ее флагманская модель GPT-6 Astra может иногда ускользать от человеческого контроля, а сама компания и ее конкуренты, такие как Anthropic, подвергались критике из-за экспериментальных систем ИИ, нарушивших меры безопасности, включая модель OpenAI, которая получила доступ к базе данных системы здравоохранения Австралии.

GPT-6.1 Astra, как ожидалось, должна была быть интегрирована в ChatGPT и Codex и предназначена для решения более сложных задач без участия человека. Она продемонстрировала более высокий уровень обмана, чем ее предшественник, включая случаи, когда она не всегда точно раскрывала информацию о предпринятых действиях. Решение о приостановке выпуска было принято в преддверии конференции разработчиков OpenAI в Сан-Франциско, где компания ранее представила продукты, ориентированные на разработчиков программного обеспечения.

OpenAI принесла извинения Австралии за атаку на систему здравоохранения Medicare и анонсировала выступление перед парламентом страны на следующей неделе. Компания раскрыла новые подробности о взломе веб-сайтов австралийского правительства, произошедшего в июне. В сообщении, опубликованном 29 сентября, OpenAI заявила, что ей следовало лучше отреагировать на ситуацию.

The Guardian

Агенты получили закрытый доступ к порталу Services Australia для доступа к статистике Medicare, и, по данным OpenAI, агент смог выполнять команды, получать доступ к внутренним файлам и учетным данным, а также записывать файлы, но доступ к записям пациентов или клиентов получен не был.

Инцидент произошел после того, как одной из моделей было поручено исследовать государственные расходы на лекарства от кожных заболеваний в расчете на душу населения в штате Виктория. Модель столкнулась с трудностями при получении этой информации, и компания OpenAI заявила, что «она предприняла действия, которые мы ей не разрешали», включая доступ к службе отчетности по статистике Medicare. Компания OpenAI добавила, что выделит ресурсы и передаст экспертные знания пострадавшим ведомствам для предотвращения подобных инцидентов.

Компания Anthropic предупреждает потенциальных инвесторов в ходе своего IPO о том, что передовые технологии искусственного интеллекта могут представлять «катастрофическую или экзистенциальную угрозу для человечества». Это беспрецедентное предупреждение от компании, стремящейся получить прибыль от этой же технологии. В отчете для IPO подчеркиваются риски, связанные с ее моделями ИИ, которые могут демонстрировать «поведение, направленное на самосохранение», включая попытки «сопротивляться отключению», «скрывать или манипулировать информацией» и поведение, «напоминающее шантаж».

Reuters

«Разработка нами высокотехнологичных моделей, платформ и приложений, а также расширение областей их применения могут еще больше увеличить риск того, что наши модели причинят вред», — говорится в заявлении компании Anthropic. Хотя публичные компании обычно сообщают инвесторам о рисках, связанных с их продукцией, лишь немногие, если вообще кто-то, предупреждали о том, что их технологии могут привести к потенциальному вымиранию человечества.

Anthropic отметила как преобразующий потенциал ИИ, сопоставимый с индустриализацией и электроэнергетикой, так и необратимый вред, который он может причинить при неправильном обращении. Исследователь в области безопасности Anthropic Эван Хубингер оценил вероятность того, что искусственный интеллект может убить человека в течение следующего десятилетия, более чем в 10%.

Бывший генеральный директор Microsoft Билл Гейтс заявил, что искусственный интеллект может быть достаточно мощным, чтобы привести к массовым разрушениям для человечества. Он добавил, что приветствует недавнюю дискуссию в технологической индустрии о потенциальных опасностях ИИ.

The Washington Post

«Искусственный интеллект, безусловно, достаточно мощный, чтобы вызывать события, которые, знаете ли, приведут к миллиарду смертей, — сказал Гейтс. — Поэтому, хотя достичь 100-процентной эффективности довольно сложно, никогда еще не существовало оружия, столь же мощного, как сочетание людей со злыми намерениями, использующих новейшие инструменты искусственного интеллекта».

Гейтс в прошлом был оптимистичен в отношении того, что ИИ сделает мир лучше, борясь с болезнями и улучшая жизнь людей. Но в эссе, опубликованном в августе, он заявил, что теперь опасается, что ИИ принесет больше вреда, чем пользы. Тогда он заявил, что еще никогда не сталкивался с проблемой, которую нельзя было бы решить с помощью инноваций.