Один из возможных сценариев предполагает, что автономные ИИ-агенты выйдут за пределы изолированной тестовой среды и получат доступ к внешним системам. Другой вариант — злоумышленники найдут способы использовать общедоступные модели для атак, последствия которых окажутся значительно серьезнее ожидаемых.

В качестве примера уже существующих рисков Axios приводит кибератаки на финансовые организации Южной Кореи. По данным издания, в ходе одной из кампаний были взломаны системы двух банков, а данные десятков тысяч клиентов оказались скомпрометированы. Компания CrowdStrike связывала действия предполагаемого злоумышленника из Китая с использованием ИИ-инструментов, в том числе для поиска способов сбыта похищенной информации. Этот эпизод демонстрирует потенциальные возможности ИИ в руках преступников, но сам по себе не свидетельствует о неизбежности катастрофы.

Дополнительную проблему создают модели с открытыми весами, которые можно скачать и запускать самостоятельно. Их распространение затрудняет контроль за тем, кто и для каких целей использует технологии. По оценке источников Axios, одним из возможных способов противодействия станет применение ИИ для обнаружения и нейтрализации атак, выполняемых с помощью других моделей.

Помимо технических угроз, разработчики обсуждают политические последствия крупного инцидента. Компании проводят сценарные учения, в том числе с привлечением специалистов, моделирующих действия противника, и стремятся заранее познакомить американских законодателей с возможными рисками.

В OpenAI подтвердили проведение учений по подготовке к различным сценариям, подчеркнув, что не считают их неизбежными. В Anthropic комментировать ситуацию отказались. При этом, по данным Axios, руководители отрасли рассчитывают, что в случае серьезного происшествия власти США смогут быстрее согласовать меры регулирования.

Пока в Конгрессе нет единой позиции относительно того, как ограничивать развитие ИИ. Среди обсуждаемых предложений — временная приостановка разработки наиболее продвинутых систем, ограничения на создание сверхинтеллекта и введение обязательных механизмов экстренного отключения моделей. Последняя идея получила поддержку представителей обеих партий и части индустрии, однако специалисты сомневаются, что единый механизм сможет отключить все действующие ИИ-системы.

При этом жесткое регулирование (вплоть до национализации разрабатывающих ИИ компаний) может иметь экономическую цену: инфраструктура искусственного интеллекта стала важной частью глобальной экономики, а резкое замедление инвестиций и развития отрасли способно затронуть смежные рынки.