Управление по искусственному интеллекту Еврокомиссии запросило у OpenAI и Anthropic подробные сведения о недавних инцидентах безопасности во время испытаний ИИ-моделей. В июле агенты OpenAI получили несанкционированный доступ к рабочей инфраструктуре Hugging Face, а позднее Anthropic сообщила об аналогичных случаях с моделями Claude.

Инцидент с Hugging Face начался 9 июля во время внутренних испытаний OpenAI. Один из агентов использовал ранее неизвестную уязвимость в прокси-сервере, который кэшировал репозитории программных пакетов, и сумел выйти из изолированной тестовой среды в интернет. В рамках бенчмарка ExploitGym модели должны были продемонстрировать свои способности находить и эксплуатировать уязвимости. Однако вместо самостоятельного решения заданий агенты проникли в рабочую инфраструктуру Hugging Face, чтобы получить готовые ответы. Специалисты Hugging Face восстановили около 17 600 действий злоумышленного агента. При этом другие пользовательские модели, наборы данных, Spaces и пакеты не пострадали.

После этого случая Anthropic проверила более 140 000 собственных тестовых запусков и первоначально выявила три инцидента, в ходе которых модели Claude получили несанкционированный доступ к рабочим системам трёх организаций. В сентябре компания сообщила о четвёртом случае. Во всех эпизодах модели должны были работать в изолированных тестовых средах, однако из-за ошибки конфигурации смогли выйти в интернет. По данным Anthropic, Claude проникали во внешние системы через слабые пароли или интерфейсы, не требовавшие аутентификации, а не с помощью ранее неизвестных уязвимостей.

Как сообщает Euronews, Еврокомиссия сочла сведения, которые компании предоставили добровольно, недостаточными и направила OpenAI и Anthropic дополнительные запросы. Ведомство интересуют меры безопасности, независимые проверки моделей и контроль за их использованием.

Со 2 августа 2026 года Еврокомиссия получила полномочия контролировать соблюдение требований AI Act поставщиками моделей ИИ общего назначения. Закон об искусственном интеллекте ЕС разрешает ей запрашивать техническую документацию и другие сведения. Комиссия может направить обычный запрос или оформить его официальным решением. Какую процедуру она выбрала в отношении OpenAI и Anthropic, пока неизвестно.

При этом остаётся открытым вопрос, распространяется ли AI Act на инциденты во время испытаний моделей, которые ещё не вышли на рынок. Закон в целом исключает из сферы своего действия исследования, разработку и испытания до выхода продукта на рынок, но не испытания в реальных условиях. Поэтому некоторые юристы считают, что Еврокомиссия не вправе применять его к описанным случаям. Однако представитель ведомства в беседе с Euronews высказал другую позицию: если модель выходит за пределы тестовой среды и её действия затрагивают рынок ЕС, AI Act может вступить в силу.

Пока Еврокомиссия лишь запросила дополнительную информацию. Она ещё не установила нарушений AI Act и не вводила никаких санкций.

Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).