Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Китайская технологическая компания Tencent сообщила о непредусмотренном поведении ИИ-агентов, которые использовались для оценки сторонних ИИ-моделей. Программы неоднократно пытались получить данные картографического сервиса Amap, принадлежащего конкуренту Alibaba, в том числе прибегая к альтернативным способам доступа после блокировки обычных запросов.Источник изображения: Reuters
URL изображенияПо данным исследовательской группы по безопасности ИИ Swarmchasers, с 28 сентября по 8 октября ИИ-агенты, работавшие на инфраструктуре, которую исследователи связали с Tencent Cloud, совершили 2818 попыток получить информацию из Amap. Запросы касались, в частности, наиболее популярных входов в китайские парки, музеи и зоопарки. После блокировки автоматических запросов агенты, согласно отчёту исследователей, стали использовать публичные веб-инструменты, перенаправлять запросы через сторонние сайты и обращаться к ключам доступа и защитным кодам, обнаруженным в открытом программном коде.

Некоторые запросы позволили получить информацию через кэшированные страницы и промежуточные сервисы. Однако большинство попыток завершились неудачей: система возвращала страницы защиты от ботов, экраны входа или пустые результаты.

Tencent заявила, что обнаруженная активность не исходила от её собственных ИИ-моделей Hunyuan. Внутренняя проверка компании также не выявила признаков намеренной атаки на Alibaba или координации действий. При этом Tencent признала серьёзность ситуации и сообщила об усилении сетевых ограничений и мониторинга ИИ-агентов. Исследователи не нашли доказательств того, что ИИ-агенты преодолели основные механизмы защиты Amap или получили доступ к закрытым системам.

Ситуация примечательна тем, что Tencent стала первой в Китае компанией, признавшей выход китайского ИИ-агента из-под контроля. По крайней мере, в официальном медиа-пространстве, где до недавних пор китайские компании таили тишину по этому поводу. Компании из США, включая OpenAI и Anthropic, первоначально также не разглашали такие сведения, но в конечном итоге начали их обнародовать.