Компания Itglobal.com (корпорация ITG) запустила в режиме тестирования новый защитный модуль для корпоративных данных в рамках сервиса AIaaS. Модуль контролирует обмен данными между корпоративными приложениями и языковыми моделями: отслеживает попытки скрытого управления моделью через внедренные команды и предотвращает передачу конфиденциальных данных во внешние нейросети. Об этом CNews сообщили представители Itglobal.com.

Когда компания подключает языковую модель к рабочим процессам, у данных появляется новый путь наружу — через саму модель. Рисков здесь несколько. Во-первых, скрытая команда: если внутри письма или документа спрятана инструкция, модель может принять её за задание и выполнить. Во-вторых, утечка через ответ: в тексте, который модель возвращает пользователю, могут оказаться персональные или конфиденциальные данные. В-третьих, действия ИИ-агента: если у модели есть доступ к рабочим инструментам, через них она может отправить данные за пределы компании. Обычные средства защиты такие обращения пропускают — для них это неотличимо от штатного трафика к внешнему сервису.

ИИ-файрвол размещается между корпоративными приложениями и языковой моделью и разбирает каждое обращение по двухуровневой схеме. Первый уровень — быстрый классификатор, отсекающий очевидные случаи. Второй — модель, которая оценивает смысл спорного обращения. Отдельный модуль отвечает за действия ИИ-агентов: какие инструменты им разрешены и какие параметры передаются при вызове, включая попытки обращения к внутренним сетевым ресурсам.

Отдельно реализована работа с RAG. Загружаемые файлы и документы базы знаний проверяются на входе — до того, как попадут в поисковый индекс, а не в момент выдачи ответа.

Модуль ориентирован в первую очередь на организации, для которых цена утечки данных особенно высока: компании финансового сектора, госструктуры и бизнес, работающий с персональными данными в соответствии с требованиями 152-ФЗ. Для них контроль над тем, что именно уходит в языковую модель, — условие, при котором внедрение ИИ вообще становится возможным.

Почему виртуализация на базе открытых решений подходит для критической инфраструктуры Импортонезависимость

«ИИ уже стал неотъемлемой частью рабочих процессов, и вопрос безопасности при его использовании выходит на первый план. Компании готовы внедрять языковые модели, но им нужна уверенность, что данные при этом остаются под контролем. ИИ-файрвол в составе AIaaS — часть нашей системной работы над этой задачей», — сказал Евгений Свидерский, вице-президент по облачному бизнесу Itglobal.com, корпорация ITG.

ИИ-файрвол в составе AIaaS доступен в панели управления сервисом как отдельный подключаемый модуль.

• Обзор российского электромобиля АТОМ — машина-гаджет, первый тест в России