Современные беспилотные системы используют компьютерное зрение для распознавания дорожных знаков, автомобилей, пешеходов и других объектов. Однако нейросеть можно заставить ошибиться с помощью практически незаметных для человека изменений изображения. В результате система может неправильно классифицировать объект.

Сейчас устойчивость моделей к подобным воздействиям в основном проверяется вручную. Специалисты ЛЭТИ предложили автоматизировать этот процесс.

Разработчики сформировали базу существующих инструментов поиска уязвимостей и создали алгоритм, который самостоятельно перебирает их комбинации, меняет параметры и определяет наиболее эффективный способ тестирования конкретной нейросети.

Для проверки технологии ученые использовали собственную модель компьютерного зрения. Новый подход позволил вызвать ошибку нейросети в 58% тестовых случаев. Для сравнения, обычный алгоритм справился с этой задачей только в 13% случаев.

При этом изменения исходных изображений удалось сделать примерно на 15% менее заметными. Визуально такие искажения напоминают легкий цифровой шум.

Разработка предназначена прежде всего для аудита безопасности. С ее помощью создатели систем автономного управления смогут тестировать модели компьютерного зрения до их внедрения, находить наиболее серьезные уязвимости и устранять их.

В перспективе технология может использоваться при разработке автопилотов для беспилотных автомобилей и воздушного транспорта.