Техника атаки на системы, использующие алгоритмы машинного обучения.
Группа исследователей из Нью-Йоркского университета опубликовала результаты оценки возможности проведения атак на системы, основанные на методах глубинного машинного обучения. Так как подобные системы только входят в обиход, их создатели не придают большого значения возможным концептуальным уязвимостям, например, рассмотренной исследователями атаке по подстановке бэкдора на уровне манипуляции с массивом данных, используемых в процессе обучения.
Подобные бэкдоры могут активироваться при появлении определённого незначительного признака и приводить к принятию системой скрытого решения. Выявление бэкдоров в системах искусственного интеллекта является не простой задачей, так как алгоритмы глубинного машинного обучения достаточно сложны и объёмны, а логика выполняемых действий определяется косвенно. Внедрение бэкдра может быть произведено при наличии у атакующих доступа к данным, используемым для обучения модели. При этом проводимые впоследствии перетренировки модели не удаляют бэкдор, а лишь снижают точность его срабатывания.
Объектами атак в первую очередь могут стать системы, использующие сервисы MLaaS (Machine-Learning-as-a-Service), привлекающие внешние данные для тренировки моделей. Например, компания Google предоставляет исследователям доступ к движку Google Cloud Machine Learning, который может использоваться для тренировки своих систем искуственного интеллекта, пользуясь для обучения как своими данными, так и коллекцией изображений, видео и текстов. Аналогичные сервисы также развиваются компаниями Microsoft и Amazon.