Зведена група дослідників з Вашингтонського університету, Мічіганського університету, Університету штату Нью-Йорк в Стоуні-Бруку, а також Каліфорнійського університету в Берклі опублікувала цікавий доповідь , В якому описала фізичні атаки на системи машинного навчання, що використовуються в безпілотних автомобілях, Дронь і інших подібних пристроях.
Не секрет, що машини далеко не завжди інтерпретують зображення вірно, і часом досить незначних змін, внесених в картинку, щоб система «побачила» щось інше. Об'єднана група з восьми фахівців вирішила на практиці вивчити, чи легко буде обдурити таким способом сучасні безпілотні автомобілі. Адже в теорії атакуючий може змусити машину «побачити» невірний дорожній знак і, як наслідок, прийняти невірне рішення, в результаті піддавши небезпеці життя пасажирів.
Дослідники розділили атаки на два типи. У першому випадку дорожній знак повністю заклеювали нашвидку роздрукованим постером. Хоча людське око помітить подібну підміну без праці, машині зробити це буде куди складніше. У другому випадку фахівці приклеювали на знаки невеликі стікери. Водій-чоловік, швидше за все, навіть не додасть такого «спотворення» значення (хулігани регулярно псують дорожні знаки), тоді як машина в результаті може інтерпретувати знак зовсім інакше.
Дослідники додали фото змінених дорожніх знаків у відповідних форматах в систему LISA, яка використовується для навчання глибоких нейронних мереж і приступили до дослідів.
Результати тестів демонструють досить лякає результат. Наприклад, якщо знак «Рух без зупинки заборонено» зіпсований словами love і hate (див. Зображення вище), машина в 100% випадків інтерпретує його як знак, що обмежує максимальну швидкість 45 км / ч. Нібито зіпсований графіті знак (другий і третій зліва на зображенні вище) призводить до того ж результату в 67% випадків. Знак, заклеєний постером (крайній праворуч на зображенні вище), також обманює «розумний» автомобіль, змушуючи його «побачити» стоп-сигнал в 66,77% ситуацій, і знак з'їзду на додаткову смугу в 33,7% ситуацій.
У таблицях нижче наведені детальні результати тестів для кожного знака, з різної відстані і під різними кутами «огляду».
SL45 = Speed Limit 45, STP = Stop, YLD = Yield, ADL = Added Lane, SA = Signal Ahead, LE = Lane Ends.
фото: Depositphotos