Как работает современный искусственный интеллект? Рукописные записи обманули машинное зрение OpenAi

Как работает современный искусственный интеллект? Рукописные записи обманули машинное зрение OpenAi

Как работает современный искусственный интеллект? Рукописные записи обманули машинное зрение OpenAi
Как работает современный искусственный интеллект? Рукописные записи обманули машинное зрение OpenAi

Need to trick OpenAI’s latest vision system? Simply add a handwritten label to your target. Image: OpenAI

Researchers from machine learning lab OpenAI have discovered that their state-of-the-art computer vision system can be deceived by tools no more sophisticated than a pen and a pad. As illustrated in the image above, simply writing down the name of an object and sticking it on another can be enough to trick the software into misidentifying what it sees.

“We refer to these attacks as typographic attacks,” write OpenAI’s researchers in a blog post. “By exploiting the model’s ability to read text robustly, we find that even photographs of hand-written text can often fool the model.” They note that such attacks are similar to “adversarial images” that can fool commercial machine vision systems, but far simpler to produce.

Adversarial images pose a real threat, but this particular example is not too serious

Adversarial images present a real danger for systems that rely on machine vision. Researchers have shown, for example, that they can trick the software in Tesla’s self-driving cars to change lanes without warning simply by placing certain stickers on the road. Such attacks are a serious threat for a variety of AI applications, from the medical to the military.

But the danger posed by this specific attack is, at least for now, nothing to worry about. The OpenAI software in question is an experimental system named CLIP that isn’t deployed in any commercial product. Indeed, the very nature of CLIP’s unusual machine learning architecture created the weakness that enables this attack to succeed.

Как работает современный искусственный интеллект? Рукописные записи обманули машинное зрение OpenAi
Как работает современный искусственный интеллект? Рукописные записи обманули машинное зрение OpenAi

“Multimodal neurons” in CLIP respond to photos of an object as well as sketches and text. Image: OpenAI

CLIP is intended to explore how AI systems might learn to identify objects without close supervision by training on huge databases of image and text pairs. In this case, OpenAI used some 400 million image-text pairs scraped from the internet to train CLIP, which was unveiled in January.

This month, OpenAI researchers published a new paper describing how they’d opened up CLIP to see how it performs. They discovered what they’re calling “multimodal neurons” — individual components in the machine learning network that respond not only to images of objects but also sketches, cartoons, and associated text. One of the reasons this is exciting is that it seems to mirror how the human brain reacts to stimuli, where single brain cells have been observed responding to abstract concepts rather than specific examples. OpenAI’s research suggests it may be possible for AI systems to internalize such knowledge the same way humans do.

In the future, this could lead to more sophisticated vision systems, but right now, such approaches are in their infancy. While any human being can tell you the difference between an apple and a piece of paper with the word “apple” written on it, software like CLIP can’t. The same ability that allows the program to link words and images at an abstract level creates this unique weakness, which OpenAI describes as the “fallacy of abstraction.”

Как работает современный искусственный интеллект? Рукописные записи обманули машинное зрение OpenAi
Как работает современный искусственный интеллект? Рукописные записи обманули машинное зрение OpenAi
Хотите обмануть новейшую систему технического зрения OpenAI? Просто добавьте рукописную этикетку к своей цели. Изображение: OpenAI

Исследователи из лаборатории машинного обучения OpenAI обнаружили, что их современную систему компьютерного зрения можно обмануть с помощью инструментов, не более сложных, чем ручка и блокнот. Как показано на изображении выше, просто записать имя объекта и наклеить его на другой может быть достаточно, чтобы обмануть программу и заставить ее неправильно идентифицировать то, что она видит.

«Мы называем эти атаки типографскими атаками», - пишут исследователи OpenAI в своем блоге. «Используя способность модели надежно читать текст, мы обнаруживаем, что даже фотографии рукописного текста часто могут обмануть модель». Они отмечают, что такие атаки похожи на «состязательные изображения», которые могут обмануть коммерческие системы машинного зрения, но их гораздо проще создать.

Состязательные изображения представляют реальную угрозу, но этот конкретный пример не слишком серьезен.

Состязательные изображения представляют реальную опасность для систем, полагающихся на машинное зрение. Например, исследователи показали, что они могут обмануть программное обеспечение беспилотных автомобилей Tesla, чтобы без предупреждения менять полосу движения, просто наклеив на дорогу определенные наклейки. Такие атаки представляют собой серьезную угрозу для множества приложений искусственного интеллекта, от медицинских до военных.

Но опасность, которую представляет эта конкретная атака, не о чем беспокоиться, по крайней мере, на данный момент. Рассматриваемое программное обеспечение OpenAI представляет собой экспериментальную систему под названием CLIP, которая не используется ни в одном коммерческом продукте. Действительно, сама природа необычной архитектуры машинного обучения CLIP создала слабое место, которое позволяет этой атаке добиться успеха.

 

Еще один пример типографской атаки. Не доверяйте ИИ, чтобы положить ваши деньги в копилку. Изображение: OpenAI

Другой пример, приведенный лабораторией, - нейрон в CLIP, который идентифицирует копилки. Этот компонент реагирует не только на изображения копилок, но и на цепочки знаков доллара. Как и в приведенном выше примере, это означает, что вы можете обманом заставить CLIP идентифицировать бензопилу как копилку, если наложите на нее строки «$$$», как если бы она была вдвое дешевле в вашем местном хозяйственном магазине.

Исследователи также обнаружили, что мультимодальные нейроны CLIP кодируют именно те предубеждения, которые вы можете ожидать при поиске данных из Интернета. Они отмечают, что нейрон «Ближнего Востока» также связан с терроризмом, и обнаружили «нейрон, который возбуждает как темнокожих людей, так и горилл». Это повторяет печально известную ошибку в системе распознавания изображений Google, которая помечала чернокожих как горилл. Это еще один пример того, насколько машинный интеллект отличается от человеческого - и почему необходимо разобрать первый, чтобы понять, как он работает, прежде чем доверять свою жизнь ИИ.

Источник www.theverge.com/

Оставьте ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *