Ученые узнали, как «думают» алгоритмы машинного обучения

Беспилотные автомобили, медицинская техника и прочие системы компьютерного зрения управляются при помощи ИИ, основанного на глубоком машинном обучении. Нейронные сети построены по модели человеческого мозга, то есть состоят из разных уровней связанных между собой «нейронов» — алгоритмов, которые отправляют и принимают данные, а также реагируют на их свойства.

Задача первого слоя — обработка входящей информации (пикселей в изображениях). Далее он отправляет ее на следующий уровень, запуская часть «нейронов». Затем сигнал переходит на более глубокие уровни до тех пор, пока алгоритм не определит, что же изображено на картинке. При этом «сознание» ИИ (скрытые уровни сети) до сих пор непостижимо для людей, в том числе для тех, кто эти машины и создал. Ученые называют это «проблемой черного ящика».

Как понять, что именно изучает нейросеть, чтобы идентифицировать изображение? И что, если ее выводы могут быть абсолютно неверными? Исследователи из университета Дьюка придумали способ решить «проблему чёрного ящика», чтобы вовремя находить и устранять ошибки в работе сети.

Большинство схожих методов выясняет, как нейросеть пришла к тому или иному ответу, постфактум. Они учитывают ключевые особенности изображения или пиксели, с помощью которых ИИ его идентифицировал. Например, опухоль на рентгеновском снимке определяется нейросетью как злокачественная, потому что, согласно модели, заложенной в программу, конкретная область на изображении имеет решающее значение при определении рака легких. То есть подобные методы не раскрывают «мыслительный процесс» ИИ, а лишь показывают, откуда берутся данные.

Авторы исследования пошли другим путем. Вместо того, чтобы выяснять, как нейросеть принимает решения, новый метод обучает ИИ показывать свою работу поэтапно. Таким образом можно увидеть, как алгоритм вызывает в памяти различные концепции на разных уровнях, чтобы в итоге распознать нужное изображение.

Ученые выяснили, что при небольшой надстройке нейросети объекты и сцены распознаются с такой же точностью, как в исходной сети, и таким образом можно наблюдать весь «мыслительный» процесс машины.  Если в качестве примера взять изображение библиотеки, этот подход дает возможность увидеть, сколько раз и какие уровни нейросети «мысленно представляют» книги, чтобы распознать картинку.

Метод основан на контроле передачи данных и предполагает замену одной стандартной части нейросети на новую, в которой один нейрон срабатывает в ответ только на один конкретный элемент входящей информации. Например, сеть может понимать, что перед ней стол или автомобиль, но также способна выделить у двух этих предметов общие характеристики — металлический, деревянный, маленький, большой и т. д. Естественно, если за каждую характеристику будет отвечать отдельный нейрон, понять механизм «мышления» ИИ будет гораздо проще.

Исследователи применили новый метод к нейросети, обученной распознавать миллионы разных сцен — от школьных классов и летних площадок кафе до площадей и узких улочек. Во время тестирования они предложили машине изображения, которые она раньше не видела, и зафиксировали, какие сетевые уровни и каким образом чаще всего используются при обработке данных. Например, при идентификации багряного заката обученная нейросеть на верхних слоях связала теплые тона с понятием постели. Но чем глубже изображение проходило через последовательные слои, тем больше алгоритм полагался на более сложные концепции и, в итоге, добрался до картинок самолета, неба и облаков.

Конечно, метод все равно позволяет увидеть только малую часть того, что на самом деле происходит в нейросети. Но, используя новую методику, ученые могут определить важные аспекты хода «мыслей» ИИ, чтобы избежать ошибок в организации систем компьютерного зрения, особенно в случае постановки сложных медицинских диагнозов.