Показаны недостатки тестов систем компьютерного зрения

Новое исследование показало несовершенство тестов, проверяющих способность компьютеров к визуальному распознаванию объектов.

Некоторые алгоритмы показывают до 60% положительных результатов распознавания изображений в публичных базах данных, например, базе Caltech101, специально предназначенной для тестирования систем компьютерного зрения. Однако специалисты Массачусетского технологического института и Гарвардского института утверждают, что такие базы имеют недостатки, ведущие к завышению оценок компьютеров. Например, объекты на их фотографиях, как правило, размещены в центре кадра, сняты под унифицированным ракурсом и отражают вполне определенную ситуацию. В реальном мире визуальные объекты находятся в гораздо более широком диапазоне условий, указывают исследователи.

Исследовательская группа создала простую компьютерную модель, описывающую отрезок зрительного пути человека. Искусственные нейроны, имитирующие функции первичной зрительной коры, анализировали информацию о расположении границ изображенного объекта. Модель не производила более сложный анализ визуальной информации, при котором распознаются форма, поверхности объектов и пространство между ними.

К удивлению ученых, созданная модель показала очень хорошие результаты на базе данных Caltech101 - на уровне пяти известных современных систем компьютерного зрения или даже выше. Это позволило оценить работу этих систем как недостаточно эффективную.

Кроме того, ученые создали новый набор изображений для тестирования, включающий только две категории объектов - самолеты и автомобили. Эти объекты были сняты под разнообразными ракурсами и в разных размерах, что, по мнению исследователей, достаточно адекватно отражает условия реального мира. Модель была протестирована на распознавание данных изображений и показала худшие результаты, чем в первом тесте. Это подтвердило вывод о том, что созданная модель не отличалась высоким качеством распознавания, а ее хорошие результаты в первом тесте были обусловлены низкими требованиями самого теста.