Найден математический способ повысить доверие к ИИ

На базе ИИ работает анализ климатических изменений и прогнозирование условий окружающей среды. В медицине ИИ используется для отслеживания вспышек заболеваний. Также алгоритмы ИИ применяются для оценки способности студентов к обучению и для разработки индивидуальных учебных программ.

Одна из самых серьезных задач, стоящих перед разработчиками алгоритмов — заставить нейронные сети генерировать предсказания, которым можно доверять. В большинстве случаев именно это препятствует полноценному внедрению технологий, основанных на ИИ. Иначе говоря, существует серьезная проблема доверия к ИИ, особенно когда речь идет буквально о вопросах жизни и смерти. Одна из областей, где существует большое недоверие к ИИ — это беспилотные автомобили.

Потенциальные преимущества автономных транспортных средств — сокращение загрязнения окружающей среды, повышение безопасности дорожного движения и уменьшение загруженности дорог. Тем не менее, велики риски того, что автопилот не сможет должным образом отреагировать на опасную ситуацию. В итоге многие люди попросту боятся убрать руки с руля из-за беспокойства.

Исследователи из Инженерной школы USC Viterbi искали способ повысить доверие к решениям ИИ и одновременно сделать прогнозы нейросетей более точными. Так появилась система DeepTrust. Изображение: PIxabay

От беспилотных транспортных средств требуется действовать независимо и принимать точные решения. Причем они должны делать это очень быстро, особенно при распознавании объектов на дороге и тем более в сценариях, где технология должна расшифровать разницу между лежачим полицейским, каким-либо другим объектом и живым существом. 

Кроме того, существуют этические вопросы: например, должен ли беспилотный автомобиль вообще принимать решение, сбить ему человека или врезаться в стену. Причем это не просто гипотетический вопрос — уже был не один реальный случай с такой дилеммой.

Чтобы повысить уровень доверия к ИИ, исследователи из Инженерной школы USC Viterbi (Южная Калифорния, США) разработали математический способ оценки достоверности данных и прогнозов, созданных с помощью алгоритмов ИИ. Работали ученые на примере сценариев для автономных автомобилей.

Исследователи поставили перед собой конечную задачу повысить доверие компьютерному ПО в транспортных средствах настолько, чтобы можно было позволить ему принимать решения за доли секунды, особенно когда противоречивая информация поступает от разных источников, таких как компьютерное зрение с камер или данные от системы лидаров.

Проблема доверия к ИИ остро стоит в сфере беспилотных автомобилей — люди просто боятся позволить алгоритмам принимать важные решения. Изображение: Reuters

Для оценки доверия к ИИ исследовательская группа разработала систему под названием DeepTrust. Это компьютерная математическая модель, которая может количественно оценить степень неопределенности в отношении решения, принятого ИИ.

Она автоматически генерирует «индикаторы доверия» в отношении алгоритмов ИИ. Проще говоря, пользователь видит, где погрешность слишком большая и ИИ «сомневается» в своем решении. Например, при тестировании этого инструмента на прогнозировании вариантов президентских выборов 2016 года в США DeepTrust показал, что у версии с победой Хиллари Клинтон слишком большая погрешность.

Программа разрабатывалась в течение двух лет с использованием субъективной логики для оценки архитектуры нейронных сетей. Исследовательская работа опубликована в журнале Frontiers in Artificial Intelligence.

Это первая модель оценки доверия для искусственного интеллекта и машинного обучения. Сейчас разработчики планируют сделать DeepTrust доступным для других исследовательских групп, чтобы можно было в широких масштабах оценивать доверие к ИИ и улучшать его надежность, в конечном итоге повышая уверенность людей в концепциях, основанных на ИИ.