Google: ключ к искусственному интеллекту?

Обучение компьютера работе не со словами как таковыми, а с их смыслами, представляет собой давнюю проблему, стоящую перед разработчиками систем искусственного интеллекта. Для определения смысла слова необходимо определить контекст, в котором оно употребляется. Настойчивые попытки «обучить» компьютер самостоятельно определять смысл слов, рассматривая их сочетания с сотнями тысяч других, требуют выполнения чрезвычайно трудоемкой работы по созданию сложных обширных баз данных. Неожиданно выяснилось, что на сегодняшний день эта сложнейшая проблема, собственно, уже решена. Решение стало возможным благодаря современным поисковым системам, позволяющим работать с неисчерпаемыми массивами индексируемой текстовой информации. Таким, как Google, в котором поиск осуществляется на сегодняшний день среди более чем 8 млрд. документов.

Как сообщает New Scientist, Пол Витани (Pol Vitanyi) и Руди Цилибраси (Rudi Cilibrasi) из голландского национального института математики и компьютерных исследований (г. Амстердам) предложили воспользоваться для определения смысла слова обычной поисковой системой. Поиск с помощью Google позволяет определить, насколько близко связаны между собой два слова. Например, с помощью Google компьютер сможет «понять», что означает английское слово hat (шляпа).

Для этого ему нужно построить «дерево слов» – базу данных, описывающую взаимосвязи между словами. К примеру, поиск в Google по ключевым словам hat (шляпа) и head (голова) дает около 9 млн. результатов, в то время как поиск по ключевым словам hat и banana (банан) дает менее полумиллиона результатов. Очевидно, первая пара слов теснее соотносится друг с другом, чем вторая. Для количественного определения меры близости терминов Витани и Цилибраси разработали статистический индикатор, позволяющий на основе подсчета количества результатов, выданных поисковой системой, определить «логическую дистанцию» между двумя словами. Новый показатель получил обозначение NGD (Normalized Google Distance). Чем меньше значение NGD, тем ближе соотносятся друг с другом два слова.

Многократно повторяя данную процедуру с различными парами слов, становится возможным построить «карту» их относительных «логических дистанций». С ее помощью компьютер может определить смысл слова. «Это автоматическое определение смысла, - говорит Витани. – С помощью данной методики можно также обучить компьютер пониманию и научить его действовать до некоторой степени разумно».

Авторы уже опробовали предложенную ими методику в решении самых разнообразных задач – в частности, различения цветов, чисел, религий, а также голландских художников. Полученные ими результаты описаны в сетевом препринте.

По мнению Майкла Уитброка (Michael Witbrock), работающего над проектом Cyc по созданию энциклопедической базы знаний для будущих систем с искусственным интеллектом, полученные голландскими учеными результаты не удивительны. Проект Cyc, работа над которым ведется в г. Остин, штат Техас, на протяжении уже двух десятилетий, представляет собой огромное хранилище фундаментальных человеческих знаний, фактов и эмпирических правил.

Майкл Уитброк убежден, что компьютеры смогут черпать из Сети информацию для создания очень подробных собственных баз знаний. «Сеть способна кардинально изменить ситуацию в вопросе, удастся нам создать искусственный интеллект, или же нет», - полагает он. В рамках проекта Cyc для пополнения его собственной базы данных уже используется информация из Сети.