Станислав Клименко: "11 сентября" VR-технологии ворвались в нашу жизнь

R&D.CNews. Станислав Владимирович, как Вы пришли из мира физики в мир виртуальной реальности? Как происходило становление этой дисциплины в СССР и в России?

Станислав Клименко. Формирование представления о виртуальной реальности - заслуга основателя компьютерной графики Айвена Сазерленда, который в 1965 году, когда я был еще студентом, на одной из своих лекций говорил, указывая на экран компьютерного монитора: «Не думайте об этом, как об экране монитора, думайте об этом как об окне - окне, через которое каждый может заглянуть в виртуальный мир. Основной задачей компьютерной графики является создание виртуального мира, реально выглядящего, реально звучащего, мира, в котором перемещения и реакции на воздействия происходят в реальном времени, мира, который ощущается реальным».

В тот далекий 1965 год я только приехал в Дубну для выполнения дипломной работы в Лаборатории ядерных проблем, в группе известного физика Венедикта Петровича Джелепова. Закончил МФТИ в 1966 году по специальности "экспериментальная ядерная физика".

В Дубне проработал еще год, учась в аспирантуре Физтеха. Занимались мы обработкой фотоснимков траекторий элементарных частиц в пузырьковой камере. Эта задача очень близка классической задаче фотограмметрии для аэрофотосъемки, только в микромире.

В те времена пузырьковые камеры были передовой экспериментальной методикой физики высоких энергий. Современные электронные детекторы только зарождались. Обработка снимков с пузырьковых камер стимулировала развитие компьютерной и другой техники, позволяющей обрабатывать изображения - снимков были миллионы.

В ходе подготовки к экспериментам всем физикам, в том числе и мне, пришлось осваивать вычислительную технику, поскольку какой ты физик, если не можешь измерить результаты своего эксперимента? "Измерение" для той методики в большей степени сводились к вычислениям, в современной терминологии - к "компьютингу".

Они заключались в том, что с помощью сложных измерительных устройств, управляемых операторами, высококвалифицированными инженерами и огромными по современным понятиям компьютерами, по стереопарам снимков измерялись координаты траекторий, а затем, с помощью специальных программ восстанавливалась трехмерная картина взаимодействия пучковой частицы и частицы мишени.

И мишенью, и детектором частиц служила жидкость, наполнявшая камеру и приводимая в перегретое состояние с помощью мощной гидравлической системы расширения. Потом по этим траекториям определялись импульсы вторичных (рожденных) частиц и кинематика взаимодействия. Начали мы считать на ЭВМ М20, потом на БЭСМ-6.

Затем, в 1967 году, я переехал в Протвино, где был построен самый большой в мире на то время ускоритель, и продолжал заниматься теми же проблемами. Для обеспечения физических экспериментов требовались большие объемы вычислений, и средства в вычислительную технику вкладывались очень серьезные.

Так, в семидесятых годах в Протвино был создан самый мощный в СССР вычислительный центр, основу которого составлял комплекс ЭВМ английской компании ICL стоимостью около £15 млн. Мы, физики, учились программировать, читая тексты программ, созданных в CERN. В те времена сформировалось мнение, что самый хороший программист - это несостоявшийся физик-теоретик. Так было во всем мире, не только у нас.

Одним из направлений нашей деятельности стала компьютерная графика. Уже тогда мы поняли, что без такого инструмента невозможно эффективно представить результаты своей работы. Человек более 80% информации получает через зрительные каналы и способен особенно быстро воспринимать, обрабатывать и понимать именно зрительную информацию.

Если говорить на языке информатики, у человека есть два процессора — логический, за работу которого отвечает левое полушарие, и графический — правое полушарие, отвечающее за творческие процессы, образное мышление, интуицию. Когда человек рассматривает картинки, насыщенные научной информацией (одна картинка стоит тысячи слов), то происходит интенсивный информационный обмен между двумя полушариями — таким образом, достигается синергетический эффект.

Это известно давно - недаром всегда в обсуждении люди стараются не просто говорить, но и рисовать, приводить некоторые образы. Графические образы позволяют наглядно представить традиционно воспринимаемые как "абстрактные" идеи, объекты, понятия. Достаточно вспомнить, к примеру, графические работы замечательного отечественного математика Анатолия Фоменко.

Первые графические системы мы называли в то время "иллюстративной машинной графикой", так как их основной задачей было формирование иллюстраций к физическим докладам и статьям. А поскольку данные у нас, физиков, всегда были сложные и многомерные, естественно, возникла идея делать именно многомерные представления.

Сначала это были трехмерные гистограммы, потом мы познакомились с техникой, позволяющей представить объемную сцену более реалистично. Так постепенно мы пришли к тому, что теперь называется "визуализация" — делать видимым невидимое.

Собственно, пузырьковая камера и стала первым инструментом визуализации. Работа с ней позволила разработать ряд конкурентоспособных графических пакетов, которые использовались в СССР и за рубежом для визуализации событий в экспериментальных физических установках нового поколения, пришeдших на смену пузырьковым камерам.

В 1987 г. национальным научным фондом США была сформирована Инициатива ViSC (Visualization in Scientific Computing), ориентированная на создание систем визуализации для суперкомпьютеров. В то время в США было создано пять суперкомпьютерных центров, которые выдавали огромные массивы данных, и с ними что-то надо было делать для восприятия результатов вычислений.

Человек не способен воспринять огромные объемы числовых данных, выдаваемых суперкомпьютерами, а, как известно, «цель расчетов - не числа, а понимание» (Ричард Хемминг). Визуализация позволяет использовать для анализа численных данных мощную человеческую способность видеть и понимать изображения. Соответственно, ее задача - преобразование огромных массивов числовой информации в адекватные для человеческого восприятия графические образы.

В 1990 г. прошла первая конференция в Сан-Франциско по визуализации. Я в ней участвовал, познакомился со специалистами, и, в общем, эта область меня увлекла. В 1991 г. была проведена первая Российская конференция "Графикон", пришедшая на смену традиционным советским конференциям по компьютерной графике. На "Графиконе" все чаще стали появляться доклады, посвященные проблемам визуализации.

В 1994 г. нами был создан «виртуальный» Институт физико-технической информатики, основным направлением деятельности которого стала разработка систем визуализации и виртуального окружения (ВО) для российской космической и атомной промышленности, науки и образования.

Двумя годами раньше был образован Российский фонд фундаментальных исследований, который стал мощной альтернативой традиционному финансированию НИР и давал возможность выжить инициативным и упорным. С третьего "захода" наш Институт выиграл свой первый грант РФФИ: проект назывался "Визуализация сложных физических явлений и математических абстракций".

В этом проекте была реализована моя давнишняя мечта "изобразить группу" - нами визуально, в виде видеофильма была показана существенная разница топологии группы вращений на 2π и 4π. Собственно, наш Институт и по сей день существует лишь благодаря поддержке РФФИ и энтузиазму наших сотрудников.

R&D.CNews. Студенты МФТИ разделяют Ваш интерес к технологиям виртуальной реальности?

Станислав Клименко. На Западе основной движущей силой науки являются студенты старших курсов и аспиранты. Мы тоже привлекали к научным работам студентов МФТИ, но сначала не придавали большого значения этому зарубежному феномену. Большим открытием для меня было и то, что успешно работающие на Западе научные коллективы по сути включают в себя три ипостаси — фундаментальные исследования, образование и коммерциализацию результатов исследования (это теперь называется "инновационной" деятельностью).

Тогда я всерьез задумался о создании кафедры в МФТИ, специализирующейся как раз в области высоких информационных технологий и работающей в связке с Институтом физико-технической информатики. Ректор Физтеха Николай Карлов и декан факультета общей и прикладной физики Федор Каменец поддержали идею создания "компьютерной кафедры" на физическом факультете.

В 1997 году была создана базовая кафедра системной интеграции и менеджмента, на которой в настоящее время проходит обучение свыше сотни студентов старших курсов и аспирантов; в штате кафедры - около тридцати преподавателей.

Многие студенты с научным складом ума с большим интересом участвуют в наших проектах. Мы даем нашим студентам годовой курс по компьютерной графике и виртуальной реальности. При выполнении курсовой работы студенты разрабатывают серьезные демонстрации с виртуальными объектами и сценами.

Лучшие из них выбирают наш институт в качестве базовой организации и выполняют серьезные проекты с использованием технологии ВО. Например, наша студентка 6-го курса Полина Даниличева в этом году демонстрировала фрагменты своей магистерской диссертации на выставке CeBIT'2008 в Ганновере на стенде Федерального агентства по образованию.

R&D.CNews. Насколько вообще изменился облик отечественного студента-физика за 40 лет?

Станислав Клименко. Мне трудно судить обо всех студентах, могу только сказать о студентах нашего факультета общей и прикладной физики МФТИ, которые приходят к нам на кафедру. Наш факультет исторически считается лучшим в МФТИ - прежде всего, по набору на первый курс. Конкурса на факультет практически нет — к нам идут одни отличники: победители российских и региональных олимпиад, участники международных олимпиад, золотые медалисты и, вообще, очень подготовленные ребята.

На собеседовании перед принятием решения о зачислении в институт абитуриентам задают один и тот же вопрос: «Чем вы хотите заниматься?» Большинство мечтают стать физиками-теоретиками в области физики элементарных частиц, астрофизики, физики твердого тела, физики лазеров. А если экспериментатором - то обязательно в области физики низких температур.

Через три года обучения, познакомившись с реалиями жизни и успехами старшекурсников в повышении собственного благосостояния (результаты анонимного анкетирования свидетельствуют, что доходы студентов старших курсов МФТИ примерно в 5 раз превышают доходы их собственных преподавателей), студенты стремятся найти работу. Для этого у них имеются свободные от занятий "базовые дни", когда они, теоретически, должны были бы заниматься НИР.

Естественно, обращаются они в коммерческие компании и банки, где молодые высоко интеллектуальные таланты востребованы гораздо больше, чем в академических институтах, и зарплата на порядок выше. Не обладая профессиональной подготовкой по компьютерным технологиям, наиболее востребованным на рынке, студенты физических кафедр ФОПФ стремятся перейти на нашу кафедру, чтобы получить необходимые им на работе знания и умения.

Мы оказались в ситуации, прямо противоположной принятой в высокоразвитых странах, где студенты за образование должны платить. У нас же, если хочешь учить студента своей науке и своему ремеслу, то ты ему должен платить по меркам коммерческих компаний.

VR-Симулятор орбитальной космической станции в среде Аванго (МФТИ)

В западных университетах профессора также платят студентам за счет выигранных грантов, если хотят привлечь студента к выполнению своих проектов, но там уровень грантов на два порядка выше наших, а профессорам, как правило, запрещено получать дополнительную зарплату.

Успешная коммерциализация научных результатов (инновационная деятельность) позволяет научным лабораториям на равных конкурировать с коммерческими компаниями на рынке "студенческого труда" (так и хочется сказать - "детского труда", который существенно ограничен на Западе либо юридически, либо социальной традицией).

Совершенно очевидно, что отечественные академические институты, перестав жить за счет ренты сдаваемых в аренду помещений и всерьез занявшись инновационной деятельностью, смогут платить студентам на уровне "разумной достаточности" и легко развернут своих студентов обратно в научные лаборатории. Кроме того, крайне важно, чтобы наши законодатели приняли закон об ограничении рабочего времени для студентов, которые учатся в ВУЗах на бюджетной основе.

Нами также было сделано несколько попыток "замкнуть триаду" устойчивого научного коллектива инновационной компанией, но пока в стране наша научная продукция остается мало востребованной. Мы продолжаем поиски путей внедрения через поиск новых задач, новых сфер приложения наших разработок. Интересно отметить, что использование результатов науки в промышленности в развитых странах называется "трансфером", то есть "передачей", а у нас - "внедрением", что изначально предполагает "сопротивление среды".

Большую роль в становлении устойчивой научной структуры нового типа, построенной по принципу "виртуального коллектива", сыграло международное сотрудничество. Более 15 лет мы сотрудничали с Фраунгоферовским институтом медиакоммуникаций (ИМК, г. Санкт-Августин, Германия), ведущим мировым разработчиком систем виртуального окружения.

R&D.CNews. Какими проблемами в настоящее время занимается ваш виртуальный институт, как вы пришли к новой для России технологии виртуальной реальности?

Станислав Клименко. В процессе развития визуализации как научной дисциплины и технологии анализа данных было осознано, что человек лучше всего понимает и проникает в суть исследуемого явления, когда он может "погрузиться в мир исследуемого явления", то есть, в пространство модели, и когда его "погружение" усиливается возможностью непосредственно манипулировать данными в пространстве модели. Это осознание и привело к появлению понятия виртуального окружения или виртуальной реальности.

Виртуальное окружение - это технология человеко-машинного взаимодействия, которая обеспечивает погружение пользователя в трёхмерную интерактивную среду изучаемого явления или процесса и предоставляет естественный интуитивный интерфейс для взаимодействия с объектами (искусственными и/или реальными) в виртуальной среде.

По оценке профессора Фредерика Брукса, сегодня в мире действует более пятисот полномасштабных установок виртуального окружения, которые реально приносят ощутимую пользу в своих областях применения. Наиболее серьёзные результаты получены на авиационных и автомобильных тренажерах, в системах подготовки экипажей атомных подводных лодок и военных кораблей, при обучении операторов атомных электростанций, при тренировках космонавтов работе в условиях невесомости, при исследованиях и разработке нанотехнологий.

Применение технологии виртуального окружения позволило перейти на качественно более высокий уровень обработки данных, моделирования и проектирования экспериментов, создания сложных машин и механизмов, промышленных объектов и процессов.

Однажды я нашел определение "синтетической" науки, которое полностью разделяю: «синтетическая наука - это нечто искусственное, выведенное исключительно только на основе умозаключений, без экспериментальных исследований». То есть, синтетическую науку только тогда можно квалифицировать как естественную, когда в ней появляется "измерение". В таком смысле визуализация, конечно, синтетическая наука, точнее — технология.

Однако, она имеет шанс стать реальной естественной наукой. Так, на конференции VR-2005 (Бонн, Германия) по виртуальной реальности в ключевом докладе профессора Брукса были поставлены задачи экспериментального и количественного определения (измерения) глубины «погружения» человека в виртуальную среду.

В нашем коллективе есть студенты, аспиранты, преподаватели нашей Кафедры в МФТИ. Мы активно сотрудничаем с Центром подготовки космонавтов, Центром управления полетами, Институтом космического приборостроения, Научно-исследовательским центром электронной вычислительной техники, коммерческими компаниями. Уже проведен ряд успешных совместных проектов, поддержанных грантами РФФИ.

В рамках совместного проекта с Фраунгоферовским институтом медиакоммуникаций (Санкт-Августин, Германия) мы разработали установку VEonPC (виртуальное окружение на кластерах персональных компьютеров). По сравнению с традиционными дорогостоящими установками виртуальной реальности (CyberStage, iCONE, Responsive Workbench, Teleport) система VEonPC обладает невысокой стоимостью, поскольку базируется на использовании общедоступных высокопроизводительных компьютеров и свободно распространяемого программного обеспечения.

Свою работу мы ведем с использованием открытой (Open Source) программной среды Аванго - мощного средства для создания интерактивных распределенных приложений виртуального окружения. Система Аванго была разработана в Институте медиакоммуникаций Немецкого центра информационных технологий (GMD, Санкт-Августин, Германия) совместно с российскими учеными, а затем перенесена на PC-Linux кластеры.

В настоящее время мы работаем над несколькими исследовательскими проектами, посвященными применению технологии виртуального окружения в различных областях науки и техники.

Один из них - это разработка тренажеров с силовой обратной связью. Разработка такого тренажера позволит воспроизводить реальные динамические нагрузки и вырабатывать необходимые моторные навыки у тренирующегося. В качестве устройства, имитирующего биомеханические особенности движения мы выбрали широко используемый активный тренажер горнолыжника/сноубордиста отечественного производства.

Другой проект использования методов ВО в обучении - разработка технологии так называемого "виртуального повествования". Виртуальное повествование объединяет в себе новейшие достижения в области виртуального окружения и искусственного интеллекта и реализует принцип edutainment, т.е. совмещает обучение (education) с развлечением (entertainment).

Оно имеет много общего с тренажерами на базе технологии ВО, интерактивными моделями и «серьезными играми» (serious games), но отличается от них нарративной (повествовательной) направленностью. Урок в жанре виртуального повествования представляет собой рассказ, содержащий элементы интерактивности. Интерактивность позволяет установить обратную связь со слушателем и формировать сюжет виртуальной истории в зависимости от его предпочтений.

Дети "путешествуют" в VR-Симуляторе Солнечной системы (МФТИ)

Мы уделяем особое внимание космическим образовательным приложениям технологии виртуального повествования: "Виртуальный планетарий", "Виртуальные космические эксперименты" и "Виртуальные уроки из космоса".

Приложение "Виртуальный планетарий" предназначено для обучения школьников астрономии. Оно представляет 3200 ярчайших звезд, 30 объектов Солнечной системы и 88 созвездий. Все объекты отображаются так, как будто наблюдатель видит их из иллюминатора космического корабля. Стереоскопическая проекционная система создает иллюзию открытого космического пространства.

Приложение "Виртуальные космические эксперименты" может использоваться для тренировки космонавтов и постановщиков космических экспериментов (КЭ) в условиях, приближенных к "боевым". Перемещаясь внутри виртуальной космической станции и взаимодействуя с ней, можно получить адекватное представление об обстановке на борту.

Это позволит детально продумать и отработать методику постановки КЭ, учитывая всевозможные ограничения, и избежать ошибок при проведении реальных экспериментов в условиях космического полета.

1993 год. Первый в мире урок из космоса ведет российский космонавт Александр Серебров

В рамках проекта "Виртуальные уроки из космоса" на основе реальных уроков из космоса, созданных космонавтом Александром Серебровым во время его полета на станции "Мир", мы разрабатываем образовательное приложение в жанре виртуального повествования. На наших виртуальных космических уроках стереоскопическая проекционная система обеспечивает погружение в виртуальную среду, представляющую собой модель орбитальной космической станции, а виртуальный учитель-космонавт объясняет, как проявляются важнейшие физические законы в условиях невесомости.

Примером применения ВО для управления сложными техническими объектами является технология индуцированного виртуального окружения (ИВО), разработанная при участии Центра управления полетами для демонстрации процессов развертывания и эксплуатации орбитальных комплексов. Система ИВО в режиме реального времени осуществляет прием данных о состоянии реальных объектов и преобразует эту информацию в параметры состояния виртуальных объектов. Полученные данные визуализируются в системе виртуального окружения.

Стереоскопический VR-эмулятор магнитосферы Земли (МФТИ)

В настоящее время крайне перспективным видится синтез уже существующих современных технологий получения достоверной, не опосредованной картографическими методами географической и пространственной информации, принципов неогеографии и Situational Awareness, с одной стороны – и методов виртуальной реальности и виртуального окружения, с другой.

Результаты такого синтеза, очевидные специалистам, способны кардинально изменить степень восприятия образа Земли, образа географического пространства – от локального до глобального масштаба.

Кстати, о терминологии — ряд представителей традиционных школ геоинформатики не понимают еще всей значимости термина "неогеография". Считаю своим долгом напомнить: при появлении на рынке новых идей, продуктов и технологий вместе с ними приходят и новые слова — это оправдано и так было всегда.

Еще Платон задолго до Рождества Христова писал: «…они дают болезням новые странные названия». На необходимость называть новые вещи новыми "правильными именами" указывал выдающийся ученый в области информатики Дональд Кнут в своей широкоизвестной книге "Все про ТеХ". Термин "неогеография", вне всякого сомнения, имеет право на существование.

R&D.CNews. Как Вы пришли к идее синтеза технологий виртуальной реальности и неогеографии?

Станислав Клименко. Год назад, в июле 2007 года, мы принимали участие в Международной научной конференции - рабочей встрече экспертов России и НАТО "Стойкость городских сооружений к комбинированным опасным воздействиям: уроки 11 сентября и научные задачи на будущее".

Обсуждалось современное состояние актуальных после "11 сентября" проблем, касающихся снижения риска катастроф и комплексной безопасности города. На этой встрече мы ставили своей целью познакомить научную общественность с технологиями виртуального окружения и перспективами их применения в задачах реагирования, предотвращения и ликвидации последствий чрезвычайных ситуаций (ЧС).

Системы виртуального окружения уже начинают использоваться там, где необходимо представление трехмерных данных – и, в частности, геопространственной информации. Однако подлинная революция – еще впереди. В настоящее время, благодаря, в том числе, и вашему порталу Исследования и разработки – R&D.CNews, специалисты заинтересовались вопросами применения технологий виртуального окружения и неогеографии в проектах создания виртуальных городов с использованием открытого ПО.

Интегрированная трехмерная модель города исключительно полезна для предоставления жителям информации о городе, обеспечения эффективной коммуникации между населением и мэрией, планирования застройки и благоустройства города. Технологии ВО обеспечивает интуитивный интерфейс для доступа к геопространственной информации.

Абстрактное понимание важности создания виртуальных моделей городов, регионов и объектов и их представления в установках виртуального окружения существовало и раньше, однако трагедия "11 сентября" придала этому пониманию ясную конкретику. Специальные службы Нью-Йорка оказались просто неспособны воспринять информацию во всей ее полноте. Правда, выводы были сделаны быстро.

Уже к концу второй недели спасательных работ после трагедии, американский Emergence Mapping Data Center начал проект по созданию 3D-моделей подземных инфраструктур: шахт лифтов, линий коммуникации, электрической и газовой проводки и т.д. Стало ясно, что трехмерные модели городов не только могут, но и должны использоваться как в ситуационных и кризисных центрах управления чрезвычайной ситуацией для отображения информации о ЧС в режиме реального времени, так и для навигации поисково-спасательных отрядов.

Можно сказать, что многие люди осознали значимость виртуальной реальности в нашей жизни по настоящему именно "11 сентября".

Что касается использования VR-технологий в кризисных ситуациях, то в этом случае целесообразно применять системы расширенной реальности (Augmented Reality - AR) в качестве интерфейса. AR - это технология, основанная на наложении сгенерированных компьютером изображений на изображение реального мира.

Если использовать трехмерную модель города с интерфейсом в виде системы AR, то у спасателя нет необходимости сравнивать пространство, которое он видит вокруг себя, с изображением на карте, чтобы определить направление, в котором необходимо двигаться, что сэкономит значительную часть времени. Помимо всего прочего, интерфейс на базе технологии AR позволяет передавать инструкции, подкрепляя указания изображением, наложенным на "реальный мир", т.е. обеспечивает эффективную коммуникацию между пунктом управления и спасателями на месте происшествия.

За годы, прошедшие после "11 сентября", стало ясно, что традиционные обычные и электронные карты (то есть, векторизованные, генерализованные и представленные в картографических проекциях геоданные) имеют существенные недостатки, неустранимые в рамках картографической парадигмы.

Карты сложно связать с современным интуитивным интерфейсом, представляющим визуально достоверную модель местности, а не условное, заданное картографической проекцией представление.

Ориентировка по карте на местности требует значительного времени на совмещение ландшафта с его символьным представлением на карте и требует использования визуальных ориентиров. Это – архаика.

С появлением доступных средств получения "прямых", не опосредованных символьным и субъективным представлением геопространственных данных, переход к принципиально новым технологиям – технологиям неогеографии – становится делом времени. Яркие примеры использования преимуществ нового подхода хорошо известны читателям вашего портала. Теперь надо сделать следующий шаг.

Благодаря современным средствам массового и оперативного получения высокодетальной геопространственной информации стало возможным создавать географические продукты – уже не карты! – недостижимой прежде пространственно-временной точности. Они должны быть не просто трехмерными; эта трехмерность должна легко «схватываться» пользователями визуально.

Современный ситуационный центр (Decision Theater), выполненный с использованием технологии Виртуального Окружения (ВО). Arisona State University

Особенно это важно для промышленности. Визуальное и детальное представление крупных предприятий тяжелого машиностроения, нефте-газового комплекса, шахт, портов и аэропортов, технологических процессов невозможно с использованием «классических» карт. Здесь технологиям виртуальной реальности и неогеографии нет альтернативы.

Резюмируя, могу с уверенностью сказать, что технологии виртуальной реальности, виртуального окружения и неогеографии в ближайшее время займут в нашей повседневной жизни такое же привычное место, как телевидение, персональные компьютеры, мобильные телефоны и другие вещи, без которых мы уже не можем обойтись. Остается только надеяться, что Россия в этом направлении будет двигаться, не отставая от других стран, а в чем-то даже опережая их.

R&D.CNews. Станислав Владимирович, большое спасибо за интервью.