EligoVision: дополняя реальность


Дополненная реальность - что это такое, какой она бывает и где применяется? Мы беседуем с Валерией Холодковой, директором по маркетингу компании EligoVision, одного из самых опытных  и профессиональных производителей приложений дополненной реальности в России.

Мир 3D: Валерия, расскажите об истории создания компании EligoVision – когда она возникла, как вообще появилась идея заниматься дополненной реальностью?

Валерия Холодкова, Eligovision: Компания появилась на свет в конце 2005 года. Идея заниматься дополненной реальностью разумеется возникла не на пустом месте — наш руководитель Сергей Матвеев приехал из Германии, где работал над проектами по виртуальной реальности для Евросоюза, и привёз оттуда свои идеи и наработки. Богатый профессиональный опыт Сергея и стал отправной точкой, стержнем EligoVision. Тогда, в 2006 году, компания занималась разработкой довольно сложных систем взаимодействия с виртуальной реальностью (3D пойнтер, оптический пинцет), системами оптического трекинга и созданием собственной программной среды для разработки виртуальной реальности. Задачи заниматься  augmented reality (дополненная реальность) и  mixed reality (смешанная реальность)  в то время не было в планах развития компании. Первая реализация системы дополненной реальности была сделана нами в 2008 году, когда начала активно распространяться библиотека программных средств для создания дополненной реальности ARToolKit и в Европе стали появляться первые выполненные AR-проекты. Наши разработчики стали постепенно разбираться в особенностях новой технологии на базе ARToolKit. По условиям использования библиотеки ARToolKit мы не могли продавать наши работы без покупки дорогостоящей лицензии, поэтому первые проекты в дополненной реальности мы делали только для себя, учились.

Приложения дополненной реальности, построенные при помощи  ARToolKit очень легко отличить от других —  в них используется маркер с широкой, замкнутой квадратной рамкой. Мы разработали свою уникальную систему для построения AR-приложений — маркер с незамкнутой квадратной рамкой, очень контрастный, он легко различается любой современной камерой, будь то веб-камера или камера в мобильном телефоне, а это большой плюс. Правда, практически все современные системы дополненной реальности способны различать маркер только по контрасту чёрного и белого цветов. У нас маркер может быть цветным, но мы сделали даже лучше - в системе дополненной реальности EligoVision цвет маркера и фона различаются по цветам спектра (RGB). Такой маркер можно «спрятать», так как визуально он может и не быть контрастным, но софт будет различать преобладание одного цвета спектра над другим. Разместить этот маркер мы можем прямо за текстовыми блоками в журналах или книгах, например. То есть печатную страницу можно прочитать, а потом, поднеся её к веб-камере, увидеть 3D иллюстрацию на экране.

Вы  говорите о том, что добились различения не только контрастных монохромных маркеров, но даже идентификации цветов и оттенков. Насколько корректно такие приложения будут работать на мобильных устройствах, встроенная камера которых, как правило, хуже чем средняя домашняя веб-камера? И вообще, давайте поговорим о мобильной дополненной реальности, ведь это очень перспективное направление, насколько я знаю.

Отличный вопрос. Скажу сразу — в данный момент мы не занимаемся мобильными девайсами, это направление мы планируем открыть в следующем году. Мы, скорее всего, не будем изобретать ничего принципиально нового, а возьмём за основу наше ПО.  Уже сейчас камеры мобильных устройств имеют разрешение более 5 миллионов пикселов и используют операционные системы, базирующиеся на кодах ОС Linux, поэтому нам нужно будет адаптировать уже разработанное нами ПО под новую операционную систему.

EligoVision

А в чём разница между браузерными приложениями дополненной реальности и теми, которые требуют скачивания специальной программы-клиента?

Принципиальное различие  - в сложности модели. Приложения, которые работают во Flash, то есть в окошке браузера, как правило довольно низкого качества с небольшим количеством полигонов. Мы предпочитаем работать со скачиваемыми приложениями — так мы, во-первых, можем «зашить» туда хорошие качественные модели со сложной анимацией, а во-вторых мы не зависим от интернета — такие приложения работают и в офф-лайне. Тут, кстати, следует сказать, что зачастую корректно работать браузерные приложения не могут из-за элементарных технических ограничений интернет-канала — если скорость подключения к сети невысокая, то 3D изображение будет постоянно исчезать, анимация будет дёрганная, да и потом соединение просто может пропадать на какие-то короткие промежутки времени, а онлайн-приложения дополненной реальности весьма чувствительны к таким сбоям.

Если говорить о технологии дополненной реальности абстрактно — где она используется сегодня? Какие перспективы у этой технологии? Что это — просто забава или действительно полезное изобретение?

Вы сделали правильное разделение — есть рынок маркетинга и рекламы, а есть рынок общественно-полезного применения дополненной реальности. Просто забава? Нет, не согласна. Помните, как начиналась дополненная реальность? Впервые похожие технологии были использованы в шлемах лётчиков боевой авиации, когда пилот самолёта мог видеть дополнительную информацию поверх панорамы реальной местности, которую фиксировали бортовые камеры. Сейчас подобные разработки уже активно применяются на практике в армиях разных стран. Оборонная, военная промышленность — это первое крупное практическое направление. Второе направление — это образование. Например, в Новой Зеландии, Австралии, Японии, Корее технологии дополненной реальности для обучения развиваются очень быстрыми темпами, гораздо быстрее чем в Европе. У нас к дополненной реальности, как и ко всему новому, относятся с некоторой опаской — чтобы начинать внедрять что-то подобное у нас, нужно, наверное, до самого президента дойти. Там же это уже поставлено «на поток» - они знают, где получить грант, они знают, как это подать и кому предложить. В образовании дополненная реальность сейчас очень популярна —  альбомы, энциклопедии оснащаются специальными маркерами, то есть детям интереснее учиться. И всё это — некоммерческие проекты, государство само заинтересовано в более качественном образовании. Но это за рубежом. Когда что-то подобное появится у нас, когда проекты дополненной реальности перестанут быть чисто коммерческими и будут получать хотя бы минимальную поддержку государства — неизвестно. Ещё одно очень перспективное направление — это медицина. Здесь также существуют очень интересные наработки, но уже больше в смешанной реальности, когда, скажем, на манекен проецируются разнообразные модели органов, тканей, физиологических процессов.

EligoVision

Вот очень хотелось узнать у вас, как у профессионалов — в чём разница между дополненной реальностью и смешанной реальностью?

Вы знаете, технология достаточно новая, поэтому терминология ещё не до конца чётко сформировалась. В целом, в дополненной реальности объекты виртуального и реального мира обычно не связаны — у вас есть маркер, «зацепка» для программы, и на этом маркере возникает виртуальный объект, который просто дополняет объект реальный (т.е. сам маркер). Смешанная реальность — это когда на целый объект реального мира накладывается, достраивается дополнительная виртуальная информация. Вот, например, один из проектов смешанной реальности: есть череп динозавра, в нём интересно было показать, как работали мышцы черепа реального ящера. Для этого череп специальным образом фиксируется, а на его поверхность, при помощи программных средств добавляют виртуальные мышцы, которые демонстрируют и объясняют зрителю механику движений, - например, какие мышцы задействовал динозавр, чтобы открыть пасть. Или в смешанной реальности на основе одного осколка древней вазы мы можем воссоздать её целиком, но уже виртуально и зритель будет видеть, где конкретно располагался этот осколок в форме этой вазы. И реальный объект и его виртуальная надстройка работают только вместе, они смешаны.


Но вернёмся к дополненной реальности. Какие большие проекты выполнила EligoVision, какие из них были самыми интересными на ваш взгляд?

Один из самых интересных и самых сложных проектов был Экоцентр на Воробьёвых горах. Во-первых, мы были очень ограничены по времени — нам поставили сроки выполнения заказа всего в полтора месяца. А работа предстояла масштабная — нам предстояло внести свой вклад в новый эколого-просветительский центр в заповеднике «Воробьёвы горы» в Москве — многие, кстати, не знают, что Воробьёвы горы это природный заповедник. Сам просветительский центр — это большой музей, расположенный на цокольных этажах. Открыться он должен был ещё 5-го июня этого года, в День эколога, но так как Воробьёвы горы довольно непростой геологический объект, постоянные оползни пород и затопления помешали своевременному открытию музея, там до сих пор ведутся строительно-косметические работы. Так вот, в экспозиции музея уже сейчас находятся и полностью готовы к работе два наших интерактивных стенда — стереофильм для детей «S.O.S. Планета» и  система дополненной реальности «Зеленая машина времени». Что представляет из себя эта система — это альбом с живыми 3D метками (эти же метки дублируются на индивидуальных пластиковых карточках для посетителей), 3D-телевизор Philips с автостереоскопическим дисплеем и камера. Если дети идут экскурсией, то экскурсовод листает страницы альбома; если они пришли с родителями, они могут воспользоваться пластиковыми карточками и покрутить изображения самостоятельно. Когда система распознаёт маркер, то на 3D-экране появляется трёхмерное изображение и запускается аудиоряд, рассказывающий об экспонате. Всего в нашем альбоме десять таких экспонатов — это общий вид заповедника, геология Воробьёвых гор, флора, фауна. Каждая модель потребовала серьёзного подхода: так, например, нам нужно было смоделировать цветок, причём не какой нибудь, а строго тот, который произрастает на территории заказника — лютик кашубский. Мы весь интернет излазили — нужно было найти сам цветок, понять, из чего он растёт, как развивается из семечка до цветка, что представляет собой его корневая система... И всё это отражено в нашей модели. Или вот сова — нам сказали: «Нужна серая неясыть». Мы отсмотрели буквально тонны документальных фильмов о природе, чтобы понять, как двигается эта птица. В результате наша сова не просто хлопает глазами, а анимирована именно так, как шевелится настоящая серая неясыть.


А ваша «Девушка XXL» для мужского журнала?

Да, я только собралась рассказать. Это тоже был сложный проект, потому что мы впервые занимались скелетной анимацией. Дело в том, что у всех наших прежних анимированных персонажей не было необходимости внедрять кости, чтобы они двигались точно, как человек. Здесь была сложная работа по натяжению текстуры, потому что эту девушку мы создавали по фотографиям — то есть это трёхмерная фотореалистичная модель настоящей девушки. На одно моделирование и текстурирование девушки ушёл месяц работы, а потом, методом ротоскопирования по заранее отснятому видеоролику с танцующей девушкой, наши дизайнеры анимировали эту модель, постоянно сверяясь с движениями девушки на ролике. В общем,  ушла куча времени. В итоге мы получили модель «весом» более 650 Мб и отдельно пришлось потрудиться над её облегчением до 30-25 Мб. При упрощении многие сглаженные части  - бёдра, плечи, - очень сильно потеряли в качестве. Изначально девушка у нас была обнажённой, в одних трусиках, но чтобы скрыть неизбежные артефакты упрощения, на «урезанной» модели пришлось добавить накидку на плечи и юбочку на бёдра.

EligoVision

Если говорить о чисто технических аспектах вашей работы — какие программные и аппаратные средства вы используете при создании приложений дополненной реальности?

С 2006 года мы работаем над разработкой и созданием собственного ПО EVCore для разработки систем виртуальной реальности.  В качестве базовой библиотеки используется OpenSceneGraph. Сейчас вот, правда, начали интегрировать наше ПО с ещё одной библиотекой — Ogre, быть может будем работать на ней тоже. На основе нашего ПО EVCore  для каждого проекта (интерактивной презентации) мы пишем на C++, а сами модели и анимацию создаём в 3dsMax с последующей конвертацией в нашу презентационную среду.

А кто приходит к вам работать? CG художники и дизайнеры?

Это профессионалы и творческие ребята, у которых есть опыт работы с 3dsMax,  которые умеют создавать контент: модели, текстуры, анимацию. Приходят программисты с серьёзным профильным образованием. У нас работают кандидаты наук, которые защищали диссертации по теме виртуальной реальности и научной визуализации. Вообще, даже сейчас, найти человека, который смог бы сразу начать работать в этом направлении непросто.

То есть вот так взять с улицы человека и обучить не получится?

Обучать придётся всех и всё время, мы ведь разрабатываем новые продукты. Вот у нас в 2006 году приходили программисты  — по пол-года вникали в новые технологии, пытались что-то писать и только потом уже начинали делать высокопрофессиональные вещи.

А в России где-то можно научиться этому — в ВУЗах, я имею в виду — или только на местах?

Увы, специальных программ в российских учебных учреждениях не существует. В EligoVision мы стараемся брать программистов с хорошей математической «базой» - выпускников МГУ, Университета им. Баумана. Это отличные профессионалы, которые способны довольно легко разобраться в нашей специфике.

EligoVision

Немалая часть аудитории «Мира 3D» - молодые компьютерные художники, дизайнеры, аниматоры, которые сами стараются что-то рисовать, придумывать свои модели, участвовать в разнообразных конкурсах. Какие Вы можете дать рекомендации молодым ребятам, которые хотят найти себя в сфере дополненной реальности?

Самое простое —  прийти к нам! (смеётся) Очень важно знание английского языка, чтобы человек мог самостоятельно разбираться в информации из зарубежных источников. Необходимо обладать навыками работы с видео — как подключить камеру, как обрабатывать картинку. Нужно знать графику и OpenGL, разбираться в  OpenSceneGraph. Для работы в EligoVision необходимо знать Linux. Мы работаем в основном на Linux, так как он лучше отвечает нашим потребностям и для нас работает надежнее и быстрее. У нас в офисе компьютеры не выключаются месяцами, так что надежность работы ОС – это важный критерий. Ну и опять же возвращаясь к образованию — для программистов очень важно иметь качественное математическое образование и, конечно, знать C++. Словом, для работы с дополненной реальностью нужны довольно серьёзные знания, быть может даже придётся специально поучиться этому, но оно того стоит. Дополненная реальность — это очень перспективно и очень интересно!

"Мир 3D" благодарит компанию EligoVision и Валерию Холодкову лично за предоставленные фото- и видеоматериалы.

мультимедиа
Разделы:
Рубрики:
Популярное: