Машинисты времени, или Назад в будущее

Мы создаём 3D-модели из объектов, находящихся в реальном мире, используя метод фотограмметрии. По сути, это создание трёхмерной модели из множества фотографий. Вам нужна камера и хотя бы один указательный палец, чтобы нажимать на кнопку. Можно делать фотографии на телефон, установив мобильное приложение 123d Catch.

Метод очень простой. Нужно снять много фотографий объекта по кругу с нахлёстом. Из снимков получается облако точек, совпадающих на фото с разных ракурсов, из этого облака создаётся 3D-модель с фотореалистичной текстурой. Мы используем программу Reality Capture, созданную молодой компанией из Братиславы. Алгоритм программы сам по себе произведение искусства, к тому же съедает мало оперативной памяти.

Для того чтобы стать профессиональным фотограмметристом, нужна DSLR-камера и хороший объектив. Чем резче изображение, тем лучше получается конечная геометрия. Разные объекты требуют разной степени детализации, индивидуальных подходов к съёмке, но набор правил один.

Например, чтобы снять площадь, для фотограмметрии одного ракурса недостаточно. Желательно снять площадь ещё в нескольких ракурсах — сверху и снизу. Для вида сверху мы используем беспилотники — дроны. Для съёмки нижнего ракурса мы даже использовали собаку, закрепив на её спине камеру. Кидаешь ей мячик, она бежит и снимает, при этом получая удовольствие от процесса.

Екатерининская площадь, Одесса. 3D-модель создана на основе фото с рук и с дрона. Версию с текстурами вы можете увидеть на видео с приложением дополненной реальности на визитке

Google и Apple запускают проекты на основе технологий виртуальной и дополненной реальности, а крутые документалисты снимают фильмы в формате 360 градусов. Уже применяется технология Light Field — кино, в котором зритель сможет перемещаться. Например, ты видишь в кадре скульптуру и можешь посмотреть на неё справа и слева. Это реальность, и она уже существует на уровне прототипов в Голливуде. Сейчас они используют эту технологию, чтобы перефокусировать кадр, когда видео уже отснято. По сути, Light Field — это видео, которое снимается камерой с множеством линз со всех возможных ракурсов и точек, а финальный файл рендерится рядом на сервере.

У Google Jump как-то спросили, какая вычислительная мощность нужна, чтобы считать это всё в прямой трансляции. Они ответили: «Вы спрашиваете про Real Time 360 Video? У нас много компьютеров. Если понадобится, можем и Real Time обеспечить».

Одна из наших основных целей на ближайшее время — создать армию фотограмметристов, которые сами займутся сбором материалов, поскольку охватить огромное количество прекрасных памятников в Украине, мы сами не можем. Мы хотим научить обрабатывать сканы и заниматься 3D- моделированием студентов-архитекторов, которым это интересно. Научим делать не только свой макет здания, но и сканировать его и размещать 3D-модель в жилую застройку. Виртуальная реальность позволяет увидеть в масштабе один к одному, как ваш проект туда вписывается. Это даст возможность заниматься совершенно по-новому заниматься проектированием городов. То есть вы можете летать над городом и видеть, как всё будет выглядеть. И этот план можно перенести в виртуальную реальность, положить на облако, чтобы его смог увидеть каждый.

Наша задача — создать поколение молодых профессионалов-архитекторов. Проблема в том, что 3D-моделированию под виртуальную реальность не учат в университетах. Я сам был студентом-архитектором. Нам давали задание, например, сделать аэропорт на ровной местности без рельефа. Это, безусловно, нужно, но не даёт понимания пропорций улиц и архитектурного ансамбля. Если студент научится работать с исторической застройкой в виртуальной реальности в масштабе один к одному, это позволит ему оценить свою работу со всех возможных ракурсов.

Считается, что в старом городе мы должны строить классицизм. Это профанация, убийственная культурная методика, уничтожающая искусство. Поскольку даже директивы ЮНЕСКО гласят, что в XXI веке нельзя строить архитектуру XVIII века, потому что в XXIII веке, если мы туда заглянем, не будет понятно, какого года это здание. Например, в Лондоне, рядом со зданием, которому больше 400 лет, современная архитектура из стекла и бетона. Эти вещи начинаются с людей, которые здания проектируют, и заканчиваются теми, кто принимает решение. Для того чтобы у нас города развивались органично, необходимы люди, способные это осознать. А такое возможно, если они начнут работать с реальной отсканированной застройкой.

Виртуальная реальность даёт возможность совершить путешествие в другую страну, обменяться опытом, поучаствовать в каком-то конкурсе. Всё это повлияет и на то, что будет происходить вокруг нас. Развитие инфраструктуры, урбанистические проекты, сама архитектура станет сильнее. Самое жестокое наследие советского прошлого — это ГОСТы и строительные нормы. Именно они не позволяют строить объёмную архитектуру. Виртуальная реальность позволяет показать, как бы выглядело здание, если бы ГОСТы были как в Америке или Европе. Например, за рубежом можно закладывать пожаротушение в конструкцию здания, когда вода по трубам через сенсоры льётся с потолка и всё тушит, поэтому там не надо делать через каждые 25 метров пожарный выход. У нас так нельзя. Мы не можем спроектировать здание таким образом, чтобы в нём не было пожарных лестниц. Это очень ограничивает в выборе конструкции, пространственной композиции. Благодаря виртуальной реальности у архитекторов будет возможность показать своё видение будущего, оставаясь в юридическом поле.

Памятник Дюку де Ришелье, Одесса. Высокоточная модель, сделана при помощи съёмки с рук, 1870 кадров. Слева меш-сетка, справа текстурированная модель

Наша цель — оцифровка памятников архитектуры и культурного наследия, создание базы данных по зданиям, с разбивкой на каждый элемент, чтобы всё хранилось на облачном сервисе и это можно было использовать при реставрации и реконструкции.

Научными исследованиями мы занимаемся вместе с Институтом кибернетики НАН Украины, используя в работе их суперкомпьютер. С его помощью мы сможем обрабатывать и превращать колоссальные объемы фотографий в 3D модели, создавать саморастущую 3D модель городов Украины.

Мы работаем с геодезистами, архитекторами, урбанистами, чтобы понять, какие существуют международные нормы в создании цифровых паспортов фасадов. Имея цифровые паспорта фасадов, вы можете взять любую модель декора, распечатать на 3D-принтере её мастер-модель и отдать скульпторам на тиражирование, сохраняя идеальную точность оригинала.

Хотим мы или не хотим, но цифровые методы придут. Раньше не использовали ксерокс, а кальки перерисовывали руками. Почему пришёл ксерокс — потому что это технологический прогресс, это даёт возможность сделать больший объём работы дешевле и за меньшее время. И сейчас кальки существуют, и это всех устраивает, но если увидят, что цифровые методы сокращают расходы, возможно, мы сможем сделать шаг вперёд, к современным технологиям.

У нас есть компании, которые профессионально занимаются лазерным сканированием в области геодезии. Лазерный сканер — это самая точная штука, она, как лазерная рулетка на стероидах, берёт миллионы точек, создавая очень точное их облако. Самое прекрасное, что фотограмметрия и лазер дают наиболее точный материал, как в геометрическом плане, так и в текстурном. Получаются живые здания с фотографической точностью передачи. Есть ещё BIM-системы. Это интеллектуальное моделирование, когда на 3D-модели здания виден не только фасад, но и вентиляция, трубы, электричество. В BIM-системе все объекты взаимосвязаны. Если вы убираете один из них, BIM-система пересчитывает планы, сметы.

Какая у нас проблема? Всё стоит в запустении, а реставрировать все здания очень дорого. У нас, например, в Одессе, больше чем в Киеве, гипсовых зданий. Они сделаны из камыша и гипса, но с помпезными и классными скульптурами. А гипс быстро разрушается. Есть ещё проблема крыш, которые текут. Чтобы этот фасад постоянно ремонтировать, необходимо иметь мастер-модели декора. При советской власти все они хранились централизованно, где-то на чердаках, но СССР ушёл, и вместе с ним в суете утратилось много чего. В советские время реставрировали тысячелетним методом формовки, используя резину и гипс. При каждой такой формовке затирались швы, терялась точность, а чтобы её восстановить, нужно время, которого у мастеров обычно всегда немного. В случае 3D-сканирования, если говорить про лазерное или оптическое, мы можем достигать точности до микрона. И брать на этапе облака одну модель, вторую, третью, смешивать эти облака вместе, получать одно целое в виде геометрии. Рентабельнее сделать современным методом и материалами на 70 лет, чем древним методом на 10–20 лет.

Такие модели сегодня позволят создать реконструкцию зданий, которые уже исчезли, то есть, условно говоря, провести историческую реконструкцию. По фотографиям и видео мы хотим создать часть метавселенной, которая будет хранить образы из прошлого, пока есть интернет. Чем больше усилий мы приложим, тем убедительнее она будет выглядеть в виртуальной реальности. То есть это скорее реконструкция прошлого для будущего поколения. Такой метод применяется в Польше, там восстановили в виртуальной реальности городок, который во времена Второй мировой войны был уничтожен. Сейчас благодаря технологии виртуальной реальности там можно пройтись, увидеть персонажей из прошлого. По сути, оказаться в живом довоенном городе.

Историю можно изучать, путешествуя в прошлое. Представь, что можешь зайти в ресторан столетней давности, услышать музыку тех времён, увидеть одесского Костю-моряка с морячкой Соней или Мишку Япончика со своими бандюками, которые едят рыбу и пьют пиво. Одеваешь наушники и вообще выпадаешь из этого мира, потому что там и качество картинки лучше, и звук можно делать 3D. Такие путешествия в прошлое возможны сегодня. По сути, мы строим машину времени.

Пассаж, внутренний холл, Одесса. Слева меш-сетка, справа модель с фотореалистичными текстурами. Сделана первичная съёмка с рук

Ту же модель, которая получается из фотограмметрии, можно запрограммировать и для построения дополненной реальности. Дополненная реальность основана на возможности интерпретации того, что видит камера и сопоставлении этого с другими видами данных. В роли трекера, то есть изображения, которое распознаёт камера, может быть что угодно. Например, мы заложили в память приложения визитку. Так, разместив визитку на месте памятника или здания, которых уже нет, можно навести камеру на неё и перед вами предстанет его виртуальная 3D-модель. Этот простой метод позволяет делать выставки с дополненной реальностью, просто наводя на определённый объект камеру телефона с включенным приложением.

Мы хотим, чтобы киевляне получили возможность гулять по улице, например, XI века, при этом находясь в нормальном интерактивном музее, где будут все виды смешанной реальности. Например, ты гуляешь по музею, а тебе телефон присылает сообщение, что вот здесь нашли княжескую печать, и ты её прямо на полу смотришь через телефон. То есть, собирая такие материалы, мы получаем огромные возможности для того, чтобы сделать в Украине прецедент музея, где будет интересно находиться. Есть много примеров того, как в Европе такие штуки используются, привлекая огромное количество туристов и своих граждан к изучению истории.

Появляются люди, которые просят помочь им провести конкурс на фоне разрушенного квартала «Подмостовье» в Одессе. Или появляется археологический проект — мы сканируем раскопки, как есть, и в динамике, чтобы в будущем создать проект музея, где можно не только посмотреть археологические находки, но и погулять виртуально по улицам Древнего Киева.

Кейс Почтовой площади — пример того, как археологические раскопки начали диктовать будущую застройку. Бизнес начал сотрудничать с государством, обращать внимание на историю и культуру. Там сначала нашли захоронения времён Киевской Руси. Если есть захоронение, значит, рядом должна была стоять церковь, а когда начали искать дальше, обнаружили много находок, объясняющих, что здесь находился, скорее всего, порт.

На раскопках Почтовой площади мы простраиваем одну и ту же локацию, которая постоянно меняется. Это виртуальная археология. В этом проекте используется метод лазерного сканирования, создающий очень точное облако точек, которое мы дополняем своей фотограмметрией. Суть проекта в том, чтобы создать GIS-систему (геоинформационную систему) на основе модели, то есть копию того, что есть, по дням, чтобы можно было посмотреть, как проходили раскопки. Например, если мы нашли какую-то амфору или монетку, мы закладываем их в GIS-системе, указывая координаты места, где они найдены. Любая находка классифицируется в базе, а в виртуальном пространстве есть маркер, показывающий, что на этом месте было что-то найдено. Соответственно, можно будет посмотреть не только ход раскопок, но и изучить слои, определить тип грунта, взять кусок амфоры и почитать всю документацию, которая к ней будет привязана. Археолог может создать цветную копию объектов на 3D-принтере, при этом находясь в Америке или Японии. Мы можем сделать очень качественные текстуры поверхности, что поможет археологам со всего мира работать с нашими данными. И в будущем создать музей, где собранные с помощью лазерного сканирования и фотограмметрии данные можно использовать для проектирования интерактивных порталов, создавать дополненные инсталляции прошлого.

Карпаты, лес, бойковские деревянные хаты с косыми балками. Практически полсела — старая архитектура. И там, посреди леса, есть скала, на которую нужно подниматься по кругу полчаса. А в скале пустое пространство, где во времена Киевской Руси стояла крепость. Эту крепость не покорили даже татаро-монголы. Она была пропускным пунктом для торговых связей и охраняла приграничные территории от нападений врагов. И спустя время, от неё остались только выдолбленные полоски в скалах да куски балок в колодце. Тустань — уникальный пример того, как, объединив усилия археологов, историков и архитекторов, можно не только понять, как выглядела крепость, но и построить её 3D-модель.

Мы сделали подробную фотограмметрическую съёмку и сейчас встраиваем модель крепости в неё, чтобы сделать виртуальный тур. Представьте, что вы можете поехать в Карпаты, навести телефон на скалы, и приложение построит дополненную реальность, где вы сможете увидеть, как выглядела крепость во времена Киевской Руси.

Есть такой вид активизма, когда люди собираются на митинг и кричат, что не надо делать чего-либо. У нас другая позиция. Мы не считаем, что девелоперы и застройщики изначально плохие, хотят всё испортить и ничего не сохранять. Мы хотим дать им реальный инструмент для того, чтобы они были заинтересованы в реконструкции памятника архитектуры. Если таких кейсов с реальными реставрациями будет несколько, то у застройщика появится понимание, что можно классно реставрировать здание, правильно его коммерчески использовать, при этом общественность будет довольна и здание получится таким же клёвым, как и было. Тогда все будут в профите.

В принципе, в Одессе именно этот процесс мы и начинаем. Там больше всего зданий находится под угрозой сноса. Дело в том, что ещё в 2007 году много зданий вывели из реестра памятников архитектуры. Есть такой «список Штербуль» по фамилии чиновницы, которая в то время управляла департаментом охраны культурного наследия. В этом списке почти 130 зданий были выведены из реестра, став не подлежащими реконструкции и реставрации, то есть, по закону, перестав представлять историческую ценность. Среди прочих это дача Докса, которую недавно снесли. Мы же хотим зафиксировать их, начать процесс создания цифровых паспортов фасада и, возможно, успеть для этих зданий создать 3D-модель. Мы назвали этот проект «ARCH F6» (от кнопки «сохраниться» в играх). Мы хотим привлечь организации и людей, которые, например, занимаются фотофиксацией, найти фотографов, которые поделятся материалами для сканов, волонтёров, которые помогут разобрать исторические архивы и доказать историческую ценность этих зданий.

Дача Докса, Одесса. 3D-модель с текстурами. Отсканирована за несколько дней до сноса здания. Для уточнения модели были использованы материалы, присланные фотографами Одессы

Поскольку это искусственная среда, она моделируется, а значит, имеет свои законы и правила. Для того чтобы убрать грань между цифровым образом и существующей средой, используются игровые движки. Чем является путешествие в нашу историческую среду? Игрой. Но не в том понимании, что тебе надо расстрелять монстра, а в том, что окружающая тебя виртуальная действительность может взаимодействовать с тобой. Например, интерактивные сущности могут рассказывать об объекте, который ты видишь перед собой. Даже в построении локаций и сцен мы используем игровой принцип. Мы не прячем объекты, а размещаем их в тех местах, где их восприятие будет легче для пользователя.

Навигация в виртуальном пространстве — это тоже процесс игровой разработки. Через игру мы учим человека ходить, взаимодействовать с окружающей его действительностью. Ведь что такое игра? Это восприятие человека через отдачу. Он взаимодействует с окружением, которое на него реагирует, таким образом помогая пользователю получать фидбек. Представьте себе старинную прялку, которую можно покрутить, посмотреть, как она работает, самому зарядить нити, соткать полотно. То есть полностью взаимодействовать с ней. Конечно, это требует дополнительных усилий, но мы хотим сделать наши виртуальные миры настоящими, чтобы, находясь там, человек обучался и узнавал что-то новое. Мы хотим их наполнить жизнью.

Фото: Александр Чекменёв, из личных архивов