Проект Digital Humanities «Флоренция, какой она была» нацелен на воссоздание архитектурного и декоративного облика зданий позднего Средневековья и раннего модерна путем объединения трехмерных облаков точек зданий (таких как часовни, церкви и т. д.) с трехмерными моделями произведений искусства, установленных внутри них в XIV и XV веках. В данной статье на примере церкви Орсанмикеле (Флоренция, Италия) представлен новаторский двухэтапный подход, который позволяет создавать такие интегрированные 3D-объекты. Он включает в себя следующие ключевые этапы:
- изучение историко-искусствоведческого контекста для выявления оригинальных объектов культуры в каждом здании;
- использование технологии LiDAR для получения трехмерных данных (вместе с соответствующей информацией о цвете) об интерьерах и экстерьерах зданий;
- использование методов высокоточной фотограмметрии при изучении произведений искусства (например, живописи и скульптуры), которые были изъяты из этих зданий и сейчас находятся в общественных коллекциях;
- создание облаков точек на основе трехмерных данных зданий и произведений искусства;
- редактирование и объединение текстурированной полигональной модели произведений с уменьшенной версией облака точек зданий (с использованием новаторских алгоритмов) в программе с открытым исходным кодом, чтобы данные объекты могли быть встроены в их оригинальную архитектурную среду;
- и добавление к этим моделям искусствоведческих текстов, которые предоставят зрителям непосредственный доступ к архивным данным и историческим описаниям этих пространств.
Цель «Флоренции, какой она была» — создать цифровые модели объектов культурного наследия для их последующего изучения, в том числе в рамках новых проектов, а также для совершенствования методов преподавания истории искусства и архитектуры.
Введение
В этой статье представлена новая технология 3D-реконструирования, разработанная в рамках проекта «Флоренция, какой она была»: в облака точек зданий встраиваются текстурированные 3D-модели произведений искусства, установлены в моделируемых помещениях. Благодаря такому подходу удалось избежать трудоемкой работы по созданию текстурированных моделей крупномасштабных облаков точек сооружений. Решение играет важную роль для больших проектов, таких как «Флоренция, какой она была», целью которого является воссоздание художественной среды десятков зданий XIII, XIV и XV веков. При этом представленная технология 3D-реконструирования позволяет как уменьшать размер облака точек, чтобы сделать модель общедоступной, так и визуализировать произведения искусства, которые когда-то были установлены внутри них, в достаточном качестве. Благодаря этому можно воссоздать пространства пре- и раннего Нового времени такими, как изначально задумывали их создатели.
Эти реконструкции дают возможность ученым проверять новые гипотезы альтернативного расположения объектов внутри зданий, а также исследовать иконографические отсылки и реляционные связи между изображениями, которые были когда-то оттуда изъяты и сейчас находятся в коллекциях музеев. Кроме того, проект предоставляет исследователям и общественности прямой и не ограниченный по времени доступ к произведениям и исторически значимым пространствам. Гибридные цифровые модели также содержат комментарии искусствоведов. Примером реализации такого подхода является Орсанмикеле, церковь в центре Флоренции (Италия), которая была построена и украшена в XIV и XV веках (рис. 1 и 2).
Материалы и методы
Церковь Орсанмикеле и ее полотна
В рамках исследования произведено 3D-моделирование трехэтажного здания Орсанмикеле, расположенного в самом сердце Флоренции. Используемое сперва как зернохранилище, в 1336 году оно было перестроено в церковь. В XIV веке было изготовлено несколько панельных живописных полотен, которые были установлены на двенадцати колоннах. Все три этажа, соединительная лестница и весь экстерьер сооружения были отсканированы, а также созданы модели пяти полотен, которые, как известно, изначально были установлены на колоннах, но изъяты оттуда в начале XV века (рис. 3).
Рисунок 3. Пять панельных живописных полотен, которые когда-то украшали интерьер Орсанмикеле: 1) Якопо дель Казентино, Святой Варфоломей, Галерея Академии, Флоренция; 2) Андреа ди Чионе, Святой Матфей со сценами из легенды о святом Матфее, Галереи Уффици, Флоренция; 3) Маттео ди Пачино, религиозная картина для флорентийской гильдии (Гильдии врачей и аптекарей): Святые Косма и Дамиан; [Левая пределла]: Чудо трансплантации черной ноги; [Правая пределла]: Обезглавливание святых Космы и Дамиана, Художественный музей Северной Каролины, Роли, Северная Каролина; 4) Лоренцо ди Биччи, Святой Мартин и Святой Мартин, разделяющий плащ, Галерея Академии, Флоренция; 5) Джованни дель Бьондо, Святой Иоанн Богослов и Апофеоз святого Иоанна Богослова, Галерея Академии, Флоренция
LiDAR
Для создания цветной 3D-модели зданий, таких как Орсанмикеле, применялись две портативные системы LiDAR (от light detection and ranging, «обнаружение света и дальность») компании Leica Geosystems — BLK360 и RTC360 (рис. 4). Обе устанавливаются на штатив и используют лазерный дальномер в сочетании с 360-градусным фотографированием для создания цветных облаков точек отсканированных областей.
Рисунок 4. Примеры лазерного сканирования с использованием Leica BLK360 в Сан-Миниато-аль-Монте, 3 мая 2018 г. и Leica RTC360 в Санта-Мария-Новелла, 13 июня 2021 г. (фотографии Джорджа Бента)
Фотограмметрия
SfM-фотограмметрия (Structure-from-Motion, «структура из движения») использовалась для создания трехмерных цветовых моделей произведений искусства. SfM-фотограмметрия — это процесс получения 3D-данных и информации о цвете из нескольких снимков, сделанных с разных позиций и под разными углами. Интересующие объекты, такие как картины или скульптуры, фотографируются последовательно, ряд за рядом, со всех сторон, в том числе сверху, снизу и сбоку, с соблюдением 70-процентного перекрытия между каждым снимком (рис. 5).
В нашем случае полотна были частью действующей выставки, поэтому во время фотосъемки невозможно было прикрепить к стене масштабные линейки. Вместо этого для определения масштаба каждого объекта использовались их уже известные размеры.
Рисунок 5. SfM-фотограмметрия требует съемки с нескольких перекрывающихся ракурсов камеры. Этот снимок экрана интерфейса программы Metashape демонстрирует процесс получения изображения картины Маттео ди Пачино (дизайн Дэвида Пфаффа)
Программное обеспечение
Для создания текстурированных фотограмметрических моделей использовалось ПО Metashape Professional (версия 1.8.1) от корпорации Agisoft. Digital Lab Notebook (DLN): Capture Context (бета-версия 1), проект с открытым исходным кодом Института культурного наследия, применялся для отслеживания метаданных в проектах по фотограмметрии. Коррекция фотографий была выполнена с помощью Adobe Camera Raw (версия 10.4.0.976) от корпорации Adobe. Текстурированные модели обрезались в Cinema 4D (версия S23), там же вносились незначительные правки перед их включением в гибридную модель. ПО Leica Register 360 (версия 2020.1) от корпорации Leica применялось для регистрации и редактирования данных облака точек LiDAR. Программа с открытым исходным кодом Cloud Compare (версия 2.10.2) использовалась для преобразования формата и окончательной демаркации данных LiDAR. В конвертере Potree (версия 2.1) создавалась иерархическая структура данных из демаркированных облаков точек. Potree (версия 1.8) в настоящее время используется также на сервере для обработки передачи облаков точек через веб-браузеры.
Результаты
В этом разделе представлена технология создания гибридных моделей зданий и связанных с ними оригинальных произведений искусства, а также пример исследования Орсанмикеле с панельными полотнами, которые находились в церкви в конце XIV века.
Процесс и методология 3D-реконструкции
Процесс состоит из построения доступных гибридных 3D-моделей исторических мест (зданий и связанных с ними произведений искусства) во Флоренции XIV века. Хотя для создания цифровых копий объектов существует множество подходов, для получения данных о зданиях был выбран LiDAR, а о произведениях искусства — SfM-фотограмметрия. Выбор такой методологии обусловлен двумя факторами: возможностью изучать гибридные модели на персональном компьютере/ноутбуке, а также сокращением времени и трудозатрат. Самым простым решением было бы визуализировать в виде текстурированных моделей как здания, так и произведения искусства. Однако цифровизация целых сооружений, таких как Орсанмикеле, требует слишком много времени, тогда как цель проекта — запечатлеть внешний вид примерно сорока построек во Флоренции. Таким образом, был достигнут компромисс: сохранить здания в виде облаков точек, но построить текстурированные модели произведений искусства. В конечном облаке была разработана и оптимизирована методология для сокращения количества точек, уменьшен размер файлов, чтобы сделать их доступными, а также добавлены текстовые комментарии.
Рисунок 6. Схема работы проекта «Флоренция, какой она была»
Сбор данных о зданиях с помощью LiDAR
LiDAR получает информацию о расстоянии от его положения сканера до объекта в прямой видимости, а 3D-копия создается сканированием под разными углами. Для построения цветных моделей LiDAR сканирует дважды: сначала собирает данные с лазера, а потом — информацию о цвете с помощью камер. Необходимо было выполнить множество сканирований снаружи здания, через дверные проемы и проходы, которые соединяют одно пространство с другим, внутри каждой комнаты. При этом каждый скан нужно было располагать так, чтобы он совпадал с предыдущим. Количество сканов зависело от размера пространства и имеющихся препятствий.
Постобработка данных LiDAR
Для объединения и редактирования множества LiDAR-сканов здания использовалось программное обеспечение Leica Register 360. Оно позволяет точно настроить выравнивание позиций сканирования и очистить облака точек путем удаления нежелательных точек, возникающих по разным причинам. В случае объектов культурного наследия, которые часто открыты для публики, рядом с ними могут находиться стойки, провода и веревочные ограждения для ограничения доступа посетителей.
После очистки облако точек необходимо уменьшить, чтобы окончательная модель здания могла загрузиться на персональном компьютере. Облако точек полного разрешения для всего комплекса зданий может содержать десять миллиардов точек или более, что слишком много для выгрузки в Интернет. Для их уменьшения или прореживания до необходимого размера используется Register 360. При этом внешний вид модели практически не меняется из-за большого количества повторяющихся точек.
Окончательное число точек в прореженной модели зависит от ряда факторов, в первую очередь от физического размера конструкции и количества сканируемых внутренних и внешних пространств. Орсанмикеле, например, представляет собой относительно небольшое здание: в нем три этажа, на каждом — по одной комнате. Урезанная модель этого сооружения содержит 350 миллионов точек.
Фотограмметрия произведений искусства
Фотографии, необходимые для создания цветных 3D-моделей, были собраны в соответствии с процедурой, описанной ранее и представленной в Таблице 1. Последующее их преобразование в полигональную модель выполняется с помощью Agisoft Metashape. Цветокорректированные снимки в формате *.jpeg сначала импортируются, а затем выравниваются в трехмерном пространстве с использованием настроек «Высокая точность», «Общий предварительный выбор», «Предел в 40 000 ключевых точек» и «Предел в 4000 связующих точек». После выравнивания ориентация и положение облака точек корректируются, чтобы центр координат находился на нулевой точке мировых координат, а облако точек — перпендикулярно плоскости Земли. Этот шаг облегчает окончательное выравнивание полотен с облаком точек здания.
После ориентирования модели в системе координат с помощью настройки «Высокое качество» и мягкой или умеренной фильтрации по глубине создается плотное облако точек. Их количество в нашем случае обычно составляло от 1 до 10 миллионов. Богато украшенные 3D-объекты, такие как скульптуры или запрестольные образы с несколькими панелями, часто имеют больше точек, чем однопанельные картины.
После построения облака точек цифровой копии присваивается масштаб. Поскольку масштабные линейки не применялись при фотографировании, точки были размещены на модели по известным заранее размерам. При определении реального масштаба в Metashape использовался Scale Bars. Затем из облака точек были удалены участки, которые не потребовались в окончательной версии, такие как стены, потолки или полы.
Таблица 1
| Полотно | Живописец | Коллекция | Снимки | Диафрагма: скорость затвора | Разрешение (пикс) | Кол-во полигонов модели | Размер текстурированной модели (пикс) |
| Иоанн Богослов | Джованни дель Бьондо | Флоренция, Академия | 33 | f1.8: 1/12–1/16 | 3024 × 4032 | 56,501 | 8192 × 8192 |
| Мартин | Лоренцо ди Биччи | Флоренция, Академия | 42 | f1.8: 1/12–1/16 | 3024 × 4032 | 80,000 | 4096 × 4096 |
| Варфоломей | Джакопо дел Казентино | Флоренция, Академия | 20 | f1.8: 1/12–1/17 | 3024 × 4032 | 48,741 | 4096 × 4096 |
| Матфей | Андреа ди Чионе | Флоренция, Уффици | 66 | f1.8: 1/06–1/16 | 3024 × 4032 | 218,000 | 4096 × 4096 |
| Косма и Дамиан | Маттео ди Пачино | Роли, Северная Каролина, Художественный музей Северной Каролины | 91 | f4.5: 1/60 | 4016 × 6016 | 90,000 | 8192 × 8192 |
Процесс создания полигональной модели из облака точек включает следующие пункты:
- источник — «Карта глубины»,
- тип поверхности «Произвольная (3D)»,
- качество «Высокое» с пользовательским количеством граней,
- глубинная фильтрация «Мягкая».
Количество полигонов, созданных на этом шаге, зависит от сложности объекта. Простые плоские поверхности могут быть представлены небольшим количеством полигонов, в то время как более сложные требуют их большего количества.
Далее к модели добавляется фотографическая текстура. В Metashape исходные снимки сперва сшиваются — так создается 2D-изображение, которое затем накладывается на 3D-модель, чтобы придать ей вид оригинального объекта. Текстуры создаются с использованием типа Diffuse map, исходных данных Images, режима отображения Generic и режима наложения Mosaic. Их размер может варьироваться в зависимости от размера и сложности изображения и составлять либо 4K (4096 x 4096), либо 8K (8192 x 8192).
После создания текстурированной модели в Metashape можно использовать инструменты для ее обрезки и редактирования. Однако из-за этой процедуры могут оставаться неровные края и дефекты. Для чистки внешних краев объект экспортируется в ПО для 3D-дизайна. В Таблице 1 представлены некоторые детали полученных текстурированных моделей произведений искусства.
Подробнее про ПО Agisoft Metashape
Создание и просмотр гибридной 3D-модели
Для объединения трехмерных текстурированных моделей произведений искусства и облаков точек зданий использовался набор инструментов с открытым исходным кодом Potree.
Преобразование прореженного облака точек из Leica Register 360 в формат *.las проходит при помощи инструмента с открытым исходным кодом Cloud Compare. Затем в программе командной строки Potree Converter файл *.las кодируется в формат октодерева, который может быть передан через веб-сервер. В результате этого создается папка с тремя файлами: Octree.bin, который содержит все данные точек в неупорядоченных узлах, hierarchy.bin с иерархией для упорядочения узлов в предыдущем файле и Metadata.json с данными, необходимыми для загрузки и отображения точек.
Для размещения контента Potree на виртуальной машине в Университете Washington and Lee был настроен веб-сервер Apache с присвоением ему пользовательского URL-адреса: 3d.wlu.edu. Для этого сервера были скопированы все необходимые библиотеки и зависимости, указанные в репозитории ресурсов Potree на GitHub, в каталог HTML веб-сервера.
Для доставки закодированных облаков точек и полигональных моделей используется стандартная веб-страница с HTML и скриптами. В репозитории GitHub проекта можно найти аннотированный исходный код для страницы тематического исследования, который содержит пример облака точек, пять полигональных моделей и шесть текстовых аннотаций. Код содержит комментарии для облегчения понимания функций различных секций.
Комментарии: добавление смысла к моделям
Комментарии к моделям являются важным компонентом проекта «Флоренция, какой она была» и доступны в различных форматах: это переводы ранних описаний, расшифровки архивных материалов и тексты, написанные искусствоведами-участниками проекта. Они также могут содержать фото- или видеоматериалы.
Искусствоведы составляют краткие описания, опираясь на результаты предыдущих исследований и архивные материалы. Данные эссе подробно описывают особенности зданий и находящихся внутри них предметов. Затем тексты встраиваются в модели Potree и фотограмметрические модели (см. рис. 7). Описания объясняют иконографическое содержание изображения, основные моменты в карьере художника и т.д.
Рисунок 7. Комментарий к полотну, прикрепленному к колонне в Орсанмикеле: Маттео ди Пачино, Религиозная картина для флорентийской гильдии (Гильдии врачей и аптекарей): Святые Косма и Дамиан; [Левая пределла]: Чудо трансплантации черной ноги; [Правая пределла]: Обезглавливание святых Космы и Дамиана, около 1370–1374 гг.
Включение комментариев в модель имеет фундаментальное значение для данного проекта. Они погружают пользователей в контекст, предоставляя подробные сведения об объектах культурного наследия, а также помогают анализировать и создавать собственные интерпретации.
Пример из практики
Была создана 3D-модель Орсанмикеле — трехэтажного здания, которое изначально было амбаром, но после пожара в 1336 году перестроено в церковь. В ходе реконструкции она была украшена полотнами и скульптурами.
Рисунок 8. Бернардо Дадди, Мадонна с младенцем, Орсанмикеле, Флоренция; Андреа ди Чионе, Скиния, Орсанмикеле, Флоренция
Единственный способ увидеть это пространство таким, каким оно было задумано изначально, — это создать гибридную цифровую модель.
Сбор и обработка 3D-данных Орсанмикеле
Сканеры LiDAR использовались для захвата данных на всех трех этажах строения, включая:
- культовое изображение Мадонны работы Бернардо Дадди (1347 г., рис. 8) и окружающую его скинию (первый этаж);
- оригинальные скульптуры святых покровителей гильдии (1340–1463 гг.) (второй этаж);
- стропила (третий этаж);
- винтовую лестницу в северо-западном углу здания, соединяющую все три этажа.
Информация о 3D и цвете экстерьера Орсанмикеле также была собрана с помощью LiDAR. Модель полного облака точек этого здания содержит 2,7 миллиарда точек, в то время как сокращенная версия, доступная в Интернете и представленная на иллюстрациях к этой статье, содержит 326 миллионов. Это значительное сжатие, позволяющее просматривать объект на любом персональном компьютере.
Сбор и обработка 3D-данных произведений искусства, связанных с Орсанмикеле
Полотна, которые, как известно, были установлены внутри Орсанмикеле между 1340 и 1400 годами, были сфотографированы, смоделированы и откомментированы в рамках процесса, ранее описанного в разделе «Сбор данных LiDAR о зданиях» (рис. 9). Среди них — три работы, которые в настоящее время находятся во флорентийской Галерее Академии: доссаль святого Иоанна Богослова Джованни дель Бьондо, заказанный гильдией шелка, картина Лоренцо ди Биччи с изображением святого Мартина для гильдии виноделов и панно Якопо дель Казентино с изображением святого Варфоломея для владельцев деликатесов, а также триптих Святого Матфея работы Андреа и Якопо ди Чоне для гильдии банкиров, который сейчас находится в галереях Уффици (рис. 3). Затем эти модели были сшиты с облаком точек Орсанмикеле и размещены на колоннах, где каждая из них изначально находилась (рис. 10). Также модель Триптиха Святого Матфея была снабжена краткими комментариями.
Успех работы в рамках проекта привел к добавлению пятой картины к группе доссалей из Орсанмикеле. Полотно, которое в настоящее время находится в Художественном музее Северной Каролины, представляет святых Косму и Дамиана, покровителей гильдии врачей и аптекарей. В научной литературе их связывают с одной из колонн Орсанмикеле. Картина была сфотографирована, отредактирована и смоделирована (рис. 11). Фотограмметрическая модель затем была размещена в облаке точек Орсанмикеле на колонне, поддерживаемой гильдией, заказавшей работу у Маттео ди Пачино. Также был написан пояснительный комментарий, который был вставлен в облако точек рядом с полотном (рис. 7).
Рисунок 11. Цветная 3D-модель св. Космы и Дамиана, Маттео ди Пачино
Дискуссия
Технология, разработанная в рамках проекта «Флоренция, какой она была», представляет собой новый подход к созданию гибридной модели, объединяющей облака точек и фотограмметрические модели зданий и произведений искусства. Это лучшее сочетание обеих технологий: архитектурные пространства, воссозданные с использованием LiDAR, сохраняют точность, а объекты живописи — подходящее разрешение. Такие гибридные модели, хранящиеся на защищенном сервере, могут быть доступны через веб-браузер пользователям по всему миру для образовательных и исследовательских целей.
Разработанный подход, таким образом, позволил нам создать виртуальное пространство Орсанмикеле, которое можно осматривать с помощью инструментов навигации и измерения (рис. 12 и 13). 3D-модели полотен, которые в настоящее время находятся в коллекциях Академии, Уффици и Музея искусств Северной Каролины, можно воссоединить, изучить и обсудить в новом контексте. Так воссоздается атмосфера пространства, недоступная глазу с 1409 года (рис. 10).
Планы
Команда «Флоренция, какой она была» намерена смоделировать не менее сорока сохранившихся построек Флоренции, датируемых до 1500 года. Большая часть этой работы будет завершена в течение 2022–23 учебного года. При необходимости каждое здание будет заполнено фотограмметрическими моделями произведений искусства на основе фотографий, сделанных членами команды и смоделированных в Washington and Lee University. База данных будет регулярно обновляться с включением географических координат, чтобы пользователи могли наносить на карту исторические фигуры, объекты и места проведения городских мероприятий в соответствии с выбранными фильтрами. Будут предприняты усилия по объединению этих данных с данными, собранными группами цифровых гуманитарных наук Digital Sepoltuario, Florence4D, DECIMA и CATASTO с целью создания единой 2D-карты с художественными, архитектурными, социальными, экономическими, политическими и религиозными данными, чтобы создать единый сайт Florentia Illustrata на базе Villa I Tatti — Центра исследований итальянского Возрождения Гарвардского университета.
Заключение
Процессы, используемые в проекте «Флоренция, какой она была», демонстрируют, что подходы к цифровым гуманитарным наукам в целом и истории цифрового искусства в частности только начали раскрывать свой истинный потенциал.
Методология реконструкции для создания гибридной модели с двумя различными типами пространственных данных — один для архитектурных памятников, а другой для произведений искусства и объектов, которые когда-то были там установлены, — в сочетании с историческими комментариями предлагает исследователям культурного наследия три уникальные возможности.
- Во-первых, она представляет собой технологию, которая позволяет ученым объединять несколько типов данных в единый пространственный интерфейс. Они могут включать в себя облака точек, созданные на основе лазерного сканирования, текстурированные модели, текстовые комментарии, видео и звук.
- Во-вторых, этот процесс позволяет специалистам проверять свои гипотезы при реконструкции собственных архитектурных, художественных или археологических памятников.
- В-третьих, он дает профессионалам, студентам и исследователям прямой и не ограниченный по времени доступ к цифровым пространствам и объектам культуры.
Материал статьи является сокращенным переводом оригинальной публикации A practical workflow for the 3D reconstruction of complex historic sites and their decorative interiors: Florence As It Was and the church of Orsanmichele, опубликованной в журнале Heritage Science в июле 2022 года.
3D-модели, созданные в рамках проекта «Флоренция, какой она была», доступны на сайте проекта и на Sketchfab. 3D-модель Орсанмикеле доступна по ссылке (для быстрой загрузки рекомендуем использовать VPN).