Построение трехмерных моделей затонувших объектов по материалам фотограмметрических съемок

• Введение
• Описание метода проведения ФГМ-съемки и обработки
• Этап постобработки полученных исходных данных
• Результаты
• Заключение

Введение

Фотограмметрия (ФГМ) — это научно­-техническая дисциплина, занимающаяся определением по фотографическим изображениям геометрических характеристик объектов, таких как форма, размеры, положение в пространстве­ и других.

Технология фотограмметрии подразумевает­ обработку крупного массива исходных данных в виде фотоснимков, сделанных в разных­ плоскостях с перекрытием от 40–50% захватываемого изображения, далее собранных­ в отдельные группы моделей и обработан­ных с помощью специального программного обеспечения.

ФГМ широко используется для решения прикладных задач в различных областях науки и техники на земле и в воздухе. На сегодняшний­ день ФГМ­-технология активно внедряется в подводные исследования. Это направление находится на стадии поиска практических возможностей­ осуществления съемок, а именно способов уменьшения влияния негативных фак­торов подводной среды.

К результатам фотограмметрии можно отнести:

• ортогональные проекции объекта (ортофотоплан);
• фотореалистичная объемная модель.

Ортофотоплан позволяет определить габаритные характеристики в ортогональной проекции, а получаемый масштаб изображения­ делает возможным представление большой­ площади подводного объекта без потери разрешающей способности. Последнее позволяет специалисту по внешним признакам под­робно изучить состояние подводного объекта, степень коррозии элементов корпуса, обнаружить следы внешнего воздействия от якорей, рыболовецких снастей, посторонних предметов, а также спланировать потребный объем подводно­технических работ (ПТР). Изучая представляющие культурную ценность объекты­, можно проанализировать содержимое палубы, оценить степень сохранности, конструктивные особенности найденного объекта и обстановку вокруг него. Это в значительной степени делает безопасным проведение ПТР водолазами или аппаратами, которые, погружаясь под воду, уже имеют информацию об объекте и реперных точках и легче ориентируются в зоне проведения работ, что особенно важно на больших глубинах и в усло­виях сниженной видимости.

Полноценная объемная модель подводного объекта позволяет получить необходимую информацию о его внешнем состоянии, изучить и оценить степень коррозионного износа корпусных элементов конструкции, обнаружить и исследовать имеющиеся повреждения для оптимального планирования ПТР. В сравнении с длительным просмотром видеоматериалов объемная модель позволяет осуществить оперативное и точное прогнозирование объема подводных работ. Например, при авариях на подводных инфраструктурных объектах детализированная модель в значительной­ степени упрощает и ускоряет про­цесс создания специального инструмента/ ремонтного набора для срочного устранения повреждений и ликвидации последствий аварии­. В случаях подводных работ, предусматривающих судоподъемные операции, объемная модель является основой для выбора методов осуществления подъема и проведения необходимых расчетов.

Технология трехмерного моделирования методом фотограмметрии при правильной съемке позволяет оценить истинные размеры и получить текстуру объекта с высокой степенью детализации, вместе с тем уступает 3D­-сканированию по точности передачи формы и размерам объекта съемки. При этом обе технологии можно использовать совместно, тем самым упростив и ускорив процесс­ создания объемных и сложных моделей.

Актуальность подводной фотограмметрии­ обусловлена требованиями постоянного контроля состояния, оценки повреждений, износа и дальнейшего обслуживания подводных объектов. В привязке к объектам культурного наследия позволяет вести учет состояния и архивировать накопленные данные­ об объекте.

Описание метода проведения ФГМ-съемки и обработки

Основным принципом проведения съемки водолазом или подводным аппаратом (ОПА, ТНПА, АНПА) является накопление большого массива получаемых фото- и видеоматериалов (исходных данных). Схема съемки представ­ляет собой движение по заданной траектории­, обычно галсами, со специальной системой светочувствительных камер и светильников (см. рис. 1). Оператору необходимо соблюдать траекторию и контролировать захватываемый кадр для обязательного условия по перекрытию соседних фотоснимков, при этом ориентироваться­ в условиях плохой видимости и делать это с соблюдением всех правил безопасности. Объем затраченного времени на проведение съемки оценивается в несколько дней, при этом существует множество факторов, которые нужно учитывать при расчете временных затрат: смена оттенка воды и ее прозрачности, наличие объектов флоры и фауны, попадающих на фотоснимок, и т. д.

Рисунок 1. Траектория съемки

В условиях отсутствия естественного освещения, наличия взвешенных частиц в толще воды, сезонного цветения и ограниченного времени, проводимого под водой, качество получаемых исходных фото-­ и видеоматериалов недостаточно для дальнейшей обработки единым массивом данных. Специалисты Центра подводных исследований Русского географического общества (ЦПИ РГО) совершенствуют методы и способы получения исходных данных:

1. Увеличение количества исходных данных: использование нескольких устанавливаемых на аппарат камер с общим перекрытием­ захватываемого изображения в кадре (между камерами) 50–60%. В некоторых случаях ­(например, если объект возвышается над грунтом) камеры могут быть сориентированы в портретный режим. При выполнении съемки с помощью ОПА имеется возможность установки­ внутри обитаемого акрилового корпуса дополнительной камеры (см. рис. 2), на которую фотофиксация производится специалистом­ на борту ОПА, вручную контролирующим параметры получаемых данных.
2. Усовершенствование оборудования для съемки: применяемая фото-­ и видеоаппаратура должна соответствовать современным стандартам светосилы, шумоподавления, разрешения и другим параметрам, которые напрямую влияют на качество получаемых исходных данных. При установке автономных­ камер на аппарат (см. рис. 3) и отсутствии возможности настраивать параметры в реальном времени целесообразно вести видеозапись с функцией автофокуса на светочувствительные объективы (f/1.2–1.8) и с разрешением 3840х2160 пикселей (формат 4К).
3. Использование дополнительных светодиодных­ светильников. Возможность размещения дополнительного светодиодного освещения на конструкциях и специальных рамах как на подводных аппаратах (см. рис. 4), так и у водолазов-операторов в значительной­ степени улучшает качество получаемых исходных материалов, добавляя изображению­ яркость при отсутствии шумов, насыщенность­ и контраст.
4. Использование маркеров. При заиленности объекта съемки или наличии однородной структуры программное обеспечение с меньшей вероятностью определит ключевые точки (компоненты связности). Для повышения определения точек связности применяются маркеры, разбросанные по всей площади объекта (см. рис. 5). В их роли выступает гидроксид кальция — это безвредные и полностью растворяемые в воде гранулы ярко-белого цвета. Высокая контрастность маркеров позволяет закрепить компоненты связности между собой на подводном объекте и в результате получить более наполненную модель.
5. Гидроакустические съемки объекта. При наличии гидроакустических данных об объекте можно заранее схематично спланировать траекторию движения подводного аппарата, опираясь на доступное время проведения работ под водой и площадь захватываемого изображения с камер(ы). К таким данным относятся: облако точек поверхности и батиметрический планшет, полученный с помощью многолучевого эхолота, а так же контрастное ч/б изображение с ГБО (см. рис. 6).

Этап постобработки полученных исходных данных

Массив данных, полученный после съемки объекта, преобразуется из видеоматериалов в раскадрованные фотоизображения и проходит­ несколько этапов обработки, включающих:

1. Снижение шума. С развитием метода рас­четов при помощи нейросетей (основан на модели функционирования мозга) стали разрабатывать ПО на их основе. Сейчас существуют­ программы (Topaz LABS), которые с высокой эффективностью, отвечающей требованиям для ФГМ, упрощают обработку объемных массивов данных.
2. Цветокоррекция. Увеличение контраста и насыщенности полученных фотографий. Обработка аналогична с предыдущим этапом — используется ПО на основе нейросетей.

При больших объемах исходных данных использование таких программ показало высокую эффективность в количестве и качестве трудозатрат специалиста по постобработке. Однако для использования такого ПО необходимы мощные многоядерные рабочие станции (персональные компьютеры) и периодический объективный контроль специалиста.

Следующим этапом обработки является загрузка предварительно обработанных фотографий­ в специализированное ПО (Agisoft Metashape), в котором осуществляются такие процессы, как:

1. Выравнивание камер. После загрузки изображений в ПО необходимо определить положение­ и ориентацию камеры каждого кадра для построения разреженного облака точек (см. рис. 7). По окончании процедуры выравнивания­ становится доступно для просмотра­ положение камер и разреженное облако точек. В случае если ПО выявило неправильное­ позиционирование одной или нескольких камер, выравнивание для таких камер осуществляется вручную.
   Специалист вручную расставляет маркеры на ключевых (контрастных) точках на кадрах, где эта точка присутствует (см. рис. 8). Процесс является длительным ввиду обработки иногда нескольких десятков тысяч изображений. В среднем ПО выявляет около 50% от имеющихся на изображениях точек, остальные проценты накапливаются вручную.
2. Построение плотного облака точек. Основываясь на рассчитанных положениях камер, программа вычисляет карты глубины для каждой камеры и на их основе строит плотное облако точек (см. рис. 9). Как правило­, генерируются очень плотные облака точек: такие же плотные, как у системы LiDAR. Плотное облако точек может быть отредакти­ровано и классифицировано, а также использовано для построения полигональной модели, карты высот или тайловой модели. Также плот­ное облако может быть экспортировано для дальнейшего анализа в других приложениях.
3. Построение объемной модели и ее текстуризация­. На основе плотного облака точек ПО создает объемную 3D-­модель с возможностью тонкой настройки интерполирования, текстуризации и т. д. Однако при экспорте моделей создаются единичные части объекта, поскольку в процессе выравнивания фотографий не удается связать весь объект в единое целое.

Для того чтобы собрать объект в целостном­ представлении, необходимо проходить все этапы обработки заново с изменением отдельных параметров и свойств исходных данных, от чего существенно возрастают временные затраты на получение результата. После получения­ отдельных моделей и частей объекта далее следует процесс ручного склеивания и сшивания их в программах для создания трех­мерной компьютерной графики. За основу в качестве подложки берутся данные, полученные с помощью гидроакустической съемки: это необходимо для соблюдения масштаба и точностных параметров.

Взвесь в толще воды, поднятый ил со дна, флора и фауна подводной среды — все это оказывает отрицательное воздействие на возможность собрать модель в единую компонентную связность. Наиболее сложной акваторией для проведения ФГМ-­съемки, где осуществляют свою деятельность специалисты­ ЦПИ РГО, является Финский залив, в некоторых местах которого видимость может достигать максимум 30 см.

Результаты

Подводная фотограмметрия широко используется ЦПИ РГО для подводной археологии, а также при осуществлении подводно­-технических работ на различных подводных объектах:

• объектах культурного наследия;
• экологический мониторинг на техногенных объектах;
• объектах подводной нефтегазовой сферы;
• гидротехнических сооружениях.

Пример полученной объемной модели АПЛ проекта 627А (см. рис. 10, 11), выполненной­ в рамках работ по радиационному обсле­дованию совместно с НИЦ «Курчатовский институт» в 2022 году. Глубина проводимых работ — 250 м, работы производились с помощью ОПА и ТНПА.

Набор исходных фото- и видеоизображений­ занял суммарно 24 часа. Получено более 10000 фотографий, их обработка и склейка модели заняли 1 календарный месяц ввиду плохого качества фотоснимков, причиной которого стал мелкодисперсный грунт, поднимающийся в виде облака из­-за работающих двигателей аппаратов.

Пример полученной объемной модели американской подводной лодки Herring (см. рис. 12, 13). Глубина проводимых работ — 100 м, работы производились на ОПА.

Суммарное количество снимков — 10000, на постобработку и склейку затрачено­ 15 суток. Ввиду удовлетворительной видимости и малого количества ила процесс создания объемной модели занял сравнительно­ непродолжительное время.

Пример полученной объемной модели деревянного судна 18 века «Канонерский бар­кас 8» (см. рис. 14, 15). Глубина проводимых работ — 30 метров.

Работы производились водолазами-операторами и ТНПА. Суммарное количество снимков — 8000, обработка ввиду плохой видимости (в районе 30 см) заняла 1 календарный­ месяц.

Заключение

При анализе объемных моделей повреждения­, малейшие детали и особенности объекта позволяют профильным специалистам уже на суше, используя компьютер и соответствующее ПО, оценить повреждения, коррозию и другие характеристики подводного объекта, а также рассчитать объем необходимых­ подводно­технических работ.

При помощи подводных аппаратов (ОПА, ТНПА, АНПА) с потенциалом их дооснащения специальным оборудованием для фотограмметрии­ появляется возможность съемки без участия водолазов. При этом по временным затратам и качеству получаемых материалов, а также безопасности для человека использование­ подводных аппаратов является предпочтительным способом проведения съемки.

Технология получения объемных фото­реалистичных моделей подводных объектов требует совершенствования. Существует множество факторов, затрудняющих получение исходных данных, необходимых для постоянного построения моделей: отсутствие отечественных аналогов программного обеспечения для обработки ФГМ, недоступность иностранных­ и отсутствие обновлений уже имеющихся в использовании продуктов. Подводная фотограмметрия у иностранных компаний, деятельность которых связана с подводными работами, уверенно популяризируется и совершенствуется, что в свою очередь доказывает актуальность развития данного направления­ работ в мире.

Также стоит отметить, что дальнейшее развитие фотограмметрии и получение минимальных погрешностей в измерении габаритных характеристик возможно с применением технологии лазерного сканирования (LiDAR) — измерение расстояний путем излучения света и замера времени возвращения света обратно.

В привязке к модели данный метод позволяет­ проводить измерения с точностью до миллиметров, получая истинные габариты во всех измеряемых плоскостях. Практическое при­менение LiDAR под водой — редкое явление, однако единичные иностранные компании уже пользуются этой технологией. Развитие данного направления и интеграция на НПА необходима для упрощения и получения точностных характеристик подводных объектов, что в значительной степени уменьшит трудозатраты­ и повысит эффективность проведения подводно­технических работ.

Ссылки на источники, используемые в статье, были удалены. Библиография доступна в оригинальной публикации.

Изображения предоставлены авторами, из архива ЦПИ РГО.

Авторы статьи: Анищенко В. А., оператор подводных­ комплексов АНО «ЦПИ РГО»; Кичко С. А., начальник проектно-инженерного отдела АНО «ЦПИ РГО»; Лобынцев В. В., доцент кафедры «Электроэнергетика транспорта» Института транспортной техники и систем управления Российского университета транспорта; Фокин С. Г., исполнительный дирек­тор АНО «ЦПИ РГО».

Опубликовано в журнале «Гидрокосмос», 2024, выпуск 5-6, с. 85–96