Совместная обработка материалов аэрофотосъемки с камер видимого диапазона (RGB) и ближнего ИК (NIR)

Блог
Совместная обработка материалов аэрофотосъемки с камер видимого диапазона (RGB) и ближнего ИК (NIR)
rgb_nir

В статье рассматривается один из вариантов обработки материалов аэрофотосъемки, выполненной одновременно на две камеры, одна из которых модифицирована для съемки в ближнем ИК-диапазоне. В зависимости от ваших задач, вы можете изменить или опустить некоторые из этапов обработки. Для примера мы рассмотрим процесс получения композита каналов Color Infrared (CIR), а именно псевдоцветного ортофотоплана с каналами ИК, красный, зеленый (NIR, R, G).

 

 

Ключевой идеей предложенного метода является совместное выравнивание изображений с двух камер в едином блоке. Как следствие, экспортируемые из такого рода данных ортофотопланы отличаются хорошим совмещением друг с другом каналов, изначально зарегистрированных разными камерами. Мы не будем использовать подход, применимый в случае, если камеры идентичны, синхронизованы и жестко закреплены друг относительно друга (см. раздел «Мультисенсорные камеры» в руководстве пользователя Metashape).

1. Требования к материалам

В данном примере мы рассматриваем материалы, полученные с помощью БПЛА Геоскан 201 Агро, на камеры Sony DSC-RX1 и Sony a6000, причем a6000 модифицирована для ИК-съемки. Камеры не синхронизованы и каждая выполняет съемку в зависимости от положения, для обеспечения необходимого перекрытия.

Материалы с обеих камер должны иметь одинаковую глубину цвета. Предпочтительна съемка в RAW и последующее преобразования в TIFF c глубиной цвета 16 bit. При конвертации из RAW необходимо для обеих камер использовать одинаковые параметры гамма-коррекции (более универсальный вариант – не использовать гамма-коррекцию для обеих камер).

Камеры для RGB и NIR могут быть разных моделей, и использовать объективы с различным фокусным расстоянием. Изображения RGB и NIR могут иметь разный размер.

2. Добавление снимков

Для добавления фотографий выберите в меню Обработка пункт Добавить фотографии, укажите путь к папке с фотографиями с первой камеры (например, RGB), выделите файлы, которые необходимо добавить, и нажмите кнопку Открыть. Аналогичным образом добавьте в тот же блок фотографии со второй камеры (например, NIR).

Далее, последовательно загрузите координаты центров фотографирования для обеих камер. Поскольку в этом примере камеры не синхронизированы, в рабочей области Модель видно, что в некоторых случаях позиции съемки для двух камер не совпадают, хотя они и достаточно близки.

align

 

3. Выравнивание фотографий

Особых параметров для выравнивания набора снимков сразу с двух камер не требуется. В данном примере (RGB: Sony DSC-RX1, NIR: Sony a6000 + Sony SEL20F28) использованы следующие параметры:

param

Ниже показан результат определения положений камер:

cam_position

Не забудьте провести оптимизацию выравнивания.

4. Построение плотного облака и карты высот

Плотное облако может быть построено как с использованием снимков сразу с двух камер, так и с использованием только одной из камер. Если выбран параметр Рассчитывать цвета точек, то при использовании обеих камер цвета смешаются и потеряют реалистичность. Таким образом, если при дальнейшей  обработке требуется плотное облако в естественных цветах, то перед его построением блокируйте все снимки с ИК-камеры. Различия в картах высот рассмотрим более детально в конце статьи.

dcp_diff

Различия цветов точек плотного облака при использовании RGB и NIR камер (слева) и только RGB-камеры (справа).

5. Построение и экспорт ортофотоплана

Задачей на данном этапе будет получение двух идентичных по разрешению и области охвата ортофотопланов, с каждой камеры по отдельности.

В рабочей области Фотографии выберите все снимки с первой камеры (например. RGB), и в контекстном меню выберите Блокировать камеры.

camera_block

В меню Обработка выберите пункт Построить ортофотоплан. По завершении операции построения, создайте копию ортофотоплана, выбрав его правой кнопкой мыши в панели Проект и указав в контекстном меню Создать копию…

Вновь активируйте снимки с первой камеры (RGB), а затем заблокируйте снимки со второй камеры (NIR). Еще раз постройте ортофотоплан. Обратите внимание: если не создать копию первого ортофотоплана, то при повторном построении Metashape сбросит предыдущий ортофотоплан и в проекте останется только последний.

Экспортировать ортофотопланы можно как целиком, так и поканально. В нашем примере, нам нет необходимости оставлять три канала в ИК-ортофотоплане, поэтому экспортируем только один канал.

На вкладке Орто откройте ИК-ортофотоплан, дважды кликнув по значку ортофотоплана на панели Проект. Откройте Растровый  калькулятор, на  вкладке Преобразование выберите в качестве выходного канала B3, отметьте Включить преобразование.

reprocess

Для предварительного просмотра, перейдите на вкладку Палитра, затем нажмите Авто и Применить.

histogram

Для  экспорта  используйте команду  Экспорт  ортофотоплана  в  меню  Файл. В нашем случае в опции Преобразование растра необходимо указать вариант Значение индекса. Альфа-канал достаточно сохранить лишь в одном ортофотоплане из всего набора. Для последующего объединения растров с разными каналами важно указать для всех экспортируемых файлов одинаковый размер пикселя. В нашем примере исходный размер пикселя отличается примерно в два раза, для простоты укажем разрешение, округленное до ближайшего целого сантиметра.

rastr

Ортофотоплан видимого диапазона можно либо экспортировать аналогичным образом поканально, либо экспортировать целиком, без преобразования растра.

6. Объединение растров

К сожалению, в Metashape нет инструментов, позволяющих совместно использовать каналы из двух различных ортофотопланов. В качестве одного из способов можно использовать инструмент Объединение растров в QGIS (вызывает gdal_merge). Для этого необходимо добавить в проект объединяемые слои, затем из меню Растр вызвать инструмент Результат (русская локализация версии 3.х). В окне Исходные слои необходимо указать объединяемые слои, затем обязательно отметить пункт Расположите каждый входной слой в отдельный канал (соответствует ключу separate в gdal_merge).

pseudocolor

Результат объединения можно сохранить как многоканальный растр или как псевдоцветное трехканальное изображение.

3channel_image

 

7. Замечание о картах высот, полученных с разных камер

В рассматриваемом наборе данных камера цветного изображения и модифицированная для ближнего ИК, вообще говоря, существенно отличаются по характеристикам: DSC-RX1 имеет фокусное расстояние 35 мм и полнокадровую матрицу, A6000 – матрицу формата APS-C и объектив 20 мм (фокусное расстояние составляет 30 мм в 35-мм эквиваленте). Кроме того, изображения с NIR-камеры взяты в половинном разрешении (поскольку проводить дебайеризацию при съемке в ИК во многих случаях практически бесполезно). Неудивительно, что при использовании только одной из двух камер на этапе построения плотного облака и затем карты высот, полученные модели местности будут отличаться друг от друга.

Чтобы продемонстрировать разницу, приведем чертеж сечения оврага: (нажмите на картинку для увеличения)

 

nir_rgb_profile_diff

8. Выводы

В этом руководстве продемонстрирована возможность использовать стандартный комплекс Геоскан 201 Агро для построения композитных изображений с инфракрасным каналом в псевдоцветах (CIR), которые полезны для классификации растительности по цвету на ортофотоплане.