Moscow, Russian Federation
Moscow State University of Civil Engineering ( student)
UDK 69 Строительство. Строительные материалы. Строительно-монтажные работы
BBK 303 Сырье. Материалы. Материаловедение
BBK 345 Общая технология машиностроения. Обработка металлов
BBK 347 Технология производства оборудования отраслевого назначения
BBK 35 Химическая технология. Химические производства
BBK 383 Строительные материалы и изделия
BBK 385 Строительные конструкции
BBK 386 Технология строительного производства
BBK 387 Отдельные виды строительства
BBK 389 Благоустройства населенных мест
BBK 6529 Экономика предприятия (фирмы)
BBK 6530 Экономика промышленности
BBK 6531 Экономика строительства
A method of creating 3D images based on photogrammetry can be used as a tool for documenting cultural heritage and preparing initial data for the restoration of building objects. Architectural and structural features of building objects, the land-based method for obtaining the majority of photo images and the desire to obtain a model with high detalization lead to the need to adjust the parameters of the algorithm for automated obtaining of three-dimensional images. In the course of the study, possible changes and adjustments to the parameters of the photogrammetry algorithm were analyzed to improve the quality of modeling of building objects. A comparative analysis of the results of the modeling of the historical building was carried out under different parameters of the algorithm
algorithm of photogrammetry, restoration of cultural heritage, three-dimensional model, 3D-reconstruction, point cloud
Введение. Фотограмметрия по снимкам исследуемого объекта позволяет определить его форму, размеры и пространственное положение в заданной системе координат на момент съёмки, а также изменения этих величин через заданный интервал времени [1]. Исходным материалом для компьютерных методов определения геометрических характеристик объектов фотограмметрическим методом являются цифровые фотографии.
В области строительства фотограмметрия применяется для построения цифровой модели рельефа, определения деформаций инженерных сооружений [2], построения стереоснимков строительных объектов [3], контроля точности монтажа крупнопанельных зданий [4], исследования труднодоступных частей инженерных сооружений [5]. Модели, полученные в результате фотограмметрии, могут использоваться для измерения объектов различного масштаба, для использования в ГИС – приложениях [6]. Фотограмметрия позволяет получить цифровую модель исторических зданий для создания их реестра [7].
Все строительные объекты в течение своего жизненного цикла подвергаются разрушительному воздействию со стороны внешней среды и с течением времени требуют реставрационных и ремонтных работ. Реставрационные работы имеют большое значение для культурно-исторических центров России. «В Москве в 2016 году реставрационные работы проходили на 724 объектах, завершены они на 159 здания за шесть лет в столице отреставрировано в общей сложности 773 памятника истории и культуры и теперь Москва в рейтинге мировых мегаполисов с самыми ухоженными памятниками занимает четвертое место, обойдя даже Рим» [8]. Примером проекта реставрации, где широко использовались 3D моделирование и алгоритмы фотограмметрии, является виртуальная реконструкция Страстного монастыря и прилегающей к нему площади [9].
Снимки объекта могут производиться с помощью аэрофотосъемки, наземной или смешанной фотосъемки [10]. Возможно использование беспилотного летательного аппарата, который летит по заданной траектории и производит аэрофотосъемку объекта [11]. Массив фотографий выгружается в один из программных комплексов, где производится сборка актуальной модели. Разрешение фотографий должно быть не менее 5 мегапикселей, а количество снимков должно быть достаточно или даже избыточно. Практически фотограмметрические работы выполняются по цифровому изображению с точностью позиционирования каждого пикселя изображения не больше 2–3 мкм. Такие задачи, как фототриангуляция, построение цифровой модели местности и создание ортофотоснимков, дают хороший результат при размере пиксела 10 мкм [12].
Для 3D-реконструкции строительных объектов точность полученной модели должна быть выше точности обычной реконструкции, например, цифровой модели рельефа [13]. Архитектурные и конструктивные особенности строительных объектов, их масштаб и колористическое решение, а также наземный метод получения большинства фотоизображений позволяют предположить, что в стандартном алгоритме автоматизированного получения трехмерных изображений методом фотограмметрии нужно использовать специальные решения.
Цель настоящего исследования – повысить детализацию 3D-реконструкции, а также повысить эффективность компьютерного алгоритма фотограмметрии при решении задачи моделирования отдельных исторических зданий и памятников.
Методика. В качестве системы автоматизации обработки фотоизображений был использован отечественный программный комплекс Agisoft PhotoScan, разработанный инновационной исследовательской компанией Agisoft LLC в г. Санкт-Петербурге. Программа выполняет фотограмметрическую обработку цифровых изображений и создает пространственные 3D модели [14]. Программа работает по стандартному алгоритму, а также имеет расширенные параметры корректировки изображений и построения трехмерной модели объекта. Высокое качество 3D реконструкции объектов достигается путем управления параметрами основных шагов алгоритма фотограмметрии, а также путем использования дополнительных инструментов.
Все расчеты проводились на персональном компьютере с процессором Intel® Core™ i7-4700HQ CPU @ 2.40 GHz, оперативной памятью – 8.00 Гб, 64-разрядной операционной системой Windows 8.1. Анализ использования расширенных параметров и инструментов корректировки данных в алгоритме фотограмметрии проведен на примере реконструкции часовни Преподобного Сергия Радонежского (рис.1 слева). Размер наименьшей учитываемой архитектурной детали этого здания – 3см. Снимки создавались с большим перекрытием объекта, примерно 70 % фотографии. Для построения модели часовни было использовано около 200 снимков, сделанных камерой SONY ILCE-6000 с фокусным расстоянием 16 мм, выдержкой – 1/160 сек, разрешающей способностью 350 пикселей на дюйм (127,6 лин/мм). Размер снимков 6000×3376 пикселей с размером пикселя – 3 мкм.
Рис. 1. Часовня Сергия Радонежского на территории технополиса "Москва" (бывший завод АЗЛК), в Москве (фотография – слева, модель – справа)
Объект снимался по частям методом наземной фотосъемки с высоты 150–200 см. Некоторые части архитектурного объекта, а именно, части кровли и горизонтальные выступы выше 2-х метров, которые не попали в кадры, создавались в процессе построения полигональной модели автоматическим методом заполнения разрывов в модели.
На первом этапе исследования 3D модель часовни была построена при использовании стандартного алгоритма фотограмметрии программы Agisoft PhotoScan. На втором этапе исследования были проанализированы и настроены расширенные параметры настройки улучшенного алгоритма для применения к архитектурным объектам. Был проведен сравнительный анализ результатов исследования.
Основная часть. Основные шаги алгоритма похожи у всех программ, основанных на фотограмметрии. В процессе обработки на изображениях объектов отыскиваются общие точки, через которые затем проходят лучи из камер. Пересечение лучей определяет положение искомой точки в пространстве. Данный алгоритм требует больших затрат временных ресурсов для достижения необходимого результата, что может быть неоправданным, если качество полученной 3D модели оставляет желать лучшего.
На рис. 2 представлен алгоритм фотограмметрии, который используется для 3D-реконструкции объектов в программе Agisoft PhotoScan. Выделены шаги с использованием дополнительных параметров и инструментов корректировки данных, применимые для создания моделей архитектурных объектов. Для того чтобы выявить и отсеять фотоснимки с низким качеством, необходимо провести операцию «Оценка качества изображений». Фотографии с качеством ниже параметра 0,5 следует заблокировать, тем самым изображение автоматически не будет использоваться при выравнивании фотографий и в дальнейших построениях.
Рис. 2. Алгоритм фотограмметрии с дополнительными параметрами и инструментами корректировки
На шаге «Выравнивание фотографий» происходит поиск общих точек на фотографиях, на основе которых определяются параметры внешнего и внутреннего ориентирования камер. По этим данным строится разреженное облако общих точек в трехмерном пространстве и положение камер с данными об их ориентации [15].
Функция «Выравнивание фотографий» позволяет работать со следующими значениями параметра Точность. Низкая точность – размер исходных изображений уменьшается в 16 раз (с каждой стороны изображения в 4 раза). Средняя точность – размер изображений уменьшается в 4 раза (с каждой стороны в 2 раза). Высокая точность – размер фотографий остается без изменений размера. Очень высокая точность – размер кадров увеличивается в 4 раза. В режиме «Очень высокая точность» рекомендовано выравнивать только фотографии с высокой резкостью и на компьютере с высокими техническими показателями [16]. На рис. 3 показаны результаты выравнивания фотографий по стандартному алгоритму со средней точностью (слева) и по алгоритму для архитектурных сооружений с высокой точностью (справа).
Рис. 3. Выравнивание фотографий со средней (слева) и высокой (справа) точностью
Операцию «Выравнивание фотографий» можно выполнить, воспользовавшись дополнительными инструментами для точности позиционирования, такими, как маркеры. Чтобы воспользоваться маркерами необходимо выставить на яркие и отличающиеся от других деталей объекта точки ряда фотографий, как минимум, по 4 маркера. Программа воспринимает маркеры фотографий как точное соответствие точек фотографий. Также на этом шаге необходимо оптимизировать границы габаритного куба, охватывающего модель. Тогда точки облака, находящиеся вне куба, отбрасываются и в дальнейших расчетах не участвуют.
На следующем шаге высчитывается карта глубин для каждой фотографии и на ее основе генерируется плотное облако точек. Основные операции данной обработки – Качество и Фильтрация карт глубин, которые чистят неверно позиционированные точки. Фильтрация карты глубин выполняется с режимами: мягкая - для сцен с мелкими деталями; агрессивная – для сцен без мелких деталей, умеренная – средний режим. В стандартном алгоритме плотное облако рассчитывалось при средне-агрессивном параметре, что соответствует рисунку 4 (слева), в улучшенном алгоритме данный шаг рассчитывался при высоко-мягком параметре (рис. 4 (справа)).
Если есть неправильно позиционированные точки, можно воспользоваться инструментом «Фильтрация точек на основе цвета». Если неправильно рассчитанные точки появляются от отражающих поверхностей или бликов, то можно воспользоваться инструментом «Маска». Данный инструмент позволяет выделить область изображения, которая не будет участвовать в дальнейших расчетах.
Рис. 4. Плотное облако точек средне-агрессивного (слева) и высокого-мягкого (справа) качества
На следующем шаге по плотному облаку точек строится полигональная модель. Параметрами настройки являются Тип поверхности и Количество полигонов. Если объект представляет собой местность с использованием аэрофотосъемки, то следует выбрать тип «Карта высот». Этот режим позволяет рассчитывать большое количество фотографий, используя мало ресурсов. Если же объект – статуя, здание или другой замкнутый объект, то для детальной реконструкции следует применить «Произвольный» тип поверхности.
Рис. 5. Полигональная модель среднего (слева) и высокого (справа) количества полигонов
Параметр Количество полигонов принимает следующие значения: низкое – отношение полигонов и точек равно 1/45; среднее – отношение равно 1/15; высокое – отношение равно 1/5; пользовательское – пользователь сам вводит максимальное количество полигонов. Если на полигональной модели есть отверстия или часть объекта, которая не получена со снимков, то возможно использование инструмента «Заполнение отверстий». На рисунке 5 (слева) представлены результаты построения полигональной модели на средних параметрах по обычному алгоритму, на рисунке 5 (справа) модель построена по улучшенному алгоритму для архитектурных объектов.
Далее на построенную полигональную поверхность накладывается текстура (рис.1 справа). Затем модель можно экспортировать в стороннюю программу.
Выводы. В таблице 1 приведены результаты исследования по основным шагам стандартного и улучшенного алгоритма построения трехмерной модели архитектурного объекта.
Таблица 1
Результаты основных шагов алгоритмов
|
Основные шаги |
Стандартный алгоритм |
Улучшенный алгоритм для архитектурных объектов |
||||
|
Параметр |
Время |
Количественные результаты |
Параметр |
Время |
Количественные результаты |
|
|
Выравнивание фотографий |
Средний |
1ч |
32079 точек |
Высокий |
3ч 20мин |
67621 точек |
|
Построение плотного облака точек |
Средне-агрессивный |
2ч 40мин |
2289209 точек |
Высоко-мягкий |
5ч |
8828924 точек |
|
Построение полигональной модели |
Средний |
2ч |
46538 полигонов |
Высокий |
4ч |
1509080 полигонов |
Время, затраченное на построение модели строительного сооружения алгоритмом без использования расширенных параметров и инструментов корректировки, составило 5 часов 40 мин. Размер минимальной распознаваемой детали составляет 8 см. Качество реконструкции недостаточно для дальнейшего исследования строительного сооружения по модели.
Время, затраченное на построение модели улучшенным алгоритмом, описанным в данной статье, составило 12 часов 20 минут. Благодаря использованию дополнительных инструментов и параметров размер минимальной распознаваемой детали составляет 3 см. Благодаря использованию дополнительных инструментов и параметров качество модели повысилось на 96 %, но время, затраченное на построение трехмерной модели, увеличилось в 2 раза.
Дальнейшие исследования связаны с доработкой алгоритма фотограмметрии, направленной на уменьшение времени построения модели реконструируемого объекта.
1. Krasnopevcev B.V. Fotogrammetriya. M.: UPP "Reprografiya" MIIGAiK, 2008. 160 s.
2. Luhmann T., Große-Schwiep M., Hastedt H. Deformation measurement with terrestrial la-serscanning and photogrammetry // Naukovі pracі Donec'kogo nacіonal'nogo tehnіchnogo unіversitetu. Serіya: Gіrnicho-geologіchna. 2013. № 1 (18). S. 84–91.
3. Shuvaev A.V., Chistyakov E.A. «Fotogrammetriya v stroitel'stve i arhitekture» // v sbornike: Izbrannye doklady 60-y universitetskoy nauchno-tehnicheskoy konferencii studentov i molodyh uchenyh. Tomskiy gosudarstvennyy arhitekturno-stroitel'nyy universitet, 2015. S. 368–381.
4. Chibunichev A.G. O vozmozhnostyah primeneniya cifrovyh metodov fotogrammetrii dlya resheniya inzhenernyh zadach // Izvestiya vysshih uchebnyh zavedeniy: Geodeziya i aerofotos'emka. 1990. № 6. S. 76–82.
5. A. Pérez Ramos, G. Robleda Prieto. 3D virtualization by close range photogrammetry indoor gothic church apses. The case study of church of San Francisco in betanzos (La coruña, spain). URL: http://www.int-arch-photogramm-remote-sens-spatial-inf-sci.net/XL-5-W4/201/2015/isprsarchives-XL-5-W4-201-2015.pdf (Data obrascheniya: 10.04.2017).
6. Germak O.V. Vazhnost' cifrovoy foto-grammetrii dlya GIS // Stroitel'stvo. Dorogi. Transport: materialy Mezhdunarodnoy nauchno-prakticheskoy konferencii. 2015. S. 149–152.
7. Shamarina A.A., Shayhislamova Yu.M. Fotogrammetriya kak metod arhitekturnogo obsledovaniya istoricheskogo ansamblya Stroganovyh posredstvom programmy Agisoft Fotoscan // Simvol nauki. 2016. № 12-3 (24). S. 211–217.
8. Semenova A., Emel'yanov A., Gorodskaya delovaya gazeta «Moskovskaya perspektiva». URL: http://www.mperspektiva.ru/topics/15164/ (data obrascheniya: 8.04.2017).
9. Borodkin L.I., Valetov T.Ya., Zherebyat'ev D.I., Kim O.G., Konchakov R.B., Kulakova I.P., Lidov A.M., Mironenko M.S., Mishina E.M., Moor V.V., Ostapenko M.Yu., Ryabov V.A. Tehnologii virtual'noy istoricheskoy rekonstrukcii URL: http://www.hist.msu.ru/Strastnoy/04.htm (Data obrascheniya 16.03.2017).
10. Zavtur A., Grishina N., Chalyy Yu. Trehmernaya fotogrammetriya, ili ot fotografii k 3d-modeli // SAPR i grafika. 2016. № 2 (232). S. 58–61.
11. Germak O.V. BPLA – fotogrammetriya // Novaya nauka: Problemy i perspektivy. 2015. № 6–2. S. 147–149.
12. Chibunichev A.G., Guk A.P. Fotogrammetriya: vchera, segodnya, zavtra / Izvestiya vysshih uchebnyh zavedeniy // Geodeziya i aerofotos'emka. 2016. № 2. S. 3–9.
13. Pisarenko M.I., Sotnikov N.N. Fotogrammetriya - instrument vosproizvedeniya hudozhestvennyh ob'ektov // Gaudeamus Igitur. 2016. № 1. S. 59–62.
14. Agisoft PhotoScan URL: http://www.agisoft.com/ (Data obrascheniya 10.02.2017).
15. Prilipko E.A. Sovremennye metody 3d-skanirovaniya. URL: https://interactive-plus.ru/ru/article/11162/discussion_platform (data obrascheniya: 8.04.2017).
16. Rukovodstvo pol'zovatelya Agisoft PhotoScan: Professional Edition, versiya 1.2. URL: http://www.agisoft.com/pdf/photoscan-pro_1_2_ru.pdf (Data obrascheniya 15.01.2017).
