employee
Belgorod, Belgorod, Russian Federation
employee
employee
Belgorod, Belgorod, Russian Federation
, Russian Federation
, Russian Federation
UDK 69 Строительство. Строительные материалы. Строительно-монтажные работы
GRNTI 67.11 Строительные конструкции
OKSO 08.04.01 Строительство
BBK 38 Строительство
TBK 54 Строительство
Examination of the technical condition of capital construction objects is a key task for management companies, organizations that ensure the proper functioning of objects and executive authorities - the balance holders of most of the social infrastructure of cities. The boundary state of an object, corresponding to critical changes in the structure forming the contour of its structural safety and functional reliability, is detected and diagnosed by a number of external signs (defects), the quantitative assessment and qualitative interpretation of which determine both the general results of the object examination and specific structural and technological measures to ensure its continued safe operation. Associated with a large number of field and desk studies conducted in conditions that adversely affect the quality of the result, organizational difficulties in archiving, documenting and dynamic analysis of the identified defects in buildings make the examination process expensive, inefficient and irrational in the overall content balance of the object. An effective and promising solution to the problem of reducing the resource intensity of the production of examinations of buildings in terms of diagnostics and defects and the formation of the foundations for further advising analytics, which greatly simplifies the choice of the best and economically rational management decisions in the technical operation of buildings, is proposed on the basis of the introduction of elements of neural network analysis and information modeling into expert activities. . The authors propose separate provisions for the intellectualization of building flaw detection, which are implemented and tested at the objects of ongoing construction and technical expertise in the region
construction and technical expertise, construction flaw detection, neural network, artificial intelli-gence, deep convolutional network, image segmentation
Введение. Своевременное выявление дефектов и повреждений строительных конструкций, а также контроль за их развитием во времени позволяет существенно продлить жизненный цикл зданий и сооружений путем своевременного выполнения ремонта и обслуживания поврежденных конструкций. При обследовании строительных конструкций зданий и сооружений перед экспертом стоит задача по выполнению не только визуального осмотра, но и проведению большого количества инструментальных измерений, которые, с учетом большого количества строительных конструкций, подлежащих обследованию, однотипностью и масштабностью повреждений, часто не выполняются в полном объеме, а в отчет попадают параметры, оцененные экспертом «не глаз». Также зачастую обследуемые строительные конструкции находятся на большой высоте и для осуществления доступа к ним требуется использование подъемных механизмов, что также приводит к получению недостоверных данных о параметрах дефектов и накапливанию ошибок в собранном объеме информации. При выполнении динамического анализа выявленных дефектов вышеописанное упрощение получения исходных данных приводит к ошибочности выводов и прогнозов по дальнейшему развитию дефектов, что ведет к несвоевременности выполнения ремонтно-восстановительных работ.
Ручной способ выявления и параметризации дефектов весьма трудозатратный и многодельный, что отражается на стоимости выполнения обследовательских работ. Высокая стоимсть отражается на нарушении периодичности проведения плановых обследований, а длительный промежуток между экспертизами с отсутствием, как правило, материалов ранее проведенных обследований, приводит к неправильной постановке целей и задач проведения обследования, некачественной динамической оценке дефектов и повреждений, предложению нерациональных и экономически неэффективных методов востановления и усиления.
Ранее в статье [1] авторами утверждалось, что периодичность и достоверность строительно-технических экспертиз может достигаться за счет автоматизации процесса сбора и анализа информации о дефектах строительных конструкций зданий и сооружений на примере плоских рулонных кровель. Это касается и других строительных конструкций, имеющих типовые дефекты и повреждения. Предложенная методика обладает большим потенциалом совершенствования и повышения качества проводимой дефектоскопии при условии использовании современной цифровой фото- и видеоаппаратуры, в том числе, установленной на дронах, с последующей обработкой информации алгоритмами разработанной авторами нейросети.
Основная часть. Анализ научных публикаций показывает, что за последние годы проведено большое количество исследований, в области сегментации фотоизображений для обнаружения расположенных на них объектов [2], [3], [4]. Основная цель анализа таких изображений в области строительства — это проведение градостроительного мониторинга существующей застройки территорий или имеющейся инфраструктуры. В области обследования кровель существуют работы, описывающие процесс распознавания отдельных дефектов по инфракрасным изображениям, полученным как тепловизионными, так и мультиспектральными камерами [5], при этом проблемы сегментации областей кровель с различным углом ската подробно исследуется в работе [6]. Все авторы в той или иной степени сходятся во мнении, что основным фактором, ограничивающим применения методов компьютерного зрения для экспертизы строительных конструкций зданий и сооружений, является сложность учета влажности покрытия, освещения обследуемых поверхностей, теней. Решение этих вопросов может быть достигнуто путем усложнения алгоритмов распознавания изображений, а также усложнением и увеличением объема работ по обучению нейросети.
Кроме автоматизированных систем обследования кровель существуют технологии распознавания коррозионных повреждений башенных сооружений, заключающиеся в распознавании коррозии по фото- и видеоматериалам с оценкой площади повреждения, но без динамического анализа развития дефектов.
На текущий момент времени для реализации аппаратно-программного комплекса используется следующее измерительное, диагностическое и позиционирующее оборудование:
- квадрокоптер DJI Mavic 2 Enterprise Dual, оснащенный как обычной, так и тепловизионной камерой;
- парк фото- и видеокамер, в том числе на базе смартфонов под управлением IOS и Android.
- графическая станция для развертывания, обучающего и анализирующего пользовательского ПО.
Ключевым фактором качества предлагаемой технологии автоматизации поиска и диагностики дефектов зданий является повторяемость условий диагностирования, обеспечиваемая программируемой траекторией движения носителя диагностического оборудования и полной автономностью исполнения им полетного задания в случае применения БПЛА. Формулировка полетного задания, обоснованность которого существенно влияет на качество наблюдений дефектов и результаты проводимой экспертизы рационально строить в несколько ключевых этапов, определяющих табличное представление задания:
1. Задание масштаба фотографирования, при заданной высоте полета над объектом/расстояния до фотографирования;
2. Задание продольного и поперечного базиса фотографирования, значений продольного и поперечного перекрытия;
3. Задание интервала фотографирования, основанного на продольных базисах о паспортной крейсерской скорости носителя в пределах режима максимальной пространственной устойчивости;
4. Задание величины смазки для пикселя фото-видео фрагмента, основанную на технических характеристиках носителя и фотооптики измерительного оборудования
Реализуемый при апробации технологии подход к нейросетевому обучению системы распознавания диагностируемых эффектов ставит целью каталогизацию и количественную оценку параметров дефекта, формирующих основу дальнейшего этапа управленческого советования. Пример такой каталогизации, проведенной авторами на типовых дефектах плоских рулонных кровель представлен в табл. 1.
Таблица 1
Каталогизация диагностируемых дефектов на примере плоских рулонных кровель
|
Дефект, описание |
Пример диагностируемого изображения |
|
Локальный топологический дефект: впадины, вызывающие застаивание воды на поверхности кровельного покрытия |
|
|
Локальный топологический дефект: вздутие, вызывающее потерю целостности кровельного покрытия |
|
|
Локальный структурный дефект: растрескивание, свидетельствующее о начинающемся нарушении целостности и гидроизоляционных свойств кровельного ковра |
|
|
Локальный структурный дефект: разрыв, свидетельствующий о завершившемся нарушении целостности и гидроизоляционных свойств кровельного ковра |
|
|
Локальный структурный дефект: отслаивание, свидетельствующее о завершившемся нарушении целостности и гидроизоляционных свойств кровельного ковра |
|
|
Локальный структурный дефект: ремонт, свидетельствующий об ограниченной целостности и гидроизоляционных свойствах кровельного ковра |
|
|
Локальный структурный дефект: отсутствие ковра, свидетельствующий о технологических недостатках производства кровельных работ и полной неработоспособсности кровли |
|
|
Локальный топологический дефект: биологическая коррозия, свидетельствующий о нарушении теплоизолирующих свойств покрытия |
|
Подход, используемый в ходе нейросетевого обучения системы распознавания каталогизированных в табл. 1 дефектов схематично представлен на рис. 1 [7].
Рис. 1. Структура подхода нейросетевого обучения системы распознавания дефектов кровли
Полученные выполнением полетного задания носителя оборудования локализованные (геоетеггированные) аэрофотоснимки анализируются по классификатору выявляемых дефектов в обеспеченном вычислительными возможностями аппаратного обеспечения режиме реального времени или камеральной обработки. Установленные атрибутируемые дефектам изображения сегментируются, для каждого из сегментов определяются количественные параметры характерной области изображения, относимые к оцениваемым показателям дефекта (площадь, периметр, глубина, степен поражения, динамичность развития), полутоновые маски которых сохраняются в BIM-комплиментарном формате *.xml. Доступ к количественным параметрам открывает широкие опциональные возможности применения результатов экспертизы в информационном моделировании, сметном проектировании, организационно-техническом планировании ремонтных работ.
Количественным параметром оценки качества работы реализованных в системе алгоритмов сегментации является мера Dice, предложенная и обоснованная работами [8] и [9] и подробно описанная авторами в [7].
Рациональным подходом при обнаружении дефектов плоской кровли, по мнению авторов, является анализ бинаризованного одноканального изображения, получаемого на основе порогового RGB-HSV преобразования [10]. Порог преобразования в этом случае выбирается опытно-итерационно, учитывая оптические свойства анализируемой поверхности и условия ее освещенности, установившиеся в момент фотографирования. В целом, предлагаемый алгоритм сегментации изображения с дефектами на основе HSV-преобразования сводится к следующим основным этапам:
1. Сглаживание входного цветного изображения фильтром Гаусса для подавления шумов.
2. Дифференцированное HSV-преобразование сглаженного входного RGB изображения с установленными границами по Hmin, Hmax, Smin, Smax, Vmin, и Vmax.
3. Пороговая бинаризация (маскирование) исходящего одноканального изображения по белому 255 и черному 0 значениям от попадания пикселей исходного многоканального изображения в установленные HSV-границы.
4. Отыскание на полученном бинаризованном одноканальном изображении 8-связных областей использованием двухпроходного алгоритма[11].
5. Ранжирование найденных связных областей по пороговой величине площади области, отсечение случайных и малозначимых значений, определение пиксельных, а с использованием заданного масштаба изображения и величины смазки фото — и геометрических параметров выявленного дефекта.
7. Архивация бинаризованного изображения *.jpg и актуализированной маски *.xml с организацией доступа при информационном моделировании, динамическом и сметном анализе результатов проведенной диагностики.
Авторами предложена реализация описанного алгоритма в кроссплатформенной среде python 3.5, элементы пользовательского интерфейса приложения представлены на рис. 2. Приложение позволяет работать с основными параметрами алгоритма, отлаживать эмпирические характеристики распознавания, визуально анализировать результаты диагностики на загружаемых аэрофотоснимках.
а б
Рис. 2. Элементы интерфейса авторского приложения для распознавания дефектов на основе HSV-преобразования: a — загруженное изображение, б — распознанные дефекты
Практически установленным недостатком реализованного приложением алгоритма является необходимость дифференцированного назначения существенно отличающихся порогов яркости. Для преодоления этого недостатка исследованы возможности технологии глубоких нейронных сетей, успешно зарекомендовавших себя в сходных задачах из других областей [12], выявлена необходимость корректировки обучающей выборки, содержащей пары (цветное изображение, сегментированное бинарное изображение), совершенствуемые вручную. Для подготовки такой выборки в приложение внесена опция ручного редактирования получаемого бинаризованного изображения (рис. 3).
Vmax = 162 Vmax =130 Vmax =109
Рис. 3. Применение различных пороговых значений алгоритма HSV-преобразования для корректного распознавания изображений
Глубокие сверточные нейронные сети при работе с изображениями позволяют автоматически выявлять их текстурные особенности, что особенно эффективно для рассматриваемой задачи.
При выборе архитектуры нейронной сети учитывались подходы, доказавшие свою эффективность на задаче сегментации изображений на обучающей выборке размеченных изображений PASCAL VOC [13], содержащей 21 различных типов пикселей. К таким подходам относится обучение полностью сверточных нейронных сетей - FCN [14], использованный в работе [15] для задач сегментации биомедицинских изображений.
Процесс обучения сверточной нейронной сети был выполнен с помощью оптимизатора Adam [10] с коэффициентом скорости обучения 0.00001.
Результаты обучения полностью сверточных нейронных сетей представлены на рис. 5. Проведенный численный эксперимент продемонстрировал возможность обучения полностью сверточной нейронной сети до приемлемого качества сегментации, что обеспечивает применимость глубокой полностью сверточной нейронной сети в задачах распознавания и диагностики дефектов строительных конструкции зданий и сооружений (рис. 6).
Рис. 4. Обучение глубокой сверточной нейронной сети в течение 80 эпох: a – функция потерь на обучающей выборке, б – функция потерь на тестовой выборке
Рис. 5. Примеры распознавания дефектов с использование глубокой полностью сверточной нейронной сети: a, d, g, l — исходные изображения, b, e, h, m — подготовленные бинарные маски; c, f, k, n — результаты работы нейронной сети архитектуры FCN
Общее время обучения сверточной нейронной сети на 80 эпохах составило менее 20 мин (табл. 2), при скорости распознавания 5-6 кадров/сек. Это позволяет выполнять автоматизированное распознавание дефектов строительных конструкций в режиме реального времени, без снижения качества и оперативности проведения экспертизы.
Таблица 2
Результаты работы глубоких сверточных нейронных сетей
|
Архитектура нейронной сети |
Время обучения на 80 эпохах, с |
Среднее время сегментации изображения в режиме тестирования, с |
|
FCN17 |
1270.643 |
0,177 (5,65 fps) |
|
FCN13 |
1072.485 |
0,151 (6,62 fps) |
Практической реализацией представленных алгоритмов автоматизированного распознавания дефектов плоских рулонных кровель зданий стала разработка инженерного приложения, обеспечивающего поликритериальную диагностику и количественную оценку требуемых для принятия технических решений и проведения сметного анализа характеристик установленных дефектов (рис. 6, 7).
а б в г
Рис. 6. Этапы работы инженерного приложения автоматизированного распознавания дефектов плоских рулонных кровель: а — исходное изображение; б — обнаружение растрескивания; в — обнаружение вздутия; г — обнаружение заплаток
а б в
Рис. 7. Практическая работа в инженерном приложение при автоматизированном распознавания дефектов плоской рулонной кровли общественного здания в г. Белгороде:
а — рекогносцировка кровли обследуемого объекта; б — полетное задание носителю оборудования; в — актуализируемая карта установленных дефектов кровли здания
Разработанные алгоритмы и инженерное приложение адаптируется для распознавания и количественной диагностики прочих дефектов зданий и сооружений, выявляемых в аналогичных условиях съемки и идентифицируемых схожими программными технологиями. Так, например, авторами проводится комплексная работа по приложению методики и ее программного обеспечения к задачам автоматизированной дефектоскопии трещин зданий — дефектов схожей степени распространенности в строительстве, аналогичной критичности для контура конструктивной безопасности и функциональной надежности здания, динамически меняющихся во времени и столь же трудоемких в ручных технологиях дефектоскопии (рис. 8), а также коррозионных повреждений металлических конструкций (рис. 9), в том числе и по глубине коррозионного повреждения.
а б в
Рис. 8. Этапы работы инженерного приложения автоматизированного распознавания трещин стен зданий: а — распознавание трещин по фасаду; б — распознавание трещин в цоколе;
в — параметрический объект информационной модели здания, актуализируемый проводимыми экспертизами
а б в
Рис. 9. Примеры распознавания коррозионных повреждений с использование глубокой полностью сверточной нейронной сети: а — исходное изображение; б — подготовленные бинарные маски; в - результаты работы нейронной сети архитектуры FCN
Выводы
Разработанное авторам программное обеспечение автоматизирующее процесс распознавания и количественной оценки параметров трещин в стенах зданий, дефектов плоских рулонных кровель и коррозионных повреждений металлических конструкций многократно протестировано и на наборе данных, состоящем из фотографий дефектов и их бинарных масок. Уже сейчас предложенный подход к нейросетевому обучению автоматизированной системы распознавания и диагностики типовых дефектов строительных конструкций на основе FCN показал приемлемые результаты сегментации изображений из обучающей и тестовой выборок по показателю средней величины меры качества Dice, что позволяет выделять области таких дефектов как трещины, коррозия, а также типовые дефекты плоских рулонных кровель с приемлемым для практического применения качеством. В качестве основного алгоритма принят ранее не применявшийся к рассматриваемой задаче подход на основе глубоких полностью сверточных нейронных сетей, позволяющий повысить инвариантность алгоритма к теням, освещению и изменениям типа обследуемых строительных конструкций.
Выполненное авторами инженерное приложение целесообразно к использованию в широкой цифровой экспертной практике для автоматизации мониторинга рассмотренных в работе и аналогичных по технологии распознавания и трудоемкости ручной альтернативы дефектов зданий и сооружений, обеспечивающих динамически актуализируемый, кроссплатформенный, объективный доступный информационный ресурс, существенно расширяющей текущие и перспективные возможности строительно-технической дефектоскопии, снижающий издержки на ее производство и повышающий результативность основанных на результатах экспертиз эффективных управленческих решений и технико-экономических оценок текущей и прогнозируемой конструктивной безопасности си функциональной надежности исследуемых и эксплуатируемых объектов капитального строительства.
1. Naumov A.E., Yudin D.A., Dolzhenko A.V. Improving the technology of construction and technical expertise using the hardware-software complex of automated flaw detection [Sovershenstvovanie tekhnologii provedeniya stroitel'no-tekhnicheskih ekspertiz s ispol'zovaniem apparatno-programmnogo kompleksa avtomatizirovannoj defektoskopii]. Bulletin of the BSTU named after V.G. Shukhov.2019. No. 4. Pp. 61–69. DOI: 10.34031/article_5cb824d26344e7.45899508 (rus)
2. Benedek C., Descombes X., Zerubia J. Building Extraction and Change Detection in Multitemporal Aerial and Satellite Images in a Joint Stochastic Approach, RR-7143, INRIA. 2009.
3. Gombos A.D. Detection of roof boundaries using lidar data and aerial photography. University of Kentucky Master's Theses. 2010
4. Puttemans S, Van Ranst W., Goedeme T. Detection of photovoltaic installations in rgb aerial imaging: a comparative study. 2015
5. Stockton G.B. Using infrared thermogra-phy in flat and low-sloped roofing systems. Journal of the National Institute of building sciences. 2014. Pp.16-19
6. Merabet Y.E., Meurie C., Ruichek Y., Sbihi A., Touahni R. Building Roof Segmentation from Aerial Images Using a Line-and Region-Based Watershed Segmentation Technique. Sensors (Basel). 2015. Vol. 15(2). Pp. 3172–3203. DOI:10.3390/s150203172
7. Yudin D., Naumov A., Dolzhenko A., Patrakova E. Software for roof defects recognition on aerial photographs. Journal of Physics: Conference Series. 2018. 1015(3). 032152.
8. Yudin D.A., Magergut V.Z. Segmentation of sintering images using texture analysis based on self-organized maps. Information technologies. 2013. Vol. 5. Pp. 65–70
9. He Y. Deep Learning Tutorial for Kaggle Ultrasound Nerve Segmentation competition, using Keras. Xi'an Jiaotong University. URL: https://github.com/yihui-he/u-net (date of treatment: 20.09.2022)
10. Kingma D.P., Ba J. Adam: A Method for Stochastic. Optimization 3rd International Conference for Learning Representations. San Diego, 2015. arXiv:1412.6980.
11. Vizilter Y.V., Zheltov S.Y., Bondarenko A.V., Ososkov M.V., Morzhin A.V. Processing and analysis of images in machine vision tasks: lecture course and pratice. 2010. Fizmatkniga, 672.
12. LeCun Y., Bengio Y., Hinton G. Deep learning. Nature. 2015. Vol. 521(7553). Pp. 436–444. DOI:10.1038/nature14539
13. Everingham M., Van Gool L., Williams C. K. I., Winn J., Zisserman A. The PASCAL Visual Object Classes Challenge. International Journal of Computer Vision. 2011. Vol. 88(2). Pp. 303–338. DOI:10.1007/s11263-009-0275-4
14. Shelhamer E., Long J., Darrell T. Fully Convolutional Networks for Semantic Segmentation 2016PAMI 2016, arXiv:1605.06211.
15. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), Springer. 2015. LNCS 9351 234–241.
