Bryansk, Bryansk, Russian Federation
Bryansk, Bryansk, Russian Federation
GRNTI 12.09 Развитие науки
The development of image recognition technologies has allowed to automate many activities, previously largely based not on the capabilities of technical means and mathematical apparatus, and the experience and skills of people involved in this activity. The subject of this work is the application of image recognition technologies in the processing of photographs of the earth's surface, namely, forests.
automatic pattern recognition, neural networks
Введение
Леса России составляют около 22 % от мирового запаса лесов. Площадь земель лесного фонда России до 2000 года составляла 69 % территории страны. В настоящее время эта цифра снизилась до отметки чуть более 40 % территории.
Скорость вырубки лесов в 18 раз выше скорости прироста деревьев [22].
Дистанционное зондирование Земли с помощью аэро- и космической съемки – эффективный способ мониторинга лесов. Космические снимки позволяют получить актуальную информацию о состоянии лесного покрова.
С помощью космического мониторинга можно решить ряд задач [23]:
определение пород деревьев;
классификация лесов по возрасту и пород-
ному составу;
определение видов и объемов лесных участков, областей угнетения растительности;
выявление незаконных вырубок, гарей, заболоченных участков;
планирование лесного природопользования.
С помощью данного типа мониторинга можно оперативно выявить различные нарушения: строительство в природоохранной зоне, незаконную вырубку лесов, техногенное загрязнение лесов. Методы аэрокосмического наблюдения могут использоваться для контроля территорий, густо засаженных лесными массивами.
Аэро- и космическая съемка с целью исследования лесных массивов – услуга, востребованная среди лесных хозяйств, экологических служб, государственных (включая надзорные)
органов.
Наша работа основана на применении тех-
нологий распознавания образов при обработке фотоснимков земной поверхности с летательных аппаратов.
В процессе распознавания образов можно выделить три ступени:
первичная обработка и фильтрация,
логическая оценка результатов фильтрации,
алгоритмы принятия решений [8].
Прежде чем заводить речь о методах распознавания образов, необходимо рассмотреть подготовительные этапы, делающих процесс распознавания более эффективным, а в некоторых случаях принципиально возможным. К группе фильтрации можно отнести методы, которые позволяют определить на изображении интересующие объекты, без предварительного анализа [8].
Свёртка – это математическая операция, применённая к двум функциям f и g, порождающая третью функцию [2]. Суть операции свёртки достаточно наглядно иллюстрируется на примере свёрточной нейронной сети. Имеется ядро – небольшая матрица весов. Это ядро «скользит» по двумерным входным данным, выполняя поэлементное умножение для той части данных, которую сейчас покрывает. Результаты перемножений ячеек суммируются в одном выходном пикселе (рис. 1).
В случае свёрточных НС ядро определяется в ходе обучения сети. Начальные веса могут иметь случайные значения и корректируются в процессе обучения [2].
Существует множество способов организации ядра свёртки.
Рассмотрим ниже основные методы, используемые нами в процессе разработки системы автоматизации анализа динамики изменения площади лесных насаждений на основе методов автоматического распознавания образов.
Методы и подходы
Методы фильтрации изображений
Пространственные методы фильтрации
Методы обработки в пространственной области относятся к плоскости изображения, как к таковой. Данная категория объединяет подходы, основанные на прямом манипулировании пикселами изображения.
Процессы пространственной обработки характеризуются уравнением [1]:
(1)
где:
– входное изображение; 
– обработанное изображение; - T – оператор над
в некоторой точке 
.
Линейная и медианная фильтрация.
При осуществлении линейной фильтрации отклик маски задается суммой произведений пикселей в области покрытия фильтра. В качестве линейного сглаживающего фильтра используется усредняющий фильтр выходным значением, которого является среднее значение по окрестности маски фильтра. Подобный фильтр используется для задач удаления зернистости изображения вызванной импульсным шумом.
Общая формула усредняющего фильтра, предназначенного для фильтрации изображения с размерами 
, имеет вид [14]:
(2)
где:
– элемент матрицы изображения после фильтрации; 
– элемент матрицы изображения после фильтрации размера 
; 
– элемент матрицы исходного изображения.
Известны линейные алгоритмы выделения границ. В качестве первых можно привести маски, похожие на те, которые используются в линейной фильтрации. Разница в том, что для выделения границ используются весовые коэффициенты разных знаков, как положительные, так и отрицательные [24].
Спектральные методы фильтрации
Преобразование Фурье было описано французским математиком Жаном Батистом Жозефом Фурье в 1822 году в его книге «Аналитическая теория тепла» [1]. Сущность преобразования состоит в том, что любая функция, периодически воспроизводящая свои значения (например, синусоида), может быть представлена в виде суммы синусов/косинусов различных частот, умноженных на некоторые коэффициенты (рис. 6). Эта сумма носит название «ряд Фурье». Когда функция не является периодической, но площадь под её графиком конечна, она может быть выражена в виде интеграла от синуса/косинуса, умноженного на некоторую весовую функцию.
Пирамиды изображений и многомасштабная фильтрация послужили основой для разработки вейвлет-преобразования. Первое упоминание об этом преобразовании в научной литературе появилось в 1984 году (Grossman и Morlet, 1984) [6].
На рис.3 приведён пример обработки изображения вейвлетом DoG при различных уровнях разрешения. Результатом преобразования становится изображение, состоящее из гауссиан.
Для анализа данных, получаемых с камер, устанавливаемых на летательных аппаратах, широко применяются методы текстурного анализа [6]. Под текстурой подразумевается связная область элементов цифрового изображения, визуально передающая характер поверхности исходной сцены [21]. Для описания текстур используются спектральные, структурные и статистические характеристики.
При структурном подходе текстура рас-
сматривается, как совокупность примитивных элементов – текселов (от англ. Texture element), расположенных в некотором повторяющемся порядке [21]. Текселам сопоставляется символьное или численное описание, которое отличается чувствительностью к шумовым искажениям и плохо подходит для анализа текстур с неявно выраженными периодическими свойствами (в первую очередь реальных изображений) [12].
Статистические методы предполагают использование матриц смежности. Матрица смежности описывает пространственные связи пар значений характеристик текстуры, и представляет собой статистическую сигнатуру текстуры. Статистические методы позволяют работать с большим числом характеристик и дают высокодетализированную сегментацию, что, несмотря на высокую ресурсоёмкость вычислительного процесса, даёт наибольший объём информации при работе с реальными изображениями [6].
Спектральные методы анализа основаны на спектре Фурье и вейвлетанализе. Преобразование Фурье следует рассматривать как разложение сигнала на частотную и амплитудную составляющие, то есть обратимый переход от временного в частотное пространство. В случае вейвлета-анализа осуществляется разложение сигнала по базисным функциям
(вейвлетам), которые строятся на основе порождающего вейвлета с использованием операций сдвига и масштабирования [6]. Особенностью таких этих методов является повторяемость результатов при масштабировании текстуры [12].
Данный метод основан на теореме Байеса и определении априорных вероятностей, то есть вероятность исходов или принадлежности объекта определенному классу изменяется после получения новых экспертных оценок. Появление того или иного образа является случайным событием и вероятность этого события можно описать с помощью закона распределения вероятностей многомерной случайной величины в той или иной форме [9].
Американским информатиком Робертом Хараликом был предложен способ описания текстур на основе характеристик матриц вхождений , рассчитываемых по изображению. Каждая матрица вхождений описывает структуру текстуры в соответствующем направлении от одного края изображения к другому. По результатам расчета характеристик матриц составляется вектор текстурных признаков изображения, которые могут рассматриваться как характеристики текстуры, покрывающей каждый пиксель изображения [11] (рис. 4).
Статистические методы анализа текстурных областей изображений. При статистическом подходе к анализу текстурных областей изображения трактуются как реализации некоторого случайного процесса [12].
Статистический текстурный анализ осно-
ван на вычислении матриц смежности, которые учитывают как уровни яркости отсчётов, так и относительное расположение отсчетов с определенной яркостью на изображении. Матрица смежности описывает пространственные связи пар значений характеристик текстуры, Отсчеты двумерной матрицы смежности для изображения показывают оценку вероятности совместного появления на изображении на расстояния друг от друга, задаваемом определенным вектором смещения отсчетов, с соответственными значениями уровней яркости [12].
Основной идеей, на которой основан метод текстурных характеристик Лавса, является оценка изменения содержания текстуры в пределах окна фиксированного размера. Для вычисления энергетических характеристик используется набор из 16 масок размерами 5x5. При составлении масок Лавса используются 4 вектора [17]:
- – уровень;
- – край;
- – пятно;
- – рябь;
Двумерные маски вычисляются умножением пар векторов.
В результате предварительной обработки
формируется изображение, на котором средняя интенсивность каждой пиксельной окрестности близка к 0. После предварительной обработки к полученному изображению применяется каждая из шестнадцати масок и формируется шестнадцать отфильтрованных изображений.
Метод Лавса показывает достаточно высокую точность при решении задачи классификации изображений. В работе [18] с помощью масок Лавса были обработаны изображения камня, песка, риса полученные данные исследования показали, что вероятность ошибочной классификации в этом случае в два и более раза меньше, чем вероятность ошибки, полученной при отборе признаков с помощью критерия дискриминантного анализа или
t-критерия Стьюдента.
В работе [16] метод Лавса был применён для обнаружения дефектов, например,
Структурные методы
Корреляция – статистическая взаимосвязь нескольких случайных величин, либо величин, с некоторой допустимой степенью точности считающихся таковыми [19].
В работе [20] было произведено несколько опытов для определения эффективности метода АКФ. Результат одного из них приведён на рис.5.
При использовании сравнений автокорреляционных функций точность вытирания текстуры составила 83 — 100 % [12, 19, 20].
В задачах распознавания объектов значение каждого пикселя по отдельности редко представляет интерес ввиду неизбежного зашумления реального изображения, а также множественности форм искомых образов. Чтобы алгоритмы обладали устойчивостью к погрешностям, умению ухватить общий тренд.
Один из способов решения задачи распознавания образов – предварительно обработать изображение, и оставить только значимые точки, к которым будут применяться непосредственно алгоритмы распознавания.
Нейронные сети позволяют решать широ-
кий круг задач и представляют из себя структуру из нескольких слоев – искусственных нейронов (вычислительных элементов) и связей между ними [9, 10, 11]. Структура имитирует структуру и свойства организации нервной системы живых организмов (рис.6). Нейросеть получает на вход набор сигналов и на выходе выдает соответствующий ответ (выходные сигналы), которые описывают решение некоторой задачи (рис.7).
Соответственно на каждый нейрон входного слоя поступает сигнал, который умножается на соответствующий ему вес. Функция активации представляет собой либо пороговое значение, передающее на выход единичный сигнал, либо сигмоидальной функцией, которая преобразовывает значение суммы всех пришедших сигналов, в число, находящееся в диапазоне от 0 до 1.
По сравнению с линейными методами статистики, нейросети позволяют эффективно строить нелинейные зависимости, более точно описывающие наборы данных. Например, высокая нелинейность разделяющей поверхности наивного байесовского классификатора требует значительного суммарного числа примеров для возможности оценивания вероятностей при каждом сочетании интервалов значений переменных − тогда как нейросеть обучается на всей выборке данных, не фрагментируя её.
Для решения задач распознавания образов получили распространение свёрточные ИНС [26]. Свёрточные нейронные сети (CNN) строятся с учётом того, что вводные данные состоят из изображений (рис. 8). В отличие от обычной нейронной сети, слои CNN состоят из нейронов, расположенных в 3-х измерениях: ширине, высоте и глубине, т. е. измерениях, которые формируют объем.
В список стандартных задача, решаемых свёрточных ИНС, входят [25, 26]:
определение границ – самая низкоуровневая задача;
определение вектора к нормали – реконструкция трёхмерного изображение из двухмерного;
определение объектов внимания – это то, на что обратил бы внимание человек при рассмотрении этой картинки;
семантическая сегментация – разделение
объектов на классы по их структуре;
семантическое выделение границ – выделение границ, разбитых на классы;
выделение частей тела человека;
распознавание самих объектов – самая высокоуровневая задача.
Результаты работы
Разработка системы автоматизации анализа динамики изменения площади лесных насаж-
дений на основе методов автоматического распознавания образов осуществляется с использованием двух языков программирования: С#, Python. Данная система будет разработана для использования как онлайн сервис и как desktop приложение для стационарных компьютеров. На сегодняшний день нами разработана первая рабочая версия системы. На рис. 9 представлен интерфейс системы.
На данный момент система позволяет фиксировать следующие параметры:
определение пород деревьев;
определение объемов лесных участков, областей угнетения растительности;
выявление незаконных вырубок, гарей, заболоченных участков.
В настоящее время системы и методы распознавания образов являются одной из наиболее динамично развивающихся областей искусственного интеллекта. Существует множество подходов к распознаванию графических образов. Как правило, процесс распознавания сводится к реализации некоторого фильтра, обработки изображения с его помощью и получения так называемой свёртки, которая затем проходит процедуру классификации, например, с помощью нейронной сети. Важной особенностью такого подхода является возможность использования методов, изначально предназначенных для фильтрации изображения, в качестве способа организации свёртки. Наглядным примером могут получить спектральные методы фильтрации, такие, как Фурье-преобразование и вейвлет-анализ, которые могут быть использованы как для очистки изображения от шумов, так и для отображения его частотных и амплитудных характеристик.
Применение нейронных сетей при распознавании графических образов не ограничено лишь задачами классификации свёрток, полученных с помощью других методов. ИНС также способна организовывать свёртку изображения, для чего обычно используются специальные свёрточные нейронные сети, структура которых оптимизирована под обработку двумерных массивов данных.
Ведя работу над системой автоматизации анализа динамики изменения площади лесных насаждений мы планируем расширить ее возможности для проведения следующего анализа по следующим направлениям: классификация лесов по возрасту, выявление участков лесов зараженных пилильщиком, планирование лесного природопользования.
1. Gonzales, R. Digital image processing [Electronic resource]: monograph / R. Gonzales, R. woods. - Moscow: Technosphere, 2006. – 1072 p. 8. Mode of access: http://www.technosphera.ru/files/book_pdf/0/ book_311_455.pdf
2. Clearly explain the convolution operation in models of deep learning [Electronic resource]: electronic article // prog-Lib. 2018. Mode of access: https://proglib.io/p/convolution/
3. Maltsev A. A couple of words about pattern recognition [Electronic resource]: electronic article // Habr. 2014. Mode of access: https://habr.com/ru/post/208090/
4. Taranenko Yu. Wavelet analysis. Basics [Electronic resource] : electronic art // Hour. 2019. Mode of access: https://habr.com/ru/post/449646/
5. Yarmolenko A. S., Skopenko O. V. Application of the wavelets’ theory in compression and filtering of geographic information [Electronic resource]: electronic art // proceedings of the Mining Institute. 2018. no. URL: https://cyberleninka.ru/article/n/primenenie-teorii-veyvletov-pri-szhatii-i-filtratsii-geoinformatsii
6. Lowengart R. A. Remote sensing. Models and methods for image processing [Electronic resource]: monograph / R. A. Lowengart. - Moscow: Technosphere, 2010. — 560 p. Mode of access: http://www.geokniga.org/books/5231
7. Demakov N. V., Kuzovnikov A.V., Pashkov A. E., Anzhina V. A. signal filtering by wavelet transform [Electronic resource]: article // Siberian journal of science and technology. 2008. No. 3 (20). URL: https://cyberleninka.ru/article/n/ filtratsiya-signalov-s-pomoschyu-veyvlet-preobrazovaniya
8. Chernogorova Yu. V. Methods of pattern recognition [Electronic resource]: article // Young scientist. - 2016. - No. 28. - P. 40-43. - URL https://moluch.ru/archive/132/36964/
9. Zenin A.V. Analysis of pattern recognition methods [Electronic resource]: article // Young scientist. - 2017. - No. 16. - P. 125-130. - URL https://moluch.ru/archive/150/42393/
10. Potapov A. Pattern recognition and machine perception [Electronic resource]: monograph / Potapov A.. - St. Petersburg: Polytechnic. 2007. 548 p. Access mode: https://ailab.ru/resources/downloads/ teoreticheskie- materia-li/sistemi-raspoznavaniya-obrazov/doc_view/64-raspoznavanie-obrazo
11. Konkin Yu. V., Kolesenkov A. N. image Recognition based on textural features of Kharalik and artificial neural networks [Electronic resource]: article // Izvestiya Tulgu. Technical science.2016. No. 2. Mode of access: http://psta.psiras.ru/ read/psta2014_4_19-39.pdf
12. Shitova O. V., Pukhlyak A. N., A. E. M. Analysis of segmentation methods of textural regions of images in image processing systems [Electronic resource]: article // Scientific Bulletin of Belgorod state University. Series: Economics. Informatics.2014. No. 8-1 (179). URL: https://cyberleninka.ru/article/n/analiz-metodov-segmentatsii-teksturnyh-oblastey-izobrazheniy-v-sistemah-obrabotki-izobrazheniy
13. Fralenko V. P. Methods of t images’ extural analysis, data processing of remote sensing of the Earth [Electronic resource]: article // Program systems. 2014. No. 4 (22). Mode of access: http://psta.psiras.ru/read/psta2014_4_19-39.pdf
14. Strugailo V. V. Review of methods of filtering and segmentation of digital images [Electronic resource]: article // Moscow automobile and road state technical University, 2012. Pp. 270-281. Mode of access: http://masters.donntu.org/2014/fknt/metelytsia/library/article4.htm
15. Bardeen. B. V. Fast algorithm of median filtration [Electronic resource]: article // Scientific instrumentmaking, 2011, vol. 21, No 3, p. 135-13. Mode of access: http://iairas.ru/mag/2011/full3/Art16.pdf
16. Solovieva G. A. Application of the method of texture maps of Lava for detection of surface macrodefects [Electronic resource]: article // Volga scientific Bulletin. 2014. No. 9 (37). URL: https://cyberleninka.ru/article/n/primenenie-metoda-teksturnyh-kart-lavsa-dlya-obnaruzheniya-poverhnostnyh-makrodefektov
17. Shapiro L. Computer vision [Electronic resource]: monograph / Shapiro L., J. Stockman.: TRANS. from English. M.: BINOM. Knowledge laboratory, 2006. 752 s. access Mode: http://bookfi.net/book/1238216
18. Kutikova V. V., Gaidel A.V. Research of methods of selection of informative signs for the problem of recognition of textural images with the help of Lavs masks [Electronic resource]: article // Computer Optics, 2015, vol. 39, No5. Mode of access: http://www.computeroptics.smr.ru/KO/PDF/KO39-5/390515.pdf
19. Kolesenkov A. N., Fetisov D. V. Monitoring of subsoil use processes on the basis of aerospace images processing [Electronic resource]: article // Izvestiya Tulgu. Technical science. 2018. No. 2.URL: https://cyberleninka.ru/article/n/monitoring-protsessov-nedropolzovaniya-na-osnove-obrabotki-aerokosmicheskih-snimkov
20. Murzin F. A., Polovinko O. N., Lobiv I. V. Recognition of textures by spatial regularities [Electronic resource]: article // Institute of Informatics systems. A. P. Ershova. 2005. Mode of access: https://www.iis.nsk.su/files/articles/sbor_kas_10_murzin_ polovinko_lobiv.pdf
21. Prytkov V. A. method of texture recognition based on syntactic description [Electronic resource]: article // Reports of BSUIR. 2008. No. 4 (34). Mode of access: https://cyberleninka.ru/article/n/metod-raspoznavaniya-tekstur-na-osnove-sintaksicheskogo-opisaniya
22. Space monitoring in forest sector [Electronic resource]: article // to the hotel. 2014. Mode of access: https://sovzond.ru/files /bro%D1%81hure-forest.pdf
23. The reduction of forests [Electronic resource]: electronic art // Arabtech. Access mode: http://www.yarsovteh.ru/sokrashhenie-lesov.html
24. Methods of finding image boundaries [Electronic resource]: electronic article // Habr. 2011. Mode of access: https://habr.com/ru/post/128753/
25. Polovinkin P. N. Detectors and descriptors of key points. Image classification algorithms. The problem of object detection in images and methods of its solution [Electronic resource]: lecture // Nizhny Novgorod state University N. I. Lobachevsky. 2013. Mode of access: http://www.hpcc.unn.ru/file.php?id=760
26. Convolutional neural networks: an inside look [Electronic resource]: electronic article // DataSides.ru. 2017. Mode of access: http://ru.datasides.com/code/cnn-convolutional-neural-networks/
27. Zhadaev D. S., Kuzmenko A. A., Spasennov V. V. Peculiarities of neural network analysis of the level of preparation of students in the process of adaptive testing their professional competences // Bulletin of Bryansk state technical University. - 2019. - No. 2 (75). - P. 90-98.
