Брянск, Брянская область, Россия
Брянск, Брянская область, Россия
ГРНТИ 12.09 Развитие науки
Развитие технологий распознавания образов позволило автоматизировать множество видов деятельности, ранее во многом базирующихся не на возможностях технических средств и математического аппарата, а опыте и навыках занятых в этой деятельности людей. Предметом данной работы является применение технологий распознавания образов при обработке фотоснимков земной поверхности, а конкретно, лесных массивов.
автоматического распознавания образов, нейронные сети
Введение
Леса России составляют около 22 % от мирового запаса лесов. Площадь земель лесного фонда России до 2000 года составляла 69 % территории страны. В настоящее время эта цифра снизилась до отметки чуть более 40 % территории.
Скорость вырубки лесов в 18 раз выше скорости прироста деревьев [22].
Дистанционное зондирование Земли с помощью аэро- и космической съемки – эффективный способ мониторинга лесов. Космические снимки позволяют получить актуальную информацию о состоянии лесного покрова.
С помощью космического мониторинга можно решить ряд задач [23]:
определение пород деревьев;
классификация лесов по возрасту и пород-
ному составу;
определение видов и объемов лесных участков, областей угнетения растительности;
выявление незаконных вырубок, гарей, заболоченных участков;
планирование лесного природопользования.
С помощью данного типа мониторинга можно оперативно выявить различные нарушения: строительство в природоохранной зоне, незаконную вырубку лесов, техногенное загрязнение лесов. Методы аэрокосмического наблюдения могут использоваться для контроля территорий, густо засаженных лесными массивами.
Аэро- и космическая съемка с целью исследования лесных массивов – услуга, востребованная среди лесных хозяйств, экологических служб, государственных (включая надзорные)
органов.
Наша работа основана на применении тех-
нологий распознавания образов при обработке фотоснимков земной поверхности с летательных аппаратов.
В процессе распознавания образов можно выделить три ступени:
первичная обработка и фильтрация,
логическая оценка результатов фильтрации,
алгоритмы принятия решений [8].
Прежде чем заводить речь о методах распознавания образов, необходимо рассмотреть подготовительные этапы, делающих процесс распознавания более эффективным, а в некоторых случаях принципиально возможным. К группе фильтрации можно отнести методы, которые позволяют определить на изображении интересующие объекты, без предварительного анализа [8].
Свёртка – это математическая операция, применённая к двум функциям f и g, порождающая третью функцию [2]. Суть операции свёртки достаточно наглядно иллюстрируется на примере свёрточной нейронной сети. Имеется ядро – небольшая матрица весов. Это ядро «скользит» по двумерным входным данным, выполняя поэлементное умножение для той части данных, которую сейчас покрывает. Результаты перемножений ячеек суммируются в одном выходном пикселе (рис. 1).
В случае свёрточных НС ядро определяется в ходе обучения сети. Начальные веса могут иметь случайные значения и корректируются в процессе обучения [2].
Существует множество способов организации ядра свёртки.
Рассмотрим ниже основные методы, используемые нами в процессе разработки системы автоматизации анализа динамики изменения площади лесных насаждений на основе методов автоматического распознавания образов.
Методы и подходы
Методы фильтрации изображений
Пространственные методы фильтрации
Методы обработки в пространственной области относятся к плоскости изображения, как к таковой. Данная категория объединяет подходы, основанные на прямом манипулировании пикселами изображения.
Процессы пространственной обработки характеризуются уравнением [1]:
(1)
где:
– входное изображение; 
– обработанное изображение; - T – оператор над
в некоторой точке 
.
Линейная и медианная фильтрация.
При осуществлении линейной фильтрации отклик маски задается суммой произведений пикселей в области покрытия фильтра. В качестве линейного сглаживающего фильтра используется усредняющий фильтр выходным значением, которого является среднее значение по окрестности маски фильтра. Подобный фильтр используется для задач удаления зернистости изображения вызванной импульсным шумом.
Общая формула усредняющего фильтра, предназначенного для фильтрации изображения с размерами 
, имеет вид [14]:
(2)
где:
– элемент матрицы изображения после фильтрации; 
– элемент матрицы изображения после фильтрации размера 
; 
– элемент матрицы исходного изображения.
Известны линейные алгоритмы выделения границ. В качестве первых можно привести маски, похожие на те, которые используются в линейной фильтрации. Разница в том, что для выделения границ используются весовые коэффициенты разных знаков, как положительные, так и отрицательные [24].
Спектральные методы фильтрации
Преобразование Фурье было описано французским математиком Жаном Батистом Жозефом Фурье в 1822 году в его книге «Аналитическая теория тепла» [1]. Сущность преобразования состоит в том, что любая функция, периодически воспроизводящая свои значения (например, синусоида), может быть представлена в виде суммы синусов/косинусов различных частот, умноженных на некоторые коэффициенты (рис. 6). Эта сумма носит название «ряд Фурье». Когда функция не является периодической, но площадь под её графиком конечна, она может быть выражена в виде интеграла от синуса/косинуса, умноженного на некоторую весовую функцию.
Пирамиды изображений и многомасштабная фильтрация послужили основой для разработки вейвлет-преобразования. Первое упоминание об этом преобразовании в научной литературе появилось в 1984 году (Grossman и Morlet, 1984) [6].
На рис.3 приведён пример обработки изображения вейвлетом DoG при различных уровнях разрешения. Результатом преобразования становится изображение, состоящее из гауссиан.
Для анализа данных, получаемых с камер, устанавливаемых на летательных аппаратах, широко применяются методы текстурного анализа [6]. Под текстурой подразумевается связная область элементов цифрового изображения, визуально передающая характер поверхности исходной сцены [21]. Для описания текстур используются спектральные, структурные и статистические характеристики.
При структурном подходе текстура рас-
сматривается, как совокупность примитивных элементов – текселов (от англ. Texture element), расположенных в некотором повторяющемся порядке [21]. Текселам сопоставляется символьное или численное описание, которое отличается чувствительностью к шумовым искажениям и плохо подходит для анализа текстур с неявно выраженными периодическими свойствами (в первую очередь реальных изображений) [12].
Статистические методы предполагают использование матриц смежности. Матрица смежности описывает пространственные связи пар значений характеристик текстуры, и представляет собой статистическую сигнатуру текстуры. Статистические методы позволяют работать с большим числом характеристик и дают высокодетализированную сегментацию, что, несмотря на высокую ресурсоёмкость вычислительного процесса, даёт наибольший объём информации при работе с реальными изображениями [6].
Спектральные методы анализа основаны на спектре Фурье и вейвлетанализе. Преобразование Фурье следует рассматривать как разложение сигнала на частотную и амплитудную составляющие, то есть обратимый переход от временного в частотное пространство. В случае вейвлета-анализа осуществляется разложение сигнала по базисным функциям
(вейвлетам), которые строятся на основе порождающего вейвлета с использованием операций сдвига и масштабирования [6]. Особенностью таких этих методов является повторяемость результатов при масштабировании текстуры [12].
Данный метод основан на теореме Байеса и определении априорных вероятностей, то есть вероятность исходов или принадлежности объекта определенному классу изменяется после получения новых экспертных оценок. Появление того или иного образа является случайным событием и вероятность этого события можно описать с помощью закона распределения вероятностей многомерной случайной величины в той или иной форме [9].
Американским информатиком Робертом Хараликом был предложен способ описания текстур на основе характеристик матриц вхождений , рассчитываемых по изображению. Каждая матрица вхождений описывает структуру текстуры в соответствующем направлении от одного края изображения к другому. По результатам расчета характеристик матриц составляется вектор текстурных признаков изображения, которые могут рассматриваться как характеристики текстуры, покрывающей каждый пиксель изображения [11] (рис. 4).
Статистические методы анализа текстурных областей изображений. При статистическом подходе к анализу текстурных областей изображения трактуются как реализации некоторого случайного процесса [12].
Статистический текстурный анализ осно-
ван на вычислении матриц смежности, которые учитывают как уровни яркости отсчётов, так и относительное расположение отсчетов с определенной яркостью на изображении. Матрица смежности описывает пространственные связи пар значений характеристик текстуры, Отсчеты двумерной матрицы смежности для изображения показывают оценку вероятности совместного появления на изображении на расстояния друг от друга, задаваемом определенным вектором смещения отсчетов, с соответственными значениями уровней яркости [12].
Основной идеей, на которой основан метод текстурных характеристик Лавса, является оценка изменения содержания текстуры в пределах окна фиксированного размера. Для вычисления энергетических характеристик используется набор из 16 масок размерами 5x5. При составлении масок Лавса используются 4 вектора [17]:
- – уровень;
- – край;
- – пятно;
- – рябь;
Двумерные маски вычисляются умножением пар векторов.
В результате предварительной обработки
формируется изображение, на котором средняя интенсивность каждой пиксельной окрестности близка к 0. После предварительной обработки к полученному изображению применяется каждая из шестнадцати масок и формируется шестнадцать отфильтрованных изображений.
Метод Лавса показывает достаточно высокую точность при решении задачи классификации изображений. В работе [18] с помощью масок Лавса были обработаны изображения камня, песка, риса полученные данные исследования показали, что вероятность ошибочной классификации в этом случае в два и более раза меньше, чем вероятность ошибки, полученной при отборе признаков с помощью критерия дискриминантного анализа или
t-критерия Стьюдента.
В работе [16] метод Лавса был применён для обнаружения дефектов, например,
Структурные методы
Корреляция – статистическая взаимосвязь нескольких случайных величин, либо величин, с некоторой допустимой степенью точности считающихся таковыми [19].
В работе [20] было произведено несколько опытов для определения эффективности метода АКФ. Результат одного из них приведён на рис.5.
При использовании сравнений автокорреляционных функций точность вытирания текстуры составила 83 — 100 % [12, 19, 20].
В задачах распознавания объектов значение каждого пикселя по отдельности редко представляет интерес ввиду неизбежного зашумления реального изображения, а также множественности форм искомых образов. Чтобы алгоритмы обладали устойчивостью к погрешностям, умению ухватить общий тренд.
Один из способов решения задачи распознавания образов – предварительно обработать изображение, и оставить только значимые точки, к которым будут применяться непосредственно алгоритмы распознавания.
Нейронные сети позволяют решать широ-
кий круг задач и представляют из себя структуру из нескольких слоев – искусственных нейронов (вычислительных элементов) и связей между ними [9, 10, 11]. Структура имитирует структуру и свойства организации нервной системы живых организмов (рис.6). Нейросеть получает на вход набор сигналов и на выходе выдает соответствующий ответ (выходные сигналы), которые описывают решение некоторой задачи (рис.7).
Соответственно на каждый нейрон входного слоя поступает сигнал, который умножается на соответствующий ему вес. Функция активации представляет собой либо пороговое значение, передающее на выход единичный сигнал, либо сигмоидальной функцией, которая преобразовывает значение суммы всех пришедших сигналов, в число, находящееся в диапазоне от 0 до 1.
По сравнению с линейными методами статистики, нейросети позволяют эффективно строить нелинейные зависимости, более точно описывающие наборы данных. Например, высокая нелинейность разделяющей поверхности наивного байесовского классификатора требует значительного суммарного числа примеров для возможности оценивания вероятностей при каждом сочетании интервалов значений переменных − тогда как нейросеть обучается на всей выборке данных, не фрагментируя её.
Для решения задач распознавания образов получили распространение свёрточные ИНС [26]. Свёрточные нейронные сети (CNN) строятся с учётом того, что вводные данные состоят из изображений (рис. 8). В отличие от обычной нейронной сети, слои CNN состоят из нейронов, расположенных в 3-х измерениях: ширине, высоте и глубине, т. е. измерениях, которые формируют объем.
В список стандартных задача, решаемых свёрточных ИНС, входят [25, 26]:
определение границ – самая низкоуровневая задача;
определение вектора к нормали – реконструкция трёхмерного изображение из двухмерного;
определение объектов внимания – это то, на что обратил бы внимание человек при рассмотрении этой картинки;
семантическая сегментация – разделение
объектов на классы по их структуре;
семантическое выделение границ – выделение границ, разбитых на классы;
выделение частей тела человека;
распознавание самих объектов – самая высокоуровневая задача.
Результаты работы
Разработка системы автоматизации анализа динамики изменения площади лесных насаж-
дений на основе методов автоматического распознавания образов осуществляется с использованием двух языков программирования: С#, Python. Данная система будет разработана для использования как онлайн сервис и как desktop приложение для стационарных компьютеров. На сегодняшний день нами разработана первая рабочая версия системы. На рис. 9 представлен интерфейс системы.
На данный момент система позволяет фиксировать следующие параметры:
определение пород деревьев;
определение объемов лесных участков, областей угнетения растительности;
выявление незаконных вырубок, гарей, заболоченных участков.
В настоящее время системы и методы распознавания образов являются одной из наиболее динамично развивающихся областей искусственного интеллекта. Существует множество подходов к распознаванию графических образов. Как правило, процесс распознавания сводится к реализации некоторого фильтра, обработки изображения с его помощью и получения так называемой свёртки, которая затем проходит процедуру классификации, например, с помощью нейронной сети. Важной особенностью такого подхода является возможность использования методов, изначально предназначенных для фильтрации изображения, в качестве способа организации свёртки. Наглядным примером могут получить спектральные методы фильтрации, такие, как Фурье-преобразование и вейвлет-анализ, которые могут быть использованы как для очистки изображения от шумов, так и для отображения его частотных и амплитудных характеристик.
Применение нейронных сетей при распознавании графических образов не ограничено лишь задачами классификации свёрток, полученных с помощью других методов. ИНС также способна организовывать свёртку изображения, для чего обычно используются специальные свёрточные нейронные сети, структура которых оптимизирована под обработку двумерных массивов данных.
Ведя работу над системой автоматизации анализа динамики изменения площади лесных насаждений мы планируем расширить ее возможности для проведения следующего анализа по следующим направлениям: классификация лесов по возрасту, выявление участков лесов зараженных пилильщиком, планирование лесного природопользования.
1. Гонзалес, Р. Цифровая обработка изображений [Электронный ресурс] : монография / Р. Гонзалес, Р. Вудс. – М. : Техносфера, 2006. – 1072 с. 8. Режим доступа: http://www.technosphera.ru/files/book_pdf/0/book_311_455.pdf
2. Наглядно объясняем операцию свертки в моделях глубокого обучения [Электронный ресурс] : электронная статья // progLib. 2018. Режим доступа: https://proglib.io/p/convolution/
3. Мальцев А. Пару слов о распознавании образов [Электронный ресурс] : электронная статья // Хабр. 2014. Режим доступа: https://habr.com/ru/post/208090/
4. Тараненко Ю. Вейвлет – анализ. Основы [Электронный ресурс] : электронная статья // Хаюр. 2019. Режим доступа: https://habr.com/ru/post/449646/
5. Ярмоленко А.С., Скобенко О.В. Применение теории вейвлетов при сжатии и фильтрации геоинформации [Электронный ресурс]: электронная статья // Записки Горного института. 2018. №. URL: https://cyberleninka.ru/article/n/primenenie-teorii-veyvletov-pri-szhatii-i-filtratsii-geoinformatsii
6. Шовенгердт Р.А. Дистанционное зондирование. Модели и методы обработки изображений [Электронный ресурс]: монография / Р. А. Шовенгердт. - М.: Техносфера, 2010. — 560 с. Режим доступа: http://www.geokniga.org/books/5231
7. Демаков Н. В., Кузовников А. В., Пашков А. Е., Анжина В. А. Фильтрация сигналов с помощью вейвлет-преобразования [Электронный ресурс]: статья // Сибирский журнал науки и технологий. 2008. №3 (20). URL: https://cyberleninka.ru/article/n/filtratsiya-signalov-s-pomoschyu-veyvlet-preobrazovaniya
8. Черногорова Ю. В. Методы распознавания образов [Электронный ресурс]: статья // Молодой ученый. — 2016. — №28. — С. 40-43. — URL https://moluch.ru/archive/132/36964/
9. Зенин А. В. Анализ методов распознавания образов [Электронный ресурс]: статья // Молодой ученый. — 2017. — №16. — С. 125-130. — URL https://moluch.ru/archive/150/42393/
10. Потапов А. Распознавание образов и машинное восприятие [Электронный ресурс]: монография / Потапов А. – СпБ: Политехника. 2007. 548 с. Режим доступа: https://ailab.ru/resources/downloads/ teoreticheskie-materiali/sistemi-raspoznavaniya-obrazov/doc_view/64-raspoznavanie-obrazo
11. Конкин Ю.В., Колесенков А.Н. Распознавание изображений на основе текстурных признаков Харалика и искусственных нейронных сетей [Электронный ресурс]: статья // Известия ТулГУ. Технические науки. 2016. №2. Режим доступа: http://psta.psiras.ru/read/psta2014_4_19-39.pdf
12. Шитова О. В., Пухляк А. Н., Дроб Е. М. Анализ методов сегментации текстурных областей изображений в системах обработки изображений [Электронный ресурс]: статья // Научные ведомости Белгородского государственного университета. Серия: Экономика. Информатика. 2014. №8-1 (179). URL: https://cyberleninka.ru/article/n/analiz-metodov-segmentatsii-teksturnyh-oblastey-izobrazheniy-v-sistemah-obrabotki-izobrazheniy
13. Фраленко В.П. Методы текстурного анализа изображений, обработка данных дистанционного зондирования Земли [Электронный ресурс]: статья // Программные системы. 2014. №4(22). Режим доступа: http://psta.psiras.ru/read/psta2014_4_19-39.pdf
14. Стругайло В.В. Обзор методов фильтрации и сегментации цифровых изображений [Электронный ресурс]: статья // Московский автомобильно-дорожный государственный технический университет, 2012. — С. 270–281. Режим доступа: http://masters.donntu.org/2014/fknt/metelytsia/library/article4.htm
15. Бардин. Б.В. Быстрый алгоритм медианной фильтрации [Электронный ресурс]: статья // Научное приборостроение, 2011, том 21, No 3,c. 135–13. Режим доступа: http://iairas.ru/mag/2011/full3/Art16.pdf
16. Соловьева Г.А. Применение метода текстурных карт Лавса для обнаружения поверхностных макродефектов [Электронный ресурс]: статья // Приволжский научный вестник. 2014. №9 (37). URL: https://cyberleninka.ru/article/n/primenenie-metoda-teksturnyh-kart-lavsa-dlya-obnaruzheniya-poverhnostnyh-makrodefektov
17. Шапиро Л. Компьютерное зрение [Электронный ресурс]: монография / Шапиро Л., Стокман Дж.: Пер. с англ. М.: БИНОМ. Лаборатория знаний, 2006. 752 с. Режим доступа: http://bookfi.net/book/1238216
18. Кутикова В.В., Гайдель А.В. Исследование методов отбора информативных признаков для задачи распознавания текстурных изображений с помощью масок Лавса [Электронный ресурс]: статья // Компьютерная оптика, 2015, том 39, No5. Режим доступа: http://www.computeroptics.smr.ru/KO/PDF/KO39-5/390515.pdf
19. Колесенков А. Н., Фетисов Д. В. Мониторинг процессов недропользования на основе обработки аэрокосмических снимков [Электронный ресурс]: статья // Известия ТулГУ. Технические науки. 2018. №2. URL: https://cyberleninka.ru/article/n/monitoring-protsessov-nedropolzovaniya-na-osnove-obrabotki-aerokosmicheskih-snimkov
20. Мурзин Ф.А., Половинко О.Н., Лобив И.В. Распознавание текстур по пространственным закономерностям [Электронный ресурс]: статья // Институт систем информатики им. А.П. Ершова. 2005. Режим доступа: https://www.iis.nsk.su/files/articles/sbor_kas_10_murzin_polovinko_lobiv.pdf
21. Прытков В.А. Метод распознавания текстур на основе синтаксического описания [Электронный ресурс]: статья // Доклады БГУИР. 2008. №4 (34). Режим доступа: https://cyberleninka.ru/article/n/metod-raspoznavaniya-tekstur-na-osnove-sintaksicheskogo-opisaniya
22. Космический мониторинг в лесном хозяйстве [Электронный ресурс]: статья // Совзонд. 2014. Режим доступа: https://sovzond.ru/files/bro%D1%81hure-forest.pdf
23. Сокращение лесов [Электронный ресурс]: электронная статья // Ярсовтех. Режим доступа: http://www.yarsovteh.ru/sokrashhenie-lesov.html
24. Методы нахождения границ изображения [Электронный ресурс]: электронная статья // Хабр. 2011. Режим доступа: https://habr.com/ru/post/128753/
25. Половинкин П.Н. Детекторы и дескрипторы ключевых точек. Алгоритмы классификации изображений. Задача детектирования объектов на изображениях и методы её решения [Электронный ресурс]: лекция // Нижегородский государственный университет им. Н.И. Лобачевского. 2013. Режим доступа: http://www.hpcc.unn.ru/file.php?id=760
26. Свёрточные нейронные сети: взгляд изнутри [Электронный ресурс]: электронная статья // DataSides.ru. 2017. Режим доступа: http://ru.datasides.com/code/cnn-convolutional-neural-networks/
27. Жадаев Д.С., Кузьменко А.А., Спасенников В.В. Особенности нейросетевого анализа уровня подготовки студентов в процессе адаптивного тестирования их профессиональных компетенций // Вестник Брянского государственного технического университета. – 2019. - №2(75). – С. 90-98.
