The article discusses the methodological aspects of creating artificial neural network (ANN) for detecting and classifying vehicles on monochrome images taken from an unmanned aerial vehicle (UAV). A brief mathematical description of the ANN, training parameters and methods of processing monochrome images and forming a training sample are given.
artificial neural networks, object class recognition, vehicle recognition, detection on monochrome images
В последнее десятилетие происходит активное внедрение технологий компьютерного зрения во многие сферы деятельности. Так, в связи с внедрением концепции «Умный город» и увеличением транспортного потока для управления транспортной сетью крупных городов требуются системы автоматического детектирования и контроля трафика на дорогах [1-5]. На данный момент в крупных городах за автомобильными дорогами ведется круглосуточное видеонаблюдение, как с помощью стационарных фото-, видеокамер, так и с помощью фото- и видеокамер, размещаемых на беспилотных летательных аппаратах, и осуществляется автоматическое детектирование и классификация транспортных средств с высокой достоверностью. Но широкое применение данных систем ограничивается высокой стоимостью оборудования и сопутствующей инфраструктуры хранения, передачи, обработки и защиты информации [6-11]. Одним из направлений удешевления процесса внедрения систем автоматического детектирования и контроля транспортных средств на дорогах является реализация в системах фото- и видеонаблюдения методов детектирования и классификации по монохромным изображениям, достоверность результатов которых будет соответствовать достоверности, получаемой при обработке цветных фото- и видеоизображений. Это позволит значительно сократить расходы, как на аппаратуру видеонаблюдения, так и на сопутствующую инфраструктуру, необходимую для обеспечения хранения и обработки и передачи изображений [12-18].
Таким образом, целью настоящей работы является определение архитектуры ИНС и методов её обучения для детектирования и классификации транспортных средств на дорогах по оптическим монохромным снимкам, снятым с БЛА на ближней и средней дистанциях (от 40 до 300 метров) с различных ракурсов с достоверностью распознавания класса, сопоставимой с получаемой при детектировании по цветным снимкам.
В настоящее время активно проводятся исследования в области детектирования и классификации транспортных средств. Например, в работе [19] предлагается система по распознаванию транспортных средств на основе сверточной ИНС R-CNN [20]. В ней в качестве источника данных использованы цветные изображения, снятые с БЛА. В данной работе получены достаточно хорошие результаты при классификации транспортных средств, однако в случае если на изображении не подобран масштаб, т.е. съемка осуществляется с фиксированной высоты, то распознавание осуществляется некорректно и учащаются ложноположительные ошибки, когда вместо транспортных средств распознаются элементы домов. В работе [21] автор сравнивает три способа детектирования целей: с помощью смеси Гауссовых распределений (MOG – Mixture of Gaussian), с помощью сверточной нейронной GoogLeNet и с помощью HOG (histogram of oriented gradients). В данной работе получены высокие значения достоверности распознавания для первых двух используемых методов (96 и 94% соответственно), однако наблюдение за транспортными средствами происходит на цветных изображениях под фиксированным углом, с обзором только на дорогу. В работе [22] авторы исследовали алгоритмы детектирования транспорта на дорогах для дальнейшего распознавания номеров машины с помощью библиотеки алгоритмов обработки изображений – OpenCV. У авторов удалось получить невысокую точность (70%) распознавания, которая связана с тем, что обычные алгоритмы обработки изображений значительно проигрывают ИНС при решении задач классификации. Кроме этого, как и в предыдущей работе, обзор за транспортными средствами проводился на цветных оптических изображениях под фиксированным углом с помощью стационарной камеры.
Анализ работ в области детектирования и классификации транспортных средств на дорогах показал, что, хотя и существует множество решений для детектирования транспортных средств, все они реализованы только для цветных изображений с привязкой к ракурсу и высоте наблюдения за объектами. Кроме этого, проведенный анализ существующих методов распознавания показал, что ИНС со сверточной архитектурой при обработке фото- и видеоматериалов дают достоверность классификации значительно выше, чем обычные алгоритмы обработки изображений. Исходя из вышеизложенного, для решения задачи детектирования и классификации транспортных средств на дорогах по черно-белым снимкам, полученным с БЛА, целесообразно использовать ИНС со сверточной архитектурой.
В качестве методической основы решения задачи детектирования и классификации транспортных средств на дорогах по монохромным снимкам, полученным с БЛА, использованы инструменты программного продукта MATLAB – Image and Video Ground Truth Labeling и готовая архитектура нейронной сети по детектированию объектов на изображениях: ACF-detector, из пакета Deep Learning Toolbox.
Для обучения ИНС детектирования и классификации транспортных средств, на этапе подготовки исходных данных, было получено 245 305 монохромных изображений разрешением 1024х512 пикселей на различных высотах и с различных углов обсервации. Так как интерес представляют только снимки, снятые с БЛА на ближней и средней дистанциях, то из исходных данных были исключены изображения, на которых были сняты транспортные средства, либо слишком близко, либо слишком далеко. В итоге было получено 48 935 изображений.
Далее для решения задачи детектирования объектов была проведена разметка изображений транспортные средства на изображениях. Пример разметки приведен на рис. 1.
|
|
|
Рис. 1. Пример разметки изображения
На данном изображении показана разметка 2-х классов транспортных средств: легкового и грузового автотранспорта. Также произведена семантическая сегментация на дороги и остальную область (леса, поля, дома и т.д.). Данные о разметке записаны в структуре Ground Truth, рамки размеченных объектов представлены в виде целочисленного вектора - [left bottom width height], т.е. координата левой нижней точки рамки и ширина, и высота самой рамки. Таким образом, на данном этапе размечено всего 620 изображений.
На предварительном этапе детектирования был использован детектор ACF Object detector [23], так как он имеет простую архитектуру, вследствие чего имеет низкие требования к вычислительным ресурсам компьютера, что позволило сократить время на проверку гипотез. Структура детектирования для детектора ACF Object detector представлена на рис. 2.
Рис. 2. Структура детектирования для ACF Object detector
Было проведено обучение выбранного детектора. В случае с ACF Object detection, полученная обучающая выборка подавалась на вход функции в форме таблицы, где в первом столбце указывался двумерный массив с координатами рамок объектов, а во втором столбце – путь к исходному изображению. Для учета правильности детектирования и классификации объектов в качестве численной метрики была выбрана метрика Recall:
(1)
где TP – количество истинно-положительных результатов;
FN – количество ложноотрицательных результатов.
Обучение детектора осуществлялось итеративно по стадиям, с различными размерами обучающей выборки: размера 320, 480 и 620 изображений. Наибольшая точность была получена для выборки из 620 изображений на 6 стадиях.
|
|
|
|
|
|
Рис. 3. Полученные результаты детектирования машин на оптических изображениях
В результате при тестировании на изображениях, не вошедших в обучающую выборку, было получено значение метрики Recall равное 0,51. При тестировании было выявлено, что в среднем детектируется половина объектов на изображении, однако классификация происходит с высокой достоверностью – порядка 94%. А относительно невысокий процент правильного детектирования связан с тем, что на данный момент выборка имеет весьма скромный размер, а также из-за того, что съемка происходит с БЛА, и в процессе съемки возникают дополнительные помехи из-за движения объектов наблюдения, такие как размытие изображения при движении. В случаях со съемкой со стационарной камеры такие помехи будут возникать реже.
В дальнейшем, для повышения точности детектирования транспортных средств, планируется увеличить размер обучающей выборки и снизить помехи при съемке объектов в движении с использованием подходов, изложенных в [24-30]. Расширение обучающей выборки предполагается провести путем кадрирования имеющихся изображений до размеров 512х1024 до 256х256. Обрезка изображений позволит значительно увеличить размер обучающей выборки и исключить элементы, не подходящие для детектирования (дома, леса, водоёмы). При этом необходимые признаки окружающей среды будут по-прежнему учитываться (признаки дороги). Кроме этого, уменьшение изображений позволит значительно уменьшить время обучения.
Таким образом, результаты исследования доказали принципиальную возможность обеспечения детектирования и классификации транспортных средств на дорогах по оптическим монохромным снимкам, снятым с БЛА на ближней и средней дистанциях с различных ракурсов с достоверностью распознавания класса, сопоставимой с получаемой при детектировании по цветным снимкам.
1. Gubenko A.V., Sazykin A.M. Teoreticheskie osnovy sozdaniya sistem podderzhki prinyatiya resheniy v interesah kompleksnoy transportnoy bezopasnosti // Izvestiya Rossiyskoy akademii raketnyh i artilleriyskih nauk. - 2015. - № 3 (88). - S. 10-15.
2. Barabanov V.V., Anisimov V.G., Anisimov E.G. Metod optimizacii resheniy po organizacii logisticheskih processov // V sbornike: Logistika: sovremennye tendencii razvitiya: Materialy XVII Mezhdunarodnoy nauchno-prakticheskoy konferencii. - 2018. - S. 52-56.
3. Solohov I.V. Problemy nauchno-metodicheskogo obespecheniya mezhvedomstvennogo informacionnogo vzaimodeystviya // Voennaya mysl'. - 2017. - № 12. - S. 45-51.
4. Bogoeva E.M., Gar'kushev A.Yu., Sazykin A.M. Osnovy postroeniya modeley intellektualizacii v sistemah bezopasnosti // Voprosy oboronnoy tehniki. Seriya 16: Tehnicheskie sredstva protivodeystviya terrorizmu. - 2014. - № 9-10 (75-76). - S. 22-27.
5. Tebekin A.V. Sposob formirovaniya kompleksnyh pokazateley kachestva innovacionnyh proektov i programm // Zhurnal issledovaniy po upravleniyu. - 2018. - T. 4. № 11. S. 30-38.
6. Anisimov V.G. Problema innovacionnogo razvitiya sistem obespecheniya informacionnoy bezopasnosti v sfere transporta // Problemy informacionnoy bezopasnosti. Komp'yuternye sistemy. 2017. № 4. S. 27-32.
7. Zegzhda P.D. Modeli i metod podderzhki prinyatiya resheniy po obespecheniyu informacionnoy bezopasnosti informacionno-upravlyayuschih sistem / P.D. Zegzhda [i dr.] // Problemy informacionnoy bezopasnosti. Komp'yuternye sistemy. - 2018. - № 1. S. 43-47.
8. Anisimov V.G., Anisimov E.G., Chernysh A.Ya. Effektivnost' investiciy. Metodologicheskie i metodicheskie osnovy.- Moskva: Voennaya Ordena Lenina, Krasnoznamennaya, Ordena Suvorova Akademiya General'nogo shtaba Vooruzhennyh sil Rossiyskoy Federacii, 2006. - 123 s.
9. Tebekin A.V. Metodicheskiy podhod k modelirovaniyu processov formirovaniya planov innovacionnogo razvitiya predpriyatiy // Zhurnal issledovaniy po upravleniyu. - 2019. - T. 5. - № 1. - S. 65-72.
10. Anisimov V.G. Analiz i ocenivanie effektivnosti investicionnyh proektov v usloviyah neopredelennosti. Moskva: Voennaya akademiya General'nogo shtaba Vooruzhennyh sil Rossiyskoy Federacii; 2006. 288 s.
11. Tebekin A.V. Evolyucionnaya model' prognoza chastnyh pokazateley innovacionnyh proektov (na primere tehnicheskih innovaciy) / A.V. Tebekin, T.N. Saurenko [i dr.] // Zhurnal issledovaniy po upravleniyu. - 2019. - T. 5. - № 6. - S. 55-61.
12. Zegzhda P.D. Metodicheskiy podhod k postroeniyu modeley prognozirovaniya pokazateley svoystv sistem informacionnoy bezopasnosti / P.D. Zegzhda, A.F. Suprun [i dr.] // Problemy informacionnoy bezopasnosti. Komp'yuternye sistemy. 2019. № 4. S. 45-49.
13. Tebekin A.V. Metodika sravnitel'noy ocenki innovacionnyh proektov po sovokupnosti kolichestvennyh pokazateley // Zhurnal issledovaniy po upravleniyu. 2019. T. 5. № 5. S. 84 - 90.
14. Zegzhda P.D. Model' optimal'nogo kompleksirovaniya meropriyatiy obespecheniya informacionnoy bezopasnosti // Problemy informacionnoy bezopasnosti. Komp'yuternye sistemy. 2020. № 2. S. 9-15.
15. Tebekin A.V. Model' sravnitel'noy ocenki innovacionnyh proektov po sovokupnosti kachestvennyh pokazateley // Zhurnal issledovaniy po upravleniyu. 2019. T. 5. № 4. S. 77-83.
16. Zegzhda P.D. Effektivnost' funkcionirovaniya komp'yuternoy seti v usloviyah vredonosnyh informacionnyh vozdeystviy // Problemy informacionnoy bezopasnosti. Komp'yuternye sistemy. 2021. № 1 (45). S. 96-101.
17. Tebekin A.V. Model' prognoza stoimosti i srokov modernizacii promyshlennyh predpriyatiy // Zhurnal issledovaniy po upravleniyu. 2019. T. 5. № 3. S. 31-37.
18. Anisimov V.G. Ocenka effektivnosti sistem zaschity komp'yuternyh setey ot virusnyh atak // Problemy informacionnoy bezopasnosti. Komp'yuternye sistemy. 2022. № 1 (49). S. 11-17.
19. Polischukov, R.M. Raspoznavanie transportnyh sredstv v potokovom video s mashinnym obucheniem [Tekst] / R.M. Polischukov // Aktual'nye issledovaniya. - 2020. - №8 (11). - S. 20-24.
20. R-CNN - Neural Network for Object Detection and Semantic Segmentation // https://neurohive.io: ezhedn. internet-izd. 2018. 29 noya. URL: https://neurohive.io/en/popular-networks/r-cnn/ (data obrascheniya: 20.03.2022).
21. Epifanov V.A. Primenenie metodov iskusstvennogo intellekta i mashinnogo zreniya v zadache detektirovaniya dvizheniya dlya dal'neyshego opredeleniya dinamicheskih harakteristik transportnyh potokov // Evraziyskiy Soyuz Uchenyh. 2019. №4. S. 25-32.
22. Terehin A.D., Kinderkneht S.V. Otslezhivanie obrazov v videopotoke real'nogo vremeni // Prikladnaya matematika i voprosy upravleniya. 2018. №3. S. 100-106.
23. Train ACF object detector // https://www.mathworks.com URL: https://www.mathworks.com/help/vision/ref/trainacfobjectdetector.html (data obrascheniya: 22.04.2022).
24. Melnikova A.A., Krylov A.S. Computer analysis and restoration of motion blurred images // Computer analysis and restoration of motion blurred images. Tomsk: 2018. S. 262-265.
25. Anton Boytsov, Peter Gladilin Separating real-world photos from computer graphics: comparative study of classification algorithms // Procedia Computer Science. 2020. №178. S. 320-327.
26. Saurenko T.N. Matematicheskie modeli prognozirovaniya ekologicheskoy ugrozy tehnogennyh avariy i katastrof v sostave integrirovannyh sistem bezopasnosti regiona / T.N. Saurenko [i dr.] // Tehnologii grazhdanskoy bezopasnosti. 2019. T. 16. № 3 (61). S. 62-67.
27. Zegzhda P.D. Model' i metod optimizacii vychislitel'nyh processov v vychislitel'nyh sistemah s parallel'noy arhitekturoy // Problemy informacionnoy bezopasnosti. Komp'yuternye sistemy. 2018. № 4. S. 78-85.
28. Anisimov V.G., Saurenko T.N., Anisimov E.G., Kasatkin V.V., Los' V.P. Information security incident forecasting // Automatic Control and Computer Sciences. 2021. T. 55. № 8. S. 903-907.
29. Gar'kushev A.Yu. Metodologicheskie osnovy postroeniya pokazateley effektivnosti kontrol'noy deyatel'nosti organov gosudarstvennoy vlasti // Voprosy oboronnoy tehniki. Seriya 16: Tehnicheskie sredstva protivodeystviya terrorizmu. 2015. № 3-4 (81-82). S. 17-20.
30. Kvasnov A.V., Shkodyrev V.P., Arsen'ev D.G. Vysokotochnye modeli raspoznavaniya ob'ektov na osnove rekurrentnyh bayesovskih algoritmov // Upravlenie v aerokosmicheskih sistemah. SPb.: Koncern CNII "Elektropribor", 2018.
31. Svidetel'stvo 2018612744 RF. Svidetel'stvo o registracii programmy dlya EVM. Programma otozhdestvleniya ob'ektov, poluchennyh besprovodnymi datchikami i sredstvami telemetrii / V.P. Shkodyrev, A.V. Kvasnov; pravoobladatel' FGAOU VO SPBPU (RU). - № 2018610118; zayavka 09.01.18; opublikovano 26.02.18, Reestr programm dlya EVM. - 1 s.
