Московский физико-технический институт (государственный университет)
Московский Государственный Технический Университет Имени Н. Э. Баумана
ГРНТИ 50.07 Теоретические основы вычислительной техники
ББК 3297 Вычислительная техника
Камеры дальнего инфракрасного диапазона позволяют повысить ситуационную осведомлённость экипажа в условиях ограниченной видимости и в ночное время. Подобные камеры устанавливаются на современные гражданские самолёты в составе системы улучшенного видения. При этом интерпретация тепловизионного изображения экипажем для верной оценки текущей ситуации требует определённого опыта в силу того, что вид сцены в инфракрасном диапазоне сильно отличается от видимого диапазона и подвержен изменениям при смене времени суток и времён года. В данной работе рассматривается глубокая генеративно-состязательная нейронная сеть для автоматического преобразования тепловизионных изображений в семантически подобные цветные изображения видимого диапазона.
визуализация, глубокие свёрточные нейронные сети, индикатор пилота, визуальная аналитика
1. Berg Amanda, Ahlberg Jorgen, Felsberg Michael. Generating Visible Spectrum Images From Thermal Infrared // The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. — 2018. — June.
2. Arthur Jarvis J., Norman R. Michael, Kramer Lynda J. et al. Enhanced vision flight deck technology for commercial aircraft lowvisibility surface operations. — 2013. — Access mode: https://doi.org/10.1117/12.2016386.
3. Generative adversarial nets / Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza et al. // Advances in neural information processing systems. — 2014. — P. 2672–2680.
4. Image-to-Image Translation with Conditional Adversarial Networks / Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A Efros // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — IEEE, 2017. — P. 5967– 5976.
5. Kniaz V. V., Bordodymov A. N. LONG WAVE INFRARED IMAGE COLORIZATION FOR PERSON RE-IDENTIFICATION // ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. — 2019. — Vol. XLII-2/W12. — P. 111–116. — Access mode: https://www.int-arch-photogramm-remote-sens-spatialinf-sci.net/XLII-2-W12/111/2019/.
6. Knyaz Vladimir. Multimodal data fusion for object recognition. — Vol. 110590. — 2019. — P. 110590P. — Access mode: https://doi.org/10.1117/12.2526067.
7. Petro Ana Belén, Sbert Catalina, Morel Jean-Michel. Multiscale retinex // Image Processing On Line. — 2014. — P. 71–88.
8. Ronneberger Olaf, Fischer Philipp, Brox Thomas. U-net: Convolutional networks for biomedical image segmentation // International Conference on Medical image computing and computer-assisted intervention / Springer. — 2015. — P. 234–241.
9. The Unreasonable Effectiveness of Deep Features as a Perceptual Metric / Richard Zhang, Phillip Isola, Alexei A Efros et al. // The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2018. — Jun.
10. ThermalGAN: Multimodal Color-to-Thermal Image Translation for Person Re-Identification in Multispectral Dataset / Vladimir V. Kniaz, Vladimir A. Knyaz, Jiří Hladůvka et al. // Computer Vision – ECCV 2018 Workshops. — Springer International Publishing, 2018.
11. Vygolov Oleg, Zheltov Sergey. Enhanced, synthetic and combined vision technologies for civil aviation // Computer Vision in Control Systems-2. — Springer, 2015. — P. 201–230.
