, Russian Federation
, Russian Federation
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 65 Управление предприятиями. Организация производства, торговли и транспорта
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
The article describes the use of nonlinear smoothing filter for image processing and analysis. Description of the model of the smoothing filter based on the generalized method of the least absolute values is given. The filter constructed on the basis of the offered model efficiently reduces the noise on brightness difference. Along with noise reduction in the contrast images, this method can be used for the solving problems of machine vision, medical diagnostics, etc. It has been found that nonlinear filtration on the basis of the generalized method of the least modules allows to solve such problems as clarification of the boundaries of contrast objects and segmentation of the image. There has been shown the possibility of recovering the boundaries of the images in which the contrast borders were blurry. X-ray image of an animal hand with defocusing was used as an example. After filtering, the contrast boundary was restored to the place where it was originally located. When processing a fluorography image, the filter removed various artifacts from the image and increased the contrast. Removal of artifacts along with the recoveries of the boundaries of contrast objects improves the overall “readability” of the fluorography image and also allows seeing earlier not distinguishable details on the image. Examples of the filter application in the clustering problem using the k-means algorithm are given. Due to the lack of this algorithm, applying it directly to the image does not give an acceptable result. However, after processing the original image with a nonlinear filter, the application of the k-means algorithm yields the desired result.
contrast images, contrast boundaries, processing, noise reduction, segmentation, generalized method of least modules
Введение
В настоящее время цифровые изображения стали повседневным явлением, поэтому к цифровой фото- и видеообработке проявляют все больший интерес. На данный момент разработано множество способов как получения, так и обработки изображений. Вследствие того, что цифровая техника не является идеальной, в некоторых случаях приходится прибегать к обработке изображений для борьбы с шумом, в целях улучшения качества, модификации изображений для последующего анализа и т. д.
Подавляющее большинство изображений сегодня получают при помощи цифровой аппаратуры. Но наряду с преимуществами перед аналоговой аппаратурой цифровая техника также имеет недостатки и, как любое измерительное устройство, имеет погрешности измерений. В результате сформированное изображение состоит как из полезного изображения, так и из цифрового шума в виде наложенной маски из пикселей случайного цвета и яркости [1].
Задача повышения качества цифрового изображения является одной из важнейших в цифровой обработке изображений. Она решается в основном с помощью фильтров изображений [1–4]. Однако, несмотря на многообразие алгоритмов цифровой фильтрации, они, как правило, носят эвристический характер. Особенно это заметно при подавлении шума в контрастных изображениях. Основной причиной является недостаточное исследование свойств цифрового шума в контрастных изображениях.
Многие авторы [5, 6] без проведения исследований и рассмотрения особенностей изображений указывают, что распределение цифрового шума подчиняется гауссовскому закону распределения. В результате предлагаются в основном линейные алгоритмы подавления шума. Однако, как отмечено в [7], из-за математической простоты, которая характерна для работы с моделями гауссовского шума, линейные алгоритмы используются даже в тех ситуациях, когда их применение оправдано, в лучшем случае, лишь частично. Такая неоднозначность высказываний относительно статистических свойств аддитивного шума говорит о недостаточной изученности данного вопроса.
В [8] показано, что аддитивный шум в цифровых контрастных изображениях имеет нелинейный характер. На границе перепадов дисперсия шума имеет разную величину, а на границе минимальной яркости шум имеет негауссовское распределение. Это происходит из-за нелинейного характера формирования шума. Использование линейных цифровых фильтров для контрастных изображений неэффективно, т. к. приводит к размыванию контуров деталей контрастных изображений, что снижает резкость изображения и, следовательно, ухудшает его качество. Применяемые нелинейные алгоритмы подавления шума на основе медианной фильтрации, предложенной Джоном Тьюки [9], в случае контрастных изображений имеют недостатки, т. к. медианные фильтры являются чувствительными к резким перепадам яркости в изображении. Различные модификации медианной фильтрации [10–12] в ряде случаев достигают выигрыша по сравнению с медианной фильтрацией, но они недостаточно формализованы и обычно требуют наличия дополнительной априорной информации.
В [13] была предложена модель нелинейного фильтра на основе обобщенного метода наименьших модулей (ОМНМ) для фильтрации цифровых контрастных изображений. Апробация предложенной модели на простых контрастных изображениях показала ее высокую эффективность – подавление шума происходит с минимальным размытием резких перепадов яркости на границах.
Однако на подавлении шума возможности подложенной модели не заканчиваются и, предположительно, ее можно использовать в обработке изображений для последующего их анализа. Задачи анализа изображений встречаются в разных областях науки и производства и, как часто бывает, требуют предварительной обработки изображений перед применением методов анализа информации, содержащейся в них.
Цель статьи – показать применения ОМНМ в задачах подавления шума, а также обработки и анализа изображений для различных областей знаний.
Описание модели
Функция потерь сглаживающего преобразования была выбрана на основе результатов, описанных в [8], где в качестве функции потерь была использована функция арктангенса
(1)
Однако непосредственное использование (1) не учитывает особенностей изображения и перепада, таких как дисперсия шума и степень контрастности перепада. Так как достижение функцией потерь (1) своего предельного уровня может происходить слишком быстро либо недостаточно быстро, и в том и в другом случае это будет приводить к низкой эффективности оценок и даже к их смещению. Поэтому вместо (1) будем использовать функцию потерь вида
(2)
где α > 0, β > 0 – параметры, подбираемые на основе характеристик изображения и перепада, таких как σ – среднеквадратическое отклонение (уровень) шума в выбранной области изображения; A – нижняя граница уровня яркости перепада; B – верхняя граница уровня яркости перепада; h = A – B – разница между верхней и нижней границами яркости перепада (степень контрастности перепада).
Модель предполагает варьирование двумя параметрами функции потерь (2) в зависимости от степени контрастности и уровня шума. Чтобы учесть негауссовость распределения шума вблизи нижней границы яркости следует использовать свойство вогнутости функции потерь, поэтому задаем параметр α (0; 1], в случае же гауссовости распределения шума использовать выпукло-вогнутую функцию при α
(1; 2]. В случаях, когда требуется обработка изображения без шумовой составляющей, параметр α будет фиксирован. При изменении уровня шума следует менять параметр β, увеличивая его при возрастании уровня шума.
Для правильного выбора параметров функции потерь (2) необходимо подобрать такие функции ,
,
чтобы результат сглаживания ОМНМ-фильтром с функцией потерь (2) был удовлетворительным при любых параметрах изображения [13].
В ходе численного эксперимента, который проводился нами с помощью метода статистических испытаний Монте-Карло, были получены следующие зависимости для a и b:
Соответственно, при отсутствии шума параметр α = 0,7.
С целью упрощения рассматриваем изображение в градациях серого либо яркостную составляющую цветного изображения модели HSV, что даст 256 возможных значений яркости пикселя, где «0» – это черный цвет, а «255» – белый. В этом случае процедура фильтрации описывается формулой
где – фактические и сглаженные с помощью ОМНМ-фильтра значения яркостей пикселей изображений; i – номер пикселя; L – пул точек, входящих в апертуру фильтра, в зависимости от ее вида и размера.
Для оценки качества фильтрации используем среднее линейное отклонение между идеальным изображением и сглаженным, вычисляемое как
,
где fi – идеальные (без шума) значения яркостей пикселей изображений; N – число пикселей в изображении, обработанных при сглаживании.
Применение нелинейной фильтрации в задачах обработки и анализа изображений
При фильтрации реальных контрастных зашумленных изображений (рис. 1) фильтр позволяет сохранить резкую границу без ее размытия.
Рис. 1. Реальное зашумленное изображение здания (а);
увеличенная область, выделенная квадратной рамкой (б)
Чтобы наглядно оценить эффективность сглаживания, отфильтруем реальное зашумленное изображение с помощью различных фильтров: усредняющий фильтр, медианный фильтр, фильтр на основе функции потерь (2). На рис. 2 приведены отфильтрованные различными фильтрами области при увеличении.
Рис. 2. Отфильтрованные изображения выделенной области с помощью линейного усреднения (а);
медианы (б); фильтра на основе функции потерь (2) (в)
Фильтрация зашумленных контрастных изображений на основе ОМНМ позволяет удалять шум из изображения, сохраняя при этом контрастные границы. Также в ходе экспериментов было установлено, что фильтр на основе ОМНМ позволяет восстанавливать контрастные границы в изображениях, в которых по каким-то причинам они были размыты.
Для испытания возьмем исходное незашумленное изображение здания и размоем контрастные границы. Далее проведем фильтрацию медианным и ОМНМ-фильтром. Результаты, в виде увеличенной области изображения, представлены на рис. 3.
Рис. 3. Увеличенные области отфильтрованных изображений: исходное изображение (а);
медианный фильтр (б); фильтр на основе функции потерь (2) (в)
Такое свойство фильтра можно использовать в задачах восстановления дефектных изображений, например рентгеновского снимка с расфокусировкой.
Качество рентгеновского снимка, с технической точки зрения, характеризуется оптической плотностью почернения, резкостью и контрастностью. Кроме того, рентгеновский снимок должен быть правильно выполнен. Правильно выполненным считается тот снимок, который при высоких технических качествах отображает подлинное состояние исследуемого объекта. Но в некоторых случаях по разным причинам получается снимок ненадлежащего качества. Это отсутствие резкости вследствие того, что сбился или неправильно настроен фокус, недоэкспонированный снимок от недостатка мощности, размазывание из-за движения объекта съемки и т. д. Особо важна резкость при съемке скелета, т. к. в этом случае важно четко видеть границу кости.
Некоторые подобные дефектные снимки бывает по разным причинам сложно оперативно переснять. Обработка такого оцифрованного снимка фильтром на основе ОМНМ позволит получить приемлемый результат без проведения повторного сеанса рентгеноскопии.
Возьмем рентгеновский снимок кисти животного в двух вариантах. В первом варианте объект был в фокусе, во втором варианте – не в фокусе. Обработаем изображение, на котором объект не попал в фокус, фильтром. На рис. 4 приведены участки различных изображений в увеличении.
Рис. 4. Рентгеновский снимок кисти: изображение в фокусе (а); изображение не в фокусе (б);
изображение не в фокусе после обработки фильтром (в)
Фильтр восстановил границу контрастного объекта именно на том месте, где она находилась изначально. Это позволит получать необходимые данные даже на некачественных снимках и производить более точные замеры в сравнении с размытым изображением, например, ширины кости.
Оцифрованные снимки флюорографии (ФОГ) в некоторых случаях могут содержать артефакты, мешающие анализировать визуальную информацию. На рис. 5 приведен снимок грудной клетки человека и одна из областей этого снимка при увеличении.
а б
Рис. 5. Исходное изображение снимка ФОГ (а); выделенная область в увеличении (б)
В таких случаях имеет смысл применить фильтр на основе ОМНМ. Используя апертуру типа крест или квадрат с минимальным размером можно избавиться от артефактов. В таком случае мелкие детали размером в половину апертуры могут быть утеряны, но то же случится и при обработке, например, медианой. Однако в отличие от медианного фильтра контраст на границах яркости сохранится. Пример обработки снимка ФОГ фильтром на основе ОМНМ показан на рис. 6.
Рис. 6. Изображение выделенной области снимка ФОГ после обработки
усредняющим фильтром (а); медианным фильтром (б); ОМНМ-фильтром (в)
В машинном зрении [14] часто решается задача сегментации изображения. Смысл этой задачи – выделить определенные объекты на изображении по каким-либо характеристикам, например по цвету или по форме. При сегментации решается задача кластеризации при помощи различных алгоритмов, например алгоритма k-средних [15]. Ввиду недостатков алгоритма k-средних, например высокой чувствительности к различным текстурам, применение его непосредственно к зашумленному изображению не дает приемлемого результата. В случае применения алгоритма k-средних к зашумленному изображению комнаты (рис. 7) обработанное изображение, несмотря на хорошее выделение в кластеры некоторых объектов, содержит большое количество кластеров малого размера.
Рис. 7. Исходное изображение (а); изображение после обработки алгоритмом k-средних (б)
В приведенном примере ярко выраженные текстуры и градиенты мешают алгоритму работать должным образом. На обработанном изображении много отдельных элементов, особенно на полу и стенах. Следовательно, необходимо упростить изображение для дальнейшего применения алгоритма k-средних. Применение фильтра на основе ОМНМ позволяет сильно ослабить контрастность текстур, при этом оставив перепад яркостей контрастным. В данном случае достаточно использовать квадратную апертуру с большим размером, затем к полученному изображению применить алгоритм k-средних. Результат изображен на рис. 8.
Рис. 8. Изображение, обработанное ОМНМ-фильтром (а);
после обработки его алгоритмом k-средних (б)
В результате большое количество кластеров на полу сократилось до одного большого кластера и подавление текстур и шума не привело к растеканию границ контрастных объектов, что могло бы привести к появлению дополнительных ненужных кластеров.
Для применения ОМНМ-фильтра к цветному изображению необходимо перевести изображение из цветового пространства RGB в HSV и обработать отдельно канал V, после чего провести обратное преобразование (HSV в RGB). Далее можно применять алгоритм k-средних.
Другим примером эффективного применения фильтра на основе ОМНМ может служить задача сегментации (выделения) отдельных клеток и клеточных структур [16] в медицине. В приведенном на рис. 9 примере шум, текстура и градиенты мешают алгоритму правильно выделить объекты.
Рис. 9. Исходное изображение (а) и после обработки алгоритмом k-средних (б)
На обработанном участке много отдельных элементов, особенно на темных участках и в месте, где есть межклеточная жидкость. Следовательно, необходимо упростить изображение.
Применение фильтра на основе ОМНМ удалило шум и сильно ослабило контрастность текстур, при этом оставив перепад яркостей контрастным. Далее к получившемуся изображению можно применять алгоритм k-средних. Результат представлен на рис. 10.
Рис. 10. Изображение, обработанное ОМНМ-фильтром (а);
после обработки алгоритмом k-средних (б)
Фильтрация на основе ОМНМ может быть также использована в следующем случае. Традиционный морфометрический подход к определению на изображении площади окрашенной клетки, лежащей на светлом фоне, состоит в выполнении достаточно сложной процедуры выделения границы клетки и подсчета количества пикселей, находящихся в пределах этой границы. Построение полутоновой гистограммы предполагает более простой подход к решению этой задачи [16]. Однако при зашумлении гистограмма «расплывается», что затрудняет последующий анализ. Используя фильтр на основе ОМНМ, можно удалить шум с сохранением контрастной границы, что позволит сократить разброс распределения яркостей на диаграмме (рис. 11).
Рис. 11. Гистограмма исходного изображения (а), зашумленного изображения (б),
изображения после обработки ОМНМ фильтром (в)
В результате гистограммы на рис. 11, а и в, сопоставимы, что позволит получить тот же результат, что и у исходного незашумленного изображения.
Заключение
Фильтрация зашумленных контрастных изображений на основе обобщенного метода наименьших модулей позволяет удалять шум из изображения, сохраняя при этом контрастные границы. Эффект достигается за счет выпукло-вогнутого вида функции потерь и адаптивного управления ее параметрами.
Наряду с подавлением шума нелинейный фильтр на основе ОМНМ может эффективно применяться в других задачах обработки и анализа изображений. Показана возможность восстановления границ в изображениях, у которых по каким-то причинам были размыты контрастные границы. Также установлено, что фильтрация на основе ОМНМ может эффективно применяться в задачах медицинской диагностики и машинного зрения.
1. Iaroslavskii L. P. Vvedenie v tsifrovuiu obrabotku izobrazhenii [Introduction to digital image processing]. Moscow, Sovetskoe radio Publ., 1979. 312 p.
2. Huang T. S., Eklund J.-O., Nussbaumer G. J., et al. Two-Dimensional Digital Signal Processing. Berlin - Heidelberg - New York, Springer-Verlag, 1981. Vol. 2: Transforms and Median Filters. 224 p.
3. Sheremet I. A., Rukin A. P., Lebedev V. D. Obrabotka izobrazhenii s pomoshch'iu tselochislennykh ortogonal'nykh preobrazuiushchikh matrits [Image processing by integer orthogonal transforming matrices]. Tsifrovaia obrabotka signalov, 2014, no. 4, pp. 45-53.
4. Klochko V. K., Kuznetsov V. P. Metody vosstanovleniia izobrazhenii i otsenivaniia apparatnoi funktsii po prorezhennoi matritse nabliudenii [Methods of image restoration and estimation of hardware function using thinned observation matrix]. Avtometriia, 2016, vol. 52, no. 6, pp. 12-21.
5. Lukin A. S., Mamaev N. V., Iurin D. V. Lokal'naia otsenka urovnia shuma na tsifrovykh izobrazheniiakh [Local estimation of noise level in digital images]. Tsifrovaia obrabotka signalov i ee primenenie: trudy 16-i Mezhdunarodnoi konferentsii, 2014. Vol. 2. Pp. 445-449.
6. Bukhtoiarov S. S., Priorov A. L., Apal'kov I. V., Khriashchev V. V. Perekliuchaiushchiisia mediannyi fil'tr s blokom predvaritel'nogo detektirovaniia [Switching median filter with pre-detection unit]. Tsifrovaia obrabotka signalov, 2006, no. 4, pp. 2-8.
7. Gonzalez R. C., Woods R. E. Digital Image Processing. New Jersey, Prentice Hall, 2007. 976 p.
8. Surin V. A., Tyrsin A. N. Issledovanie svoistv tsifrovogo shuma v kontrastnykh izobrazheniiakh [Investigation of digital noise properties in contrasting images]. Izvestiia vysshikh uchebnykh zavedenii. Fizika, 2016, no. 8/2 (59), pp. 93-96.
9. Tukey J. W. Discussion emphasizing the connection between analysis of variance and spectrum analysis. Technometrics, 1961, vol. 3, pp. 191-219.
10. Abreu E., Lightstone M., Mitra S., Arakawa K. A new efficient approach for the removal of impulse noise from highly corrupted images. IEEE Trans, on Image Processing, 1996, vol. 5, no. 6, pp. 1012-1025.
11. Chan R., Ho C., Nikolova M. Convergence of Newton's Method for a Minimization Problem in Impulse Noise Removal. Journal of Computational Mathematics, 2004, vol. 2, pp. 168-177.
12. Schulte S., Nachtegael M., De Witte V., Van der Weken D., Kerre E. A fuzzy impulse noise detection and reduction method. IEEE Trans, on Image Processing, 2006, vol. 15, no. 5, pp. 1153-1162.
13. Surin V. A., Tyrsin A. N. Model' nelineinogo fil'tra dlia tsifrovoi obrabotki kontrastnykh izobrazhenii [Non-linear filter model for digital processing of contrast images]. Avtometriia, 2018, vol. 54, no. 2, pp. 54-62.
14. Gorban A. N., Zinovyev A. Y. Principal Graphs and Manifolds. Handbook of Research on Machine Learning Applications and Trends: Algorithms, Methods, and Techniques. IGI Global. Hershey, PA, USA, 2009. Part 2. Pp. 28-59.
15. MacQueen J. Some methods for classification and analysis of multivariate observations. In Proceeding of the 5th Berkeley Symposium on Mathematical Statistics and Probability. University of California Press, 1967. Vol. 1. Pp. 281-297.
16. Bogdanov A. K., Protsenko V. D. Prakticheskie primeneniia sovremennykh metodov analiza izobrazhenii v meditsine: uchebnoe posobie [Practical applications of modern methods of image analysis in medicine: tutorial]. Moscow, Izd-vo RUDN, 2008. 77 p.
