, Россия
, Россия
, Россия
, Россия
Развитие информационных и телекоммуникационных технологий – основа развития современной медицинской диагностики, в которой в настоящее время преобладает использование цифровых технологий. Медицинские изображения в цифровом виде легко анализировать, хранить и пересылать по телекоммуникационным каналам связи. Большинство производителей поддерживают медицинский стандарт DICOM, содержащий полную, но во многих случаях избыточную информацию. Рассматривается процесс разработки кроссплатформенного телекоммуникационного конвертера медицинских изображений для системы визуализации и навигации при малоинвазивных медицинских манипуляциях. Подробным образом рассмотрен популярный формат медицинских изображений DICOM. Разработан алгоритм преобразования данных из формата DICOM в типовые стандарты графических файлов. Проанализированы результаты работы конвертера на примере таких характеристик, как «сжатие», «уровень сигнал/шум» и «скорость сжатия».
медицинские изображения, формат, сжатие, телекоммуникационный конвертер, обработка изображений, системы визуализации, малоинвазивные медицинские манипуляции.
Введение Современные информационные и телекоммуникационные технологии позволяют применять математический аппарат при анализе и обработке медицинских изображений, а также при компьютерном моделировании и визуализации для малоинвазивных медицинских манипуляций. Изображения создаются и анализируются при проведении компьютерной томографии (КТ), магнитно-резонансной томографии (МРТ), маммографии, рентгенографии, ультразвукового исследования и других диагностических методов [1]. Термин «медицинское изображение» включает совокупность методических, методологических, понятийных и технологических процессов и описывает структурно-функциональный образ органов человека, предназначенный для диагностики заболеваний и изучения анатомо-физиологической картины организма. Необработанное трехмерное изображение, будь то изобр-жение КТ, МРТ или микроскопии, представляет собой трехмерный массив вокселей или пикселей. Каждый воксель имеет диапазон оттенков серого от 0 до 65535 в случае 16-битного пикселя или от 0 до 255 в случае 8-битного пикселя. Большинство медицинских систем визуализации генерируют изображения с использованием 16-битного диапазона шкалы серого. Трехмерное изображение обычно имеет большое количество пикселей и требует больших вычислительных ресурсов для обработки, такой как сегментация и распознавание образов. С другой стороны, сегментированное изображение обеспечивает гораздо более простое описание объектов, что позволяет создавать трехмерные модели поверхности или отображать объемные данные. Медицинские изображения могут быть представлены как в специализированных форматах от фирм-разработчиков медицинского оборудования, так и в стандартных (jpg, bmp, tiff и т. д.). Исходные изображения в специализированных форматах занимают большой объем памяти, поэтому для ускорения их передачи по каналам связи и для более рационального хранения в памяти компьютера их сжимают или конвертируют в более экономичные. При этом важным параметром является сохранение качества изображения [2]. На сегодняшний день не существует программных продуктов, позволяющих конвертировать медицинские изображения пакетами, с возможностью автоматической сортировки по ориентации и положению изображения, а также его масштабирования. Несомненным преимуществом разработанного нами конвертера является возможность генерации сортированного облака точек исследуемого объекта. Анализ и обработка медицинских изображений позволяет получить трехмерные модели объектов, что является ключевым моментом при проведении малоинвазивных медицинских манипуляций и использовании роботизированных установок с техническим зрением и автоматической навигацией. Эффективным методом восстановления формы 3D-объектов из наборов данных 2D DICOM является обработка данных на основе методов обработки цифровых изображений для получения трехмерного облака точек. Этот шаг включает в себя извлечение функций, границы формы, удаление зашумленных данных и вставку новых пикселей для получения обычного набора данных для каждого среза DICOM. На следующем этапе выполнятся реконструкция трехмерного объекта на основе алгоритмов триангуляции Делоне или Marching Cubes трехмерного облака точек, а далее – рендеринг и визуализация объектов трехмерных медицинских изображений. Анализ и описание работы конвертера Практически любое оборудование для цифровой лучевой диагностики помимо своего стандарта на изображения поддерживает стандарт DICOM. Он охватывает файлы, созданные с целью переноса и просмотра медицинских снимков в стандартизированном формате. Изображения МРТ, а также другие медицинские снимки хранятся в этом формате вместе с данными о пациенте и другой связанной с этим информацией. Формат DICOM обеспечивает сохранение масштаба полученных снимков, что позволяет проводить точные измерения тех или иных анатомических структур. Однако основные программы просмотра снимков в данном формате имеют ограниченный функционал, не позволяющий производить целый ряд усложненных измерений, зачастую необходимых для качественного анализа снимка [3]. В некотором смысле определение объектов DICOM аналогично объектно-ориентированному программированию. Детализируя определения информационных объектов (IOD), DICOM детализирует определения информационных объектов (IOD), позволяя обмениваться виртуальными объектами, определяемыми аналогично ориентированному программированию между различными приложениями [4]. Информационная модель стандарта DICOM для DICOM-файла состоит из 4-х ступеней (рис. 1). Рис. 1. Упрощенное представление модели данных DICOM По результатам каждого исследования формируется файл, который содержит данные пациента, наименование и параметры оборудования, наименование медицинской организации, данные медицинского персонала и т. д. DICOM-файл является объектно-ориентированным файлом с теговой разметкой. Каждый элемент имеет тег, тип данных с именем VR, длину и значение. Более подробно структура формата описана в [3]. Исходя из вышесказанного, считаем целесообразной разработку конвертера, который осуществлял бы преобразование всех файлов формата *.dcm, содержащихся в выбранном каталоге, в графический файл необходимого формата, текстовый файл с медицинскими данными и файл облака точек. В качестве базовой платформы для разработки предлагаемого конвертера была выбрана кроссплатформенная система Eclipse и язык Java. Конвертер состоит из 7 классов (рис. 2): – DcmConverter – основной класс конвертера, который содержит в себе описания полей (тегов), параметры и типы фалов и т. д.; – DcmDeconverter – класс для считывания тегов из DICOM файла; – DcmDict – класс, содержащий в себе описание тегов (словарь); – FileRead – класс для чтения данных из медицинских файлов (используется классом DcmConverter); – FileOpen – класс открытия файлов медицинских изображений; – ByteVector – вспомогательный класс для работы с массивами; – FileInform – класс чтения атрибутов медицинского файла (высота, ширина изображения, типы сжатия и цветовые пространства изображений и т. д.). Рис. 2. Диаграмма классов конвертера Алгоритм работы конвертера представлен на рис. 3. В качестве входящего параметра принимается строка, которая содержит в себе адрес каталога с DICOM-файлами. Затем определяется количество DICOM-файлов и выделяется память под массивы позиционирования и масштабирования (по осям координат). Далее, в зависимости от входящих параметров, выполняется преобразование DICOM-файла в тип Mat, в массивы позиционирования и масштабирования записываются соответствующие параметры. Далее, в зависимости от входящих параметров, выполняется преобразование DICOM-файла либо в тип Mat, с одновременной записью в массивы позиционирования и масштабирования соответствующих параметров, либо в графические файлы соответствующего (заданного) типа. Массив изображений типа Mat передается в систему визуализации и обработки. Рис. 3. Схема работы конвертера Изначально, как было сказано выше, DICOM-файл содержит в тегах избыточную текстовую информацию, которая не требуется после конвертации. Как правило, данная информация содержит в себе сведения об оборудовании, учреждении, данные о пациенте и т. д. В процессе конвертации отбираются следующие поля: толщина слоя, расстояние между слоями, позиция и положение пациента, ориентация слоя, цветовое пространство, ширина, высота, разрядность, расстояние между пикселями изображения. Конвертер выполняет преобразование всех файлов формата *.dcm, которые содержатся в выбранном каталоге (и вложенных каталогах). По окончании процесса конвертации в текущем каталоге создается графический файл соответствующего формата (JPEG, TIFF и т. д.), а также текстовый файл с медицинскими данными. Так как в одном каталоге находятся, как правило, результаты одного потокового сканирования, полная текстовая информация находится в первом (в алфавитном порядке) файле, а в остальных файлах – только изменяющиеся параметры. Дополнительно в текущем каталоге создается файл облака точек. Данный файл содержит в себе координаты точек последовательности изображений, при этом в качестве координат х и у выступают координаты пикселей изображения. Координата z вычисляется на основании данных Position of Patient и Orientation of image slice. Цвет точки совпадет с цветом пикселя. В процессе анализа существующего программного обеспечения по обработке и визуализации медицинских данных (MultiVox DICOM Viewer, MeVisLab, 3D-Doctor и т. д.) были выявлены как его достоинства, так и недостатки. В качестве основных недостатков таких систем можно выделить следующие: – отсутствует пакетное сжатие (когда результаты диагностики представляют собой вложенные папки с медицинскими файлами); – отсутствует сжатие однотипных текстовых данных; – не создается файл облака точек для создания трехмерных тел. В разрабатываемом программном комплексе предлагается сжимать текстовые данные за счет отсеивания постоянно повторяющейся информации для потокового сканирования, а также предлагается возможность выбора для сохранения в конвертируемом файле требуемых полей. В табл. 1–3 приведены результаты конвертации телекоммуникационным конвертером различных медицинских изображений формата DICOM (КР/ЦР, УЗИ, КТ/МРТ и т. д.) с разрядностью пикселей 8, 16, 24 бит в различные форматы графических изображений (JPG, BMP, TIFF и т. д.). В таблицах для конвертированных медицинских изображений первым значением указывается размер после конвертации, вторым – величина PSNR. В последнем столбце указывается размер отфильтрованной текстовой информации из DICOM-файла. Таблица 1 Размер изображений после конвертации (24 бит) и PSNR (уровень сигнал/шум) Процедура DICOM JPG BMP TIFF PNG JP2 TXT Кб КР/ЦР 549 67/50 258/∞ 181/∞ 152/∞ 107/200 4 УЗИ 549 58/49 253/∞ 208/∞ 131/∞ 109/220 4 Эндоскопия 549 59/54 207/∞ 223/∞ 154/∞ 99/210 4 МГ 549 52/49 185/∞ 196/∞ 133/∞ 105/230 4 МРИ 549 50/49 168/∞ 163/∞ 126/∞ 94/221 4 КТ/МРТ 549 56/48 196/∞ 156/∞ 142/∞ 100/227 4 Таблица 2 Размер изображений после конвертации (16 бит) и PSNR (уровень сигнал/шум) Процедура DICOM JPG BMP TIFF PNG JP2 TXT Кб КР/ЦР 241 29/48 113/∞ 79/∞ 67/∞ 47/230 5 УЗИ 241 30/50 105/∞ 93/∞ 56/∞ 51/210 5 Эндоскопия 241 34/52 93/∞ 105/∞ 48/∞ 47/215 5 МГ 241 31/47 109/∞ 101/∞ 46/∞ 48/226 5 МРИ 241 34/52 104/∞ 115/∞ 54/∞ 45/228 5 КТ/МРТ 241 33/53 89/∞ 110/∞ 45/∞ 45/235 5 Таблица 3 Размер изображений после конвертации (8 бит) и PSNR (уровень сигнал/шум) Процедура DICOM JPG BMP TIFF PNG JP2 TXT Кб КР/ЦР 90 11/45 42/∞ 30/∞ 25/∞ 18/200 3 УЗИ 90 9/50 37/∞ 31/∞ 22/∞ 18/230 3 Эндоскопия 90 9/51 37/∞ 31/∞ 20/∞ 18/180 3 МГ 90 10/49 32/∞ 31/∞ 17/∞ 22/160 3 МРИ 90 12/53 36/∞ 36/∞ 18/∞ 26/252 3 КТ/МРТ 90 12/55 38/∞ 42/∞ 22/∞ 24/250 3 Для сравнения исходного и полученного изображений можно использовать метрики: – PSNR (peak signal-to-noise ratio) – отношение сигнал/шум; – SSIM (structural similarity index measure) – индекс структурного сходства. В конвертере предлагается использовать метрику PSNR, т. к. SSIM является более избыточной с точки зрения сложности определения различности изображений: где n – битность изображения; M, N – размеры изображений; I1, I2 – матрицы пикселей исходно-го и результирующего (конвертируемого) изображения. Размер полученного конвертированного изображения также является важной характеристикой, т. к., например, при компьютерной или магнитно-резонансной томографии объем памяти для одного среза изображения размерами 512 × 512 пикселей и разрядностью 16 бит составляет около 0,5 Мб, а типичный стек изображений может иметь около 200 срезов, что может со-ставить более 100 Мб. По компактности полученных изображений можно выделить PNG, JPG, JP2. Причем разница между исходным DICOM-изображением и конвертированным файлом более критична с увеличением размера изображения. На основании определения метрики PSNR чем хуже качество полученного изображения, тем ниже ее значение. Важной характеристикой при конвертации DICOM-изображений является размер полученного изображения, который зависит от алгоритмов сжатия. Данные характеристики являются взаимосвязанными, поэтому приводятся в одной таблице. Наиболее оптимальным с точки зрения уровня сигнал/шум является конвертирование изображений в форматы PNG, BMP и TIFF. В табл. 4–6 приведена скорость работы телекоммуникационного конвертера медицинских изображений формата DICOM на процессоре Intel® Core™ i3-3240 CPU 3,40 GHz и ОЗУ 4 Гб при конвертации изображений в те же графические форматы с различным уровнем разрядности (8, 16, 24 бит). Таблица 4 Скорость конвертации изображений (24 бит) Процедура DICOM JPG BMP TIFF PNG JP2 TXT ms КР/ЦР 70 3 3 11 6 225 1 УЗИ 70 3 3 13 6 254 1 Эндоскопия 70 3 3 14 5 259 1 МГ 70 3 3 12 4 241 1 МРИ 70 3 4 9 5 195 1 КТ/МРТ 70 3 3 9 5 186 1 Таблица 5 Скорость конвертации изображений (16 бит) Процедура DICOM JPG BMP TIFF PNG JP2 TXT ms КР/ЦР 62 5 3 7 5 238 1 УЗИ 62 5 3 6 6 245 1 Эндоскопия 62 6 3 6 7 233 1 МГ 62 5 3 6 6 272 1 МРИ 62 4 3 5 6 297 1 КТ/МРТ 62 5 3 5 6 297 1 Таблица 6 Скорость конвертации изображений (8 бит) Процедура DICOM JPG BMP TIFF PNG JP2 TXT ms КР/ЦР 31 1 2 1 1 25 1 УЗИ 31 1 2 1 1 26 1 Эндоскопия 31 1 3 1 1 27 1 МГ 31 1 3 1 1 25 1 МРИ 31 1 4 2 1 29 1 КТ/МРТ 31 1 4 2 1 31 1 Для наглядности данные из табл. 1–3 в виде гистограмм объединены на рис. 4. Рис. 4. Усредненные значения размеров изображений Наиболее важный параметр – «Размер изображения» – представлен в усредненном по типам медицинских изображений виде. По скорости конвертации изображений наиболее удовлетворительные результаты продемонстрировали форматы JPG, BMP и PNG. Таким образом, сравнение данных трех характеристик позволяет сделать вывод о том, что наиболее оптимальным с точки зрения PSNR, качества и скорости сжатия можно назвать форматы PNG и JPG. Важным условием при разработке конвертера была его кроссплатформенность. Работа предлагаемого конвертера была проверена на всех современных платформах (Windows, Linux, MacOS, Android) с предустановленной виртуальной машиной Java и показала устойчивые результаты. Заключение Предложенный в работе кроссплатформенный конвертер для медицинских изображений стандарта DICOM позволяет получать их компактное представление в различных графических форматах для дальнейшей обработки или передачи по каналам связи. При этом конвертер позволяет выбирать тип экспортируемого изображения, предоставляет возможность выбора степени сжатия, а также позволяет контролировать получение и сжатие данных без содержания артефактов. Во время тестирования телекоммуникационного конвертера было обработано более 100 тыс. медицинских изображений и не выявлено ни одного сбоя в его работе. Методы конвертера можно использовать для обработки изображений в составе других программных комплексов, а также фреймворков (OPENCV, Aforge, libVLC, ImageJ и т. д.). Результаты работы также позволят ИТ-специалистам, даже не связанным с медицинской сферой, более эффективно использовать медицинские изображения для разработки классификаторов на основе алгоритмов машинного обучения.
1. Шибайкин С. Д., Аббакумов А. А., Никулин В. В. Разработка программного обеспечения системы визуализации и навигации для малоинвазивных медицинских манипуляций на основе 3-D модели построенной по УЗ-изображениям // Науч.-техн. вестн. Поволжья. 2020. № 2. С. 50–53.
2. Королюк И. П. Медицинская информатика: учеб. Самара: ООО «Офорт»; ГБОУ ВПО «СамГМУ», 2012. 244 с.
3. Шибайкин С. Д., Аббакумов А. А., Плеханова А. Д., Лебедев М. А., Пинимаскин В. А. Разработка телекоммуникационного конвертера для медицинских УЗ-изображений // Науч.-техн. вестн. Поволжья. 2020. № 10. С. 51–54.
4. DICOM. Официальная страница стандарта. URL: https://www.dicomstandard.org/current/ (дата обращения: 20.12.2020).
