Введение. В настоящее время идет активная цифровая трансформация здравоохранения Российской Федерации. Лидером соответствующих процессов является лучевая диагностика. Отмечается централизация описания рентгенологических исследований с применением телемедицинских технологий [1]. Так, ежедневно в Москве проводится более 45 000 исследований, которые описываются врачами-рентгенологами дистанционно при помощи Единого радиологического информационного сервиса Единой медицинской информационно-аналитической системы г. Москвы (ЕРИС ЕМИАС). Основной объем исследований приходится на массовые профилактические исследования – флюорографию (ФЛГ) органов грудной клетки и маммографию. Согласно отчету главного внештатного специалиста Минздрава России по лучевой и инструментальной диагностике, в 2020 году в стране было выполнено 74 856 124 флюорографий, 80 % из которых были в цифровом формате1. Характерная особенность профилактических исследований – это низкий удельный вес исследований с патологией. По литературным данным в России при проведении флюорографии выявляемость различных патологий органов грудной клетки колеблется от 0,07 до 18,4 % [2–6]. При этом наиболее высокие показатели характерны для совокупного выявления различных заболеваний (туберкулез, онкология, иные состояния) – 10,1–18,4 %; меньшие значения характерны именно для обнаружения признаков туберкулеза – 0,07–0,76 %.

Aприори большинство результатов профилактических исследований относятся к категории «Норма» (при неселективном скрининге). При интерпретации врачом соответствующего потока исследований повышается риск пропуска патологии. Поэтому общепринятой считается система двойного чтения, когда одно исследование просматривается двумя специалистами. Такой подход нормативно установлен для профилактической маммографии, а его научную основу составляют убедительные систематические обзоры и метаанализы [7][8]. Для ФЛГ, согласно актуальным нормативно-правовым актам, предполагается только одно чтение. Двойные просмотры носят лишь рекомендательный характер. Вместе с тем ежегодно в России выполняются десятки миллионов профилактических флюорографических исследований, интерпретация которых требует колоссальных кадровых и материальных ресурсов.

Согласно последним исследованиям, достижения в области технологий искусственного интеллекта (ТИИ) позволили врачам-рентгенологам эффективно использовать их для оптимизации рабочих процессов и повышения точности диагностики, что в конечном счете приводит к доказанным снижениям экономических затрат [9][10]. Показатели точности алгоритмов, предоставляемые разработчиками, достаточно высоки [11–13], достигают показателей врачей рентгенологов [14], а по отдельным решениям даже превышают их [15].

По состоянию на декабрь 2022 года, в мире 29 программных продуктов на основе ТИИ имеют европейскую сертификацию как медицинское изделие (CE MDR/MDD)2. Важно отметить, что один такой программный продукт (ChestLink®), допущенный к обращению как медицинское изделие, предназначен для полностью автономного анализа РГ ОГК3. В Российской Федерации, по состоянию на декабрь 2022 года, статус медицинского изделия получен 22 программными продуктами на основе технологий ИИ, в том числе двумя – для автоматизированного анализа результатов ФЛГ и РГ (компании ООО «Медицинские скрининг системы» (РЗН 2021/14449) и ООО «ФтизисБиоМед» (РЗН 2022/17406)).

Цель исследования – обосновать возможность и эффективность применения программного обеспечения (ПО) на основе технологии искусственного интеллекта для автономного анализа и сортировки результатов цифровой флюорографии.

Материалы и методы Исследование выполнено в рамках «Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы», проводимого с 2020 г. при поддержке Правительства Москвы (mosmed.ai)4.

Исследование одобрено локальным этическим комитетом (выписка из протокола № 2 НЭК МРО РОРР от 20 февраля 2020 года), а также зарегистрировано на ClinicalTrials (NCT04489992).

Дизайн исследования: смешанный (количественный компонент – ретроспективное диагностическое исследование, качественный компонент – аналитическое исследование).

Технологии искусственного интеллекта. В исследовании использовали результаты работы лучшего программного обеспечения по матрице зрелости без упоминания его названия с целью акцентирования внимания на аспектах цифровой трансформации процессов лучевой диагностики, а не на особенностях того или иного коммерческого продукта.

ПО было интегрировано в ЕРИС ЕМИАС в рамках научного эксперимента, указанного выше. ПО на основе ТИИ принимало на вход цифровую ФЛГ в формате DICOM, анализировало ее и возвращало в качестве ответа текстовое описание (DICOM SR), изображение с разметкой патологических областей (DICOM SC), вероятность наличия патологии в исследовании в целом. Перечисленные результаты работы программного обеспечения вместе с исходными результатами исследования становились доступны в ЕРИС ЕМИАС. На рис. 1 приведен пример обнаружения целевой патологии ПО на основе ТИИ.

Анализируемые данные. Проанализировано 88 048 цифровых флюорограмм, выполненных в медицинских организациях города Москвы, оказывающих первичную медико-санитарную помощь взрослому населению, за период с 01.01.2023 по 31.03.2023.

Разделение исследований на категории «Норма» и «Не норма» осуществлялось на основании заключений врачей-рентгенологов, описывавших эти исследования. При этом в качестве целевой патологии в исследованиях рассматривались следующие патологические признаки: «Плевральный выпот», «Пневмоторакс», «Ателектаз», «Очаг затемнения», «Инфильтрация/консолидация», «Диссеминация», «Полость с распадом и уровнем жидкости», «Кальцинат», «Нарушение целостности кортикального слоя». Удельный вес различных типов патологических находок в группе «Не норма» сопоставим с распространенностью в популяции (по результатам анализа работы отделений лучевой диагностики медицинских организаций государственной системы здравоохранения г. Москвы).

Методика формирования стоимости новых медицинских услуг. В рамках настоящей работы предполагается определение оптимальных долей компонентов структуры стоимости услуги. Так, стоимость медицинской услуги, включающей выполнение, интерпретацию и описание врачом-рентгенологом лучевого исследования (профилактической флюорографии), берется за 100,0 %. В структуру стоимости услуги стандартно входят: фонд оплаты труда (ФОТ) медицинского персонала, расходные материалы и иные расходы, связанные с содержанием зданий и сооружений и т. д.

Статистическая обработка данных. Обработка результатов осуществлялась методом построения и анализа характеристической кривой (ROC-анализа) на специально разработанном web-инструменте https://roc-analysis.mosmed.ai/5,6. В качестве истинных значений использовалась бинарная разметка исследования (0 – при отсутствии патологии, 1 – при наличии целевой патологии). В качестве результата принималась вероятность наличия патологии, определяемая ПО на основе ТИИ. Полученные данные в табличном виде загружались в электронную форму, и осуществлялось построение характеристической кривой. В интерактивном режиме (т. е. с возможностью просмотра показателей диагностической точности для каждой точки на ROC кривой в режиме по наведению курсора мыши) определялись пороговые значения, соответствующие самой крайней левой точке с чувствительностью 100 %. Далее анализировались остальные показатели диагностической точности для установленного порогового значения. Анализ осуществлялся в терминах классической четырехпольной таблицы. Истинно положительным (ИП) считалось корректное отнесение исследования к группе «Не норма», истинно отрицательным (ИО) считалось корректное отнесение исследования к группе «Норма». Ложноположительным (ЛП) результатом считалось ошибочное отнесение исследования «Норма» к группе «Не норма», соответственно ложноотрицательным (ЛО) являлся результат классификации исследования из группы «Не норма» как «Норма». Все показатели, представленные в результатах, рассчитаны с 95 % доверительным интервалом методом случайных выборок с возвратом (т. н. бутстреппинга от англ. «bootstrapping») с количеством итераций 1000.

Результаты. Результаты работы ПО на основе ТИИ в зависимости от его настроек и характера выборки ФЛГ. Всего ПО на основе ТИИ было обработано 88 048 ФЛГ. Из них 87 378 исследований (99,2 %) врач классифицировал как «Норма», 670 (0,8 %) – как «Не норма». В то же время программное обеспечение классифицировало 66 043 исследований (75,0 %) как «Норма», 22 005 (25,0 %) – как «Не норма».

Из 66 043 исследований, которые были отнесены ПО в группу «Норма», 65 979 исследований (99,9 %) также были отнесены в группу «Норма» врачом-рентгенологом.

На следующем этапе исследования были построены две характеристические кривые:

При выставлении порогового значения 34,0, соответствующего максимальному Индексу Юдена при текущих настройках ПО на основе ТИИ, получаем корректное определение 65 979 исследований (75,0 %) из группы «Норма», которые не потребуют врачебного пересмотра. Однако при этом 64 исследования (9,5 %) из группы «Не норма» будет ошибочно интерпретировано программным обеспечением как «Норма». При таких настройках ПО на основе ТИИ получаем следующие значения показателей диагностической точности: чувствительность 90,4 % (95 % ДИ: 88,2–92,7), специфичность 75,5 % (95 % ДИ: 75,2–75,8), точность 75,6 % (95 % ДИ: 75,3–75,9).

Отдельно была проанализирована работа ПО на одной тысяче исследований, которые были описаны врачами «высокого доверия». Эти исследования были получены из общей выборки ФЛГ за первый квартал 2023 года. При выставлении порогового значения 49,0, соответствующего максимальной чувствительности ПО на основе ТИИ, получаем корректное определение 758 исследований (77,4 %) из группы «Норма», которые не потребуют врачебного пересмотра. При этом ни одно исследование из группы «Не норма» не будет ошибочно интерпретировано программным обеспечением как «Норма». При таких настройках ПО на основе ТИИ получаем следующие значений показателей диагностической точности: чувствительность 100,0 % (95 % ДИ: 100–100), специфичность 77,4 % (95 % ДИ: 74,8–80,0), точность 77,9 % (95 % ДИ: 75,3–80,5).

Распределение исследований по группам (ИП, ИО, ЛО, ЛП) в зависимости от выбранного порогового значения для ПО на основе ТИИ представлено в табл. 1.

Формирование стоимости новых медицинских услуг. Эмпирическим путем нами установлено, что автоматизация интерпретации и описания результатов лучевого исследования позволяет снизить стоимость услуги до 50,0 %. При этом меняется ее структура: ФОТ медицинского персонала – 60,0 %; ФОТ немедицинского персонала – 15,0 %; расходные материалы – 15,0 %; иные расходы – 10,0 %. Для обеспечения работы специалистов по проведению пострегистрационного мониторинга, а также технических специалистов с целью поддержания функционирования и обновления версии ПО на основе ТИИ предусмотрена статья расходов «ФОТ немедицинского персонала» [16]. Затраты на приобретение лицензии на ПО на основе ТИИ предлагается заложить в статью расходов на расходные материалы.

Экономический эффект от перехода на автономное ПО на основе ТИИ для сортировки результатов профилактической флюорографии. В 2022 году в амбулаторно-поликлинических центрах города Москвы было выполнено 1,07 млн флюорографических исследований. С учетом размера тарифа на описание одной ФЛГ врачом-рентгенологом в 190,46 руб.8 общие затраты на описание всех исследований врачами-рентгенологами в 2022 году составили 204,2 млн руб.

Использование в автономном режиме ПО на основе ТИИ с целевыми настройками для сортировки и описания 77,4 % исследований из категории «Норма» может обеспечить экономию средств городского бюджета в размере 115,2 млн руб. в год (см. табл. 2). В относительных значениях экономия средств годового бюджета при проведении ФЛГ в соответствии с предлагаемой методикой составит 56,4 %.

Также была рассчитана точка безубыточности для использования ПО на основе ТИИ в автономном режиме в амбулаторно-поликлинических центрах города Москвы. При правильной интерпретации ПО как минимум 21,02 % цифровых ФЛГ с «Нормой» расходы бюджета останутся на текущем уровне (см. табл. 2).

В среднем в РФ ежегодно выполняется 74 млн профилактических флюорографических исследований9. С учетом усредненного размера тарифа на описание одной ФЛГ врачом-рентгенологом в 150 рублей общие затраты на описание всех исследований врачами-рентгенологами составляют порядка 11,1 млрд руб. в год.

Использование в автономном режиме ПО на основе ТИИ с целевыми настройками для сортировки и описания 77,4 % исследований из категории «Норма» может обеспечить экономию средств бюджета Российской Федерации в размере 5,6 млрд рублей в год (см. табл. 3). В относительных значениях экономия средств годового бюджета при проведении ФЛГ в соответствии с предлагаемой методикой составит 50,8 %.

Также была рассчитана точка безубыточности для использования ПО на основе ТИИ в автономном режиме в масштабах всей страны. При правильной интерпретации ПО как минимум 27,0 % цифровых ФЛГ с «Нормой» расходы бюджета останутся на текущем уровне (см. табл. 3).

Обсуждение

Целевая модель обработки результатов профилактической флюорографии. Нами предлагается целевая модель обработки результатов профилактической флюорографии: изображения анализируются ПО на основе ТИИ, результаты с «Нормой» сохраняются в медицинской документации без описания врачом-рентгенологом, результаты с «Не нормой» направляются на описание врачом-рентгенологом (а в перспективе, по мере совершенствования ТИИ, сразу направляются врачу клинической специальности).

Результаты работы ПО основе ТИИ на одной тысяче исследований, которые были интерпретированы врачами «высокого доверия», при настройке на максимальную чувствительность демонстрируют возможность автономного описания 77,4 % всех ФЛГ, которые относятся к группе «Норма». При этом пропуск патологии со стороны ПО будет отсутствовать, что позволит сохранить доверие к работе искусственного интеллекта со стороны как врачебного сообщества, так и пациентов.

В среднем в РФ ежегодно выполняется 74 млн профилактических флюорографий11. Внедрение в клиническую практику предложенной методологии настройки ПО на основе ТИИ на максимальную чувствительность позволит не пересматривать 77,4 % исследований (57,3 млн исследований), которые будут верно интерпретированы ПО на основе ТИИ как «Норма».

В глобальной перспективе уже существует прецедент автономного описания результатов рентгенографии с «Нормой». Медицинское изделие ChestLink® анализирует изображения, при отсутствии патологических изменений сразу формирует автоматический протокол без участия человека, при выявлении признаков болезни рентгенография маршрутизируется на интерпретацию и описание врачом-рентгенологом [15].

Наши результаты указывают на возможность автономного применения ПО на основе ТИИ. Очевидно, что для практической реализации потребуется оптимизировать программные продукты для более эффективного выявления «Нормы», а также перенастроить пороги срабатывания для конкретной клинической задачи. Это позволит адаптировать рассмотренное в настоящей работе ПО на основе ТИИ, а также любые другие решения.

С точки зрения организации здравоохранения, в целях обеспечения массовых профилактических осмотров предлагается ввести две услуги:

Предлагается производственный процесс, включающий ряд основных этапов.

описание врачом-рентгенологом – оказана услуга № 2. Ее результатом является протокол13 – это результат оказания услуги № 2.

Методология формирования стоимости медицинской услуги № 1 была описана в разделе «Результаты», для медицинской услуги № 2 предлагается сохранить полную стоимость (100,0 %) за счет эффекта масштаба. В данном случае считаем допустимым сохранение наличия в структуре стоимости оплаты выполнения исследования.

Количество ФЛГ, включенных в настоящую работу, по нашему мнению, можно считать достаточным, а выборку ФЛГ – репрезентативной, поскольку в исследование были включены все ФЛГ, выполненные в 1-м квартале 2023 года в амбулаторно-поликлинических учреждениях, оказывающих медицинскую помощь взрослому населению города Москвы, и проанализированные программным обеспечением на основе технологии искусственного интеллекта.

Нами было принято решение провести анализ работы ПО на основе ТИИ на одной тысяче исследований, которые интерпретировались врачами «высокого доверия», в связи с тем, что, по данным литературы, уровень чувствительности врачей-рентгенологов при анализе рентгеновских снимков ОГК зависит от опыта врача и вида патологии и находится в диапазоне от 53,6 до 95,5 % [17–20].

Ответственность. Вопрос ответственности при использовании ТИИ в здравоохранении остается дискуссионным. С учетом научного и методологического опыта Московского эксперимента нами сделано следующее практическое предложение: ответственность за диагностическую точность ПО на основе ТИИ лежит на разработчике и организациях, проводивших технические и клинические испы тания в процессе получения регистрационного удостоверения медицинского изделия [21–23]14,15. Конечный пользователь программного обеспечения (в том числе, медицинский работник) должен нести ответственность за правильность применения конкретного медицинского изделия в полном соответствии с инструкцией по эксплуатации. При внедрении в клиническую практику автономного ПО на основе ТИИ необходимо обеспечить входной контроль качества. В дальнейшем необходимо обеспечить обязательные проверочные мероприятия (аудиты), направленные на обеление доли исследований с технологическими и/или клиническими дефектами, что позволит давать оперативную обратную связь разработчику для совершенствование медицинского изделия [16]. Очевидно, что претворение в жизнь предложенных концепций потребует внесения изменений в целый ряд нормативно-правовых актов. Соответствующие предложения в настоящее время формируются специалистами ГБУЗ г. Москвы «НПКЦ ДиТ ДЗМ».

Обоснование перехода на автономное ПО на основе ТИИ для сортировки результатов профилактической флюорографии с организационной и экономической точки зрения. Переход к автономной сортировке результатов профилактической флюорографии обеспечит компромисс: во-первых, будет сохранен массовый скрининг туберкулеза и иных заболеваний ОГК на существующей аппаратной базе, более того, значимо повысится его доступность и качество, а возможно, и объемы; во-вторых, появятся новые возможности для развития отечественной индустрии медицинского приборостроения (за счет интеграции технологий ИИ непосредственно в аппаратуру для лучевой диагностики); в-третьих, значительные финансовые ресурсы будут сэкономлены и перенаправлены на более актуальные задачи, потенциал врачей-рентгенологов будет задействован на решение когнитивно сложных диагностических задач.

Заключение. Доказана возможность и перспективность применения программного обеспечения на основе технологии искусственного интеллекта для автономного анализа результатов цифровой профилактической флюорографии. Оптимальным сценарием видится использование ПО на основе ТИИ для выявления исследований категории «Норма», пересмотр которых врачом-рентгенологом при настройке алгоритма на максимальную чувствительность необязателен. Напротив, исследования, классифицированные как «Не норма», будут направляться на описание врачу-рентгенологу.

Предложена модель организации медицинской помощи, предусматривающая автономную сортировку результатов профилактической флюорографии (новые медицинские услуги, подходы к обеспечению безопасности и качества медицинской помощи, урегулирование проблемы ответственности). Благодаря внедрению модели будет обеспечено сохранение или даже увеличение охвата населения профилактической флюорографией, повышены доступность и качество соответствующих исследований. Экономическая выгода от практической реализации данного подхода в масштабах страны может составлять до 5,6 млрд рублей ежегодно.

1. Тюрин И.Е. Отчет за 2020 г. главного внештатного специалиста Минздрава России по лучевой и инструментальной диагностике Тюрина И.Е. 2020. 2. AI for radiology [Электронный ресурс]. URL: https://grand-challenge.org/aiforradiology/?subspeciality=Chest&modality=X-ray&ce_under=All&ce_class=All&fda_class=All&sort_by=lastmodified&search= (дата обращения: 24.12.2022). 3. CE Mark for First Autonomous AI Medical Imaging Application [Электронный ресурс]. URL: https://oxipit.ai/news/first-autonomousai-medical-imaging-application/ (дата обращения: 24.12.2022). 4. Васильев Ю.А., Владзимирский А.В., ред. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента: Монография. М.: Издательские решения, 2022. 388 с. 5. Свидетельство о государственной регистрации программы для ЭВМ № 2022617324 Российская Федерация. Веб-инструмент для выполнения ROC анализа результатов диагностических тестов : № 2022616046 : заявл. 05.04.2022 : опубл. 19.04.2022 / С.П. Морозов, А.Е. Андрейченко, С.Ф. Четвериков и др.; заявитель Государственное бюджетное учреждение здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» 6. Morozov SP, Vladzimirsky AV, Klyashtornyy VG, et al. Clinical Acceptance of Software Based on Artificial Intelligence (Radiology). Moscow: Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies, Moscow Department of Health; 2019. 7. Врачи «высокого доверия» – специалисты, которые прошли аудит контроля качества и имеют оценку качества работы >95 %. 8 Приложение № 6 к Тарифному соглашению на оплату медицинской помощи, оказываемой по территориальной программе обязательного медицинского страхования города Москвы на 2023 год от 30 декабря 2022 года. 9 Тюрин И.Е. Отчет за 2020 г. главного внештатного специалиста Минздрава России по лучевой и инструментальной диагностике Тюрина И.Е. 2020 10. Приложение № 6 к Тарифному соглашению на оплату медицинской помощи, оказываемой по территориальной программе обязательного медицинского страхования города Москвы на 2023 год от 30 декабря 2022 года. 11. Тюрин И.Е. Отчет за 2020 г. главного внештатного специалиста Минздрава России по лучевой и инструментальной диагностике Тюрина И.Е. 2020. 12. Приказ Минздрава России от 7 сентября 2020 г. № 947н «Об утверждении Порядка организации системы документооборота в сфере охраны здоровья в части ведения медицинской документации в форме электронных документов». 13. Приказ Минздрава России от 9 июня 2020 г. № 560н «Об утверждении Правил проведения рентгенологических исследований». 14. Caring-Research. Can AI Generate Clinically Appropriate X-Ray Reports? Judging the Accuracy and Clinical Validity of Deep Learninggenerated Test Reports as Compared to Reports Generated by Radiologists: A Retrospective Comparative Study // RSNA. 2019. 15. ИСО - ISO 13485 Изделия медицинские [Электронный ресурс]. URL: https://www.iso.org/ru/iso-13485-medical-devices.html (дата обращения: 25.12.2022).