ГОСТ Р 59921.1-2022
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В КЛИНИЧЕСКОЙ МЕДИЦИНЕ
Часть 1
Клиническая оценка
Artificial intelligence systems in clinical medicine. Part 1. Clinical evaluation
ОКС 11.040.01
Дата введения 2022-09-01
Предисловие
1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением "Российский институт стандартизации" (ФГБУ "РСТ"), Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 28 июня 2022 г. N 545-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Введение
В целях сбора доказательств соответствия системы искусственного интеллекта требованиям эффективности и безопасности проводят ее клиническую оценку, которая наряду с фактическими данными дает возможность продемонстрировать, что система искусственного интеллекта способна выдавать клинически значимый результат при ее эксплуатации надлежащим образом, а также не несет риска при использовании ее по назначению и в условиях, заявленных изготовителем.
Система искусственного интеллекта не оказывает непосредственного воздействия на пациентов и медицинский персонал, вместо этого выполняет только интерпретацию при обработке данных и предоставляет вывод результата работы пользователю, в том числе с целью поддержки принятия решений. Несмотря на это, все заявления изготовителя в отношении уровней эффективности и безопасности изделия (в том числе указанные в маркировке и сопроводительной документации) должны быть подтверждены данными, полученными в ходе проведения клинических испытаний (исследований).
1 Область применения
Настоящий стандарт устанавливает общие подходы к проведению клинической оценки систем искусственного интеллекта.
Стандарт применим к системам искусственного интеллекта как программному обеспечению, являющемуся медицинским изделием.
Настоящий национальный стандарт определяет методологическую основу для проведения клинической оценки систем искусственного интеллекта.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р 56429 Изделия медицинские. Клиническая оценка
ГОСТ Р 59921.5 Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов
ГОСТ Р ИСО 14155 Клинические исследования. Надлежащая клиническая практика
ГОСТ Р ИСО/МЭК 12207-2010 Информационная технология. Системная и программная инженерия. Процессы жизненного цикла программных средств
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены следующие термины с соответствующими определениями:
3.1 аналитическая валидация (analytical validation): Подтверждение способности системы искусственного интеллекта точно, воспроизводимо и надежно генерировать предполагаемые результаты вычислений из входных данных.
Примечания
1 См. [1].
2 Аналитическая валидация является частным случаем валидации в соответствии с ГОСТ Р ИСО/МЭК 12207-2010, пункт 4.54.
3.2
|
безопасность (safety): Отсутствие недопустимого риска.
[ГОСТ ISO 14971-2011, пункт 2.24] |
Примечания
1 Безопасность систем искусственного интеллекта предполагает ее функционирование в соответствии с тем, как определил изготовитель, при использовании по назначению в условиях, предусмотренных изготовителем, и без нарушений безопасности обрабатываемой информации.
2 Условия использования могут включать уровень технических знаний, опыта, образования и подготовки пользователей, наличие заболеваний и физического состояния предполагаемых пациентов.
3 Безопасность системы искусственного интеллекта предполагает соблюдение требований по защищенности систем искусственного интеллекта, данных, прозрачности алгоритмов, бесперебойности, отсутствия ошибок в работе систем искусственного интеллекта, а также требований качества (см. [1]).
3.3
|
главный исследователь (principal investigator): Квалифицированное лицо, ответственное за проведение клинического исследования в исследовательском центре.
Примечания
1 Если клинические исследования проводятся группой лиц в исследовательском центре, главный исследователь ответственен за руководство данной группой.
2 Является ли ответственным конкретное лицо или институт, может зависеть от особенностей национальной системы регулирования медицинских изделий.
[ГОСТ Р ИСО 14155-2014, пункт 3.33] |
3.4 дизайн клинического испытания [исследования] (clinical trial design): Методология проведения клинического испытания (исследования) с участием человека в качестве субъекта исследования, с помощью которого планируется получить статистически достоверные доказательства клинической безопасности и эффективности испытуемого (исследуемого) медицинского изделия, включающая в себя использование контрольных групп субъектов испытания (исследования), и (или) распределение субъектов испытаний (исследований) по группам случайным образом, и (или) использование одинарного или двойного слепого метода, а также выбор основных и дополнительных конечных точек.
Примечания
1 См. [2].
2 Методология проведения клинического испытания (исследования) системы искусственного интеллекта подразумевает использование в качестве субъекта исследования набора данных, который получен с участием человека путем ретроспективного анализа и т.п.
3.5 достоверность (reliability): Степень объективного соответствия результатов испытаний действительному изменению в состоянии группы пациентов, для которых систему искусственного интеллекта применяют или предполагают к использованию.
3.6
|
жизненный цикл (life cycle): Развитие системы, продукции, услуги, проекта или другой создаваемой изготовителем сущности от замысла до вывода из эксплуатации.
[Адаптировано из ГОСТ Р 57193-2016, пункт 4.1.19] |
3.7 заявитель [спонсор] (sponsor): Юридическое или физическое лицо, являющееся инициатором клинического испытания (исследования) и несущее ответственность за его организацию и (или) финансирование (см. [2]).
3.8
|
изготовитель (manufacturer): Физическое или юридическое лицо, ответственное за проектирование, изготовление, упаковывание и/или маркировку медицинского изделия, установку/монтаж или модификацию медицинского изделия перед выпуском его в обращение или вводом в эксплуатацию независимо от того, выполняет ли эти операции вышеупомянутое лицо или третья сторона от его имени.
Примечание - В определении термина "изготовитель" следует учитывать положения национальных и региональных нормативных документов.
[ГОСТ ISO 14971-2011, пункт 2.8] |
3.9
|
искусственный интеллект (artificial intelligence): Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение, поиск решений без заранее заданного алгоритма и достижение инсайта) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека.
Примечание - Комплекс технологических решений использует информационно-телекоммуникационную инфраструктуру, включает в себя программное обеспечение (в том числе, в котором используются методы машинного обучения), процессы и сервисы по обработке данных, анализу и синтезу решений.
[ГОСТ Р 59277-2020, пункт 3.18] |
3.10 клиническая валидация (clinical validation): Подтверждение способности системы искусственного интеллекта выдавать клинически значимые выходные данные, связанные с целевым использованием системы искусственного интеллекта в рамках установленного изготовителем функционального назначения.
Примечание - См. [1], пункт 7.0.
3.11 клиническая связь (clinical association): Научное обоснование соответствия результатов действия системы искусственного интеллекта установленному изготовителем (производителем) ее функциональному назначению.
Примечания
1 См. [1], пункт 7.0.
2 Научное обоснование достигается путем поиска в литературных источниках, согласно рекомендациям профессиональных сообществ, на основании новых клинических исследований.
3.12
|
клиническая оценка (clinical evaluation): Результат процесса анализа и оценки клинических данных, имеющих отношение к медицинскому изделию, с целью проверки заявленной его изготовителем клинической результативности и клинической безопасности изделия при применении его в соответствии с назначением и в условиях, предусмотренных изготовителем.
[ГОСТ Р 56429-2015, пункт 3.1] |
3.13 клиническое испытание [исследование]; КИ (clinical trials): Испытание (исследование) с участием человека в качестве субъекта испытания (исследования), проводимое с целью изучения безопасности и (или) эффективности испытуемого (исследуемого) медицинского изделия и (или) метода диагностики или лечения, связанного с его применением.
Примечания
1 См. [2].
2 Методология проведения клинического испытания (исследования) системы искусственного интеллекта подразумевает использование в качестве субъекта исследования набор данных, который получен с участием человека путем ретроспективного анализа и т.п.
3.14
|
медицинская организация (healthcare organization): Юридическое лицо независимо от организационно-правовой формы, осуществляющее в качестве основного (уставного) вида деятельности медицинскую деятельность на основании лицензии, выданной в порядке, установленном законодательством Российской Федерации о лицензировании отдельных видов деятельности.
[ГОСТ Р 58451-2019, пункт 3.10] |
3.15 медицинские изделия (medical device): Любые инструменты, аппараты, приборы, оборудование, материалы и прочие изделия, применяемые в медицинских целях отдельно или в сочетании между собой, а также вместе с другими принадлежностями, необходимыми для применения указанных изделий по назначению, включая специальное программное обеспечение, и предназначенные производителем для профилактики, диагностики, лечения и медицинской реабилитации заболеваний, мониторинга состояния организма человека, проведения медицинских исследований, восстановления, замещения, изменения анатомической структуры или физиологических функций организма, предотвращения или прерывания беременности, функциональное назначение которых не реализуется путем фармакологического, иммунологического, генетического или метаболического воздействия на организм человека.
Примечание - См. [3], статья 38.
3.16
|
метаданные (metadata): Информация о ресурсе.
Примечание - Метаданные бывают трех типов:
- описательные (служат для обнаружения, сбора или группирования данных по общим для них характеристикам);
- структурные (определяют состав или организацию набора данных);
- административные (используются для управления базой данных).
[ГОСТ Р 57668-2017, пункт 4.10] |
3.17 набор данных (data set): Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимости для разработки программного обеспечения на основе искусственного интеллекта.
Примечание - См. [4].
3.18
|
отчет по клинической оценке (report of clinical evaluation): Документально оформленный результат анализа и оценки клинических данных.
[ГОСТ Р 56429-2015, пункт 3.2] |
3.19 программа клинического [клинико-лабораторного] испытания [исследования] (clinical trial protocol, clinical investigation plan): Документ, в котором установлены обоснование, цели, дизайн клинического (клинико-лабораторного) испытания (исследования) и предполагаемый анализ, методология, мониторинг, проведение записей о клиническом (клинико-лабораторном) испытании (исследовании).
Примечание - См. [2]
3.20 программное обеспечение, являющееся медицинским изделием (software as a medical device): Программное обеспечение, предназначенное изготовителем для использования в медицинских целях, не являющееся составной частью и (или) принадлежностью другого медицинского изделия.
Примечания
1 Программное обеспечение является медицинским изделием, при условии соответствия его следующим критериям (см. [5], пункт 18):
- программное обеспечение представляет собой программу для электронно-вычислительной машины или программные модули вне зависимости от используемой аппаратной платформы, а также способов размещения программного обеспечения и предоставления доступа к нему;
- программное обеспечение не является составной частью другого медицинского изделия;
- программное обеспечение предназначено изготовителем для оказания медицинской помощи;
- результат действия программного обеспечения заключается в интерпретации данных в автоматическом режиме, в том числе с использованием технологий искусственного интеллекта, или по заданным медицинским работником параметрам, влияющим на принятие клинических решений, набора данных.
2 См. [6], пункт 5.0.
3.21
|
система искусственного интеллекта; СИИ (artificial intelligence system): Программное обеспечение, в котором используются технологические решения искусственного интеллекта.
[Адаптировано из ГОСТ Р 59276-2020, пункт 3.16] |
3.22 система менеджмента качества системы искусственного интеллекта (quality management system for artificial intelligence systems): Организационная структура, функции, процедуры, процессы и ресурсы, необходимые для скоординированной деятельности по руководству и управлению изготовителем системы искусственного интеллекта применительно к качеству.
3.23 специфичность (specificity): Доля лиц с отрицательным результатом в целевой популяции без изучаемого заболевания (т.е. вероятность того, что объекты без изучаемого заболевания будут определены как здоровые).
3.24 технологии искусственного интеллекта (artificial intelligence technology): Комплекс технологических решений и методов, направленных на создание систем искусственного интеллекта.
3.25 чувствительность (sensitivity): Доля лиц с положительным результатом для целевой популяции с изучаемым заболеванием (т.е. вероятность того, что объекты с изучаемым заболеванием будут определены как патологичные).
3.26 эффективность (efficiency): Совокупность свойств и характеристик системы искусственного интеллекта, обеспечивающих достижение целей предназначения, установленных изготовителем и подтвержденных практикой клинического применения.
4 Методология проведения клинической оценки
4.1 Общие положения
СИИ должна проходить клиническую оценку, включающую аналитическую и клиническую валидацию, а также установление клинической связи (см. рисунок 1), при этом в процессе проведения клинической оценки выполняют анализ эффективности, безопасности и качества использования СИИ при ее использовании по назначению изготовителя.
4.2 Этапы клинической оценки
4.2.1 Аналитическая валидация
Аналитическая валидация подтверждает способность СИИ точно, воспроизводимо и надежно генерировать предполагаемые результаты вычислений из входных данных.
Аналитическая валидация включает:
- подтверждение и предоставление объективных доказательств того, что программное обеспечение было правильно сконструировано, а именно правильно и надежно обрабатывает входные данные и генерирует выходные данные с надлежащим уровнем точности, а также повторяемостью и воспроизводимостью;
- подтверждение того, что СИИ соответствует заявленным требованиям изготовителя, а также что требования к СИИ соответствуют потребностям пользователя и предполагаемому использованию.
4.2.2 Клиническая связь
В рамках оценки клинической связи необходимо обосновать соответствие выходных данных СИИ заявленному изготовителем ее функциональному назначению [1].
Примечание - Клиническая связь подтверждает свойство СИИ генерировать выходные данные, которые коррелируют с клиническими факторами исследуемого объекта.
|
Рисунок 1 - Этапы клинической оценки СИИ
Определение клинической связи выполняют путем анализа имеющихся данных или получения новой информации, обосновывающей наличие связи между выходными данными СИИ и его функциональным назначением [1].
Примеры имеющихся данных включают литературные источники, документацию, рекомендации профессионального сообщества, проведенные предварительные клинико-технические испытания. Примеры новой информации, обосновывающей наличие клинической связи, включают анализ выходных данных после апробации СИИ, выполнение КИ.
4.2.3 Клиническая валидация
4.2.3.1 Общие положения
В рамках клинической валидации необходимо подтвердить способность СИИ выдавать клинически значимые выходные данные, соответствующие целевому назначению СИИ, в том числе в ходе клинической практики [1].
4.2.3.2 Порядок проведения клинической валидации
Клиническая валидация состоит в оценке эффективности (подтверждение достижения намеченной цели в целевой выборке при практическом применении при использовании выходных данных).
Примечание - Выполнение клинической валидации необходимо для подтверждения эффективности (клинической ценности для пациента) применения СИИ в рамках установленного функционального назначения.
4.2.3.3 Процедуры проведения клинической валидации
С целью клинической валидации СИИ разрабатывают дизайн КИ и в соответствии с ним исследователи формируют набор данных.
Клиническую валидацию СИИ проводят на наборе данных, который не был использован для обучения, настройки и первичной оценки СИИ.
Помимо расчета показателей клинической валидации (чувствительность, специфичность и др.), на этом этапе следует протестировать устойчивость модели к изменениям входных данных (например, данные из иной медицинской организации, которые не участвовали в процессе обучения).
По результатам проведения оценки клинической связи и клинической валидации оформляют отчетные документы, подтверждающие результаты клинических испытаний (исследований) СИИ, в том числе на основании требований действующих нормативных правовых актов (НПА).
5 Порядок проведения клинических испытаний (исследований) систем искусственного интеллекта
5.1 Общие положения
КИ (как часть клинической оценки) СИИ могут быть проведены для проверки эффективности СИИ, обеспечения доверия к СИИ со стороны пользователей, в целях оценки возможности дальнейшего практического применения, и должны соответствовать требованиям соответствующих НПА.
Виды клинических испытаний (исследований) СИИ:
1 КИ с целью регистрации СИИ в качестве медицинского изделия. Данный вид испытаний проводят в соответствии с действующими НПА.
2 Предварительные клинико-технические испытания.
Предварительные клинико-технические испытания (ПКТИ) представляют собой разработанное и запланированное испытание, предпринятое для предварительной, научно-практической оценки безопасности и потенциальной эффективности СИИ [7].
ПКТИ проводят с целью получения дополнительных знаний о возможностях и ограничениях СИИ. ПКТИ применимы в контексте научно-исследовательских, опытно-конструкторских работ, а также в качестве инструмента оценки медико-технической готовности СИИ для применения в реальных клинических условиях. По завершении ПКТИ результаты клинической составляющей испытаний следует оформлять в виде отчета в соответствии с приложением А.
3 Иные виды КИ.
КИ проводят в соответствии с программой и методикой для оценки эффективности и безопасности применения СИИ.
5.2 Этические нормы при проведении клинических испытаний (исследований)
В рамках подготовки и проведения КИ СИИ возможно рассмотрение вопросов, связанных с этическими нормами применения искусственного интеллекта (ИИ).
Данные вопросы могут быть подняты на следующих этапах работы:
- при рассмотрении программы: одобрение дизайна испытаний (исследований), процедуры формирования набора данных;
- при оценке соответствия квалификации исследователей предлагаемому испытанию (исследованию);
- при контроле сбора данных и формирования наборов данных для проведения КИ СИИ;
- при анализе возможных неблагоприятных событий, возникающих при использовании СИИ;
- при анализе документов с результатами клинических испытаний (исследований);
- и др. [2].
5.3 Требования к персоналу, проводящему клинические испытания (исследования)
Эксперты и исследователи, принимающие участие в проведении КИ и последующей оценке полученных результатов, должны иметь квалификацию, подтвержденную обучением, стажировкой или наличием опыта выполнения по специализации в соответствии с назначением СИИ, что должно быть подтверждено сведениями об образовании, профессиональной сертификации/лицензиях, статусе в профессиональных/научных ассоциациях/организациях и прочим (подтверждено документально) (см. ГОСТ Р 56429).
В соответствии с ГОСТ Р 56429 установленные требования к исследователям, участвующим в проведении КИ, необходимы для демонстрации того, что они могут принять на себя ответственность за надлежащее проведение клинической оценки.
Примечание - Данное требование к персоналу, проводящему клинические испытания (исследования), неприменимо к экспертам регулирующего органа, а также его подведомственных учреждений, которые осуществляют оценку результатов клинических испытаний (исследований).
5.4 Подготовительные работы
5.4.1 Общие положения
До начала проведения КИ должны быть выполнены следующие действия:
- получена от изготовителя документация на СИИ;
- проведены технические испытания СИИ и получены акты, протоколы оценки результатов технических испытаний (за исключением проведения предварительных клинико-технических испытаний);
- заключен договор на проведение КИ;
- определено предусмотренное изготовителем назначение СИИ на основании представленной изготовителем эксплуатационной и/или технической документации;
- идентифицированы заявленные изготовителем уровни эффективности и безопасности СИИ, требующие подтверждения (показатели клинической валидации);
- составлена и направлена в независимый этический комитет программа клинических испытаний (исследований);
- проведена инсталляция СИИ (при необходимости).
5.4.2 Программа клинических испытаний (исследований)
Программу КИ разрабатывают в соответствии с описанием назначения СИИ, анализом данных, касающихся эксплуатационных характеристик СИИ, и предполагаемым методом применения.
Программа КИ должна быть разработана таким образом, чтобы полученные результаты испытаний (исследований) позволили оценить, подходит ли исследуемая СИИ для цели(ей) и групп пациентов, для которой(ых) она предназначена [8], а также ее клиническую эффективность.
В программе КИ должны быть четко определены гипотеза и цели КИ (первичные и вторичные), а также объем выборки, заявленные характеристики и предполагаемая эффективность изделия, которые следует верифицировать.
В программе КИ должны быть указаны методы анализа и обработки данных, включая статистические методы обоснования объема выборки.
5.5 Проведение клинических испытаний (исследований)
Главный исследователь, исследователи и другие лица, задействованные в КИ, должны следовать программе клинических испытаний (исследований).
Документы и данные необходимо создавать и поддерживать таким образом, чтобы обеспечивать возможность управления и прослеживаемость.
5.6 Завершение клинических испытаний (исследований)
После завершения КИ должны быть оформлены отчетные документы, подтверждающие результаты клинических испытаний (исследований) СИИ в соответствии с применимыми регулирующими требованиями, даже если КИ было прекращено (см. 5.7).
Отчетные документы по результатам КИ должны быть оформлены в соответствии с ГОСТ Р ИСО 14155 и действующими НПА.
Заявитель и главный исследователь должны хранить отчетные документы по КИ, согласно применимым регулирующим требованиям, но не менее трех лет с даты завершения КИ. Заявитель и главный исследователь должны использовать процедуры по предотвращению случайного или преднамеренного уничтожения данных документов. Главный исследователь или заявитель могут передавать обязанности по ответственному хранению документов другим лицам/сторонам, при этом необходимо документально подтверждать данную передачу в соответствии с действующими НПА по защите персональных данных.
Процедуры завершения (закрытия) необходимо проводить для подтверждения того, что все документы, необходимые заявителю, получены, СИИ деинсталлирована, идентифицированные ранее проблемы решены и все стороны уведомлены.
5.7 Приостановка и прекращение клинических испытаний (исследований)
Если преждевременно происходит прекращение или приостановление испытаний (исследований) без предварительного согласия заявителя, необходимо незамедлительно проинформировать об этом заявителя, а также предоставить подробное письменное объяснение причины приостановки или прекращения испытания (исследования). Вне зависимости от причины приостановки или прекращения КИ должны быть в полном объеме соблюдены все процедуры, обеспечивающие безопасность вовлеченных в него данных.
Возможные причины прекращения или приостановки клинических испытаний (исследований) СИИ:
- отказ работы СИИ;
- пересмотр программы КИ в процессе испытаний (исследований).
Заявитель может приостановить или прекратить (досрочно завершить) любое клиническое испытание (исследование) в определенном исследовательском центре или все клиническое испытание (исследование) по существенным и документированным причинам.
Главный исследователь, независимый этический комитет или регулирующий орган может приостановить или прекратить участие в клиническом испытании (исследовании) исследовательского центра, за который они ответственны.
Если возникает подозрение на неприемлемый риск для субъектов во время клинического испытания (исследования) или если это предписано независимым этическим комитетом или регулирующими органами, заявитель должен приостановить клиническое испытание (исследование) до тех пор, пока оценивается риск клинического испытания (исследования). Заявитель должен прекратить клиническое испытание (исследование), если подтверждается неприемлемый риск.
Заявитель должен рассматривать возможность прекращения или приостановки участия в клиническом испытании (исследовании) определенного исследовательского центра или исследователя, если мониторинг или аудит выявляет серьезные или неоднократные отклонения со стороны исследователя.
6 Показатели эффективности систем искусственного интеллекта в рамках клинической валидации
6.1 Общие положения
В целях оценки эффективности СИИ для выполнения клинической валидации применяют набор данных. Размер набора данных (т.е. размер выборки) для оценки характеристик СИИ устанавливают с помощью методик определения размера выборки для пропорций и с учетом правил статистики (например, с использованием метода установления требуемой точности для оцениваемой чувствительности, специфичности).
При проведении клинической валидации необходимо использовать верифицированный набор данных.
Для каждого конкретного случая использования СИИ исследователями должны быть заданы параметры эффективности СИИ, и для проверки в рамках КИ должны быть переданы показатели от изготовителя для СИИ.
Структура и порядок применения набора данных должны соответствовать требованиям ГОСТ Р 59921.5.
6.2 Примеры показателей
Набор показателей в рамках клинической валидации (параметры эффективности) устанавливает изготовитель СИИ в зависимости от назначения СИИ, а также с учетом общепризнанного уровня развития знаний.
В таблице 1 приведены виды результатов применения ИИ в случае ответов в бинарной системе (0/1) [7]. В таблице 2 представлены примеры показателей для клинической валидации и подходы к их оценке.
Таблица 1 - Виды результатов применения ИИ в соответствии с четырехпольной таблицей (на примере ответа, представляющего собой бинарную переменную)
|
|
|
|
Вид результата | |||
Истинно положительный (ИП) | Истинно отрицательный (ИО) | Ложноположительный (ЛП) | Ложноотрицательный (ЛО) |
СИИ выявила патологию при ее наличии | СИИ не выявила патологию при ее отсутствии | СИИ выявила патологию при ее отсутствии | СИИ не выявила патологию при ее наличии |
Таблица 2 - Расчет примеров показателей для клинической валидации
|
|
|
Показатель | Значение | Формула |
Чувствительность | Доля лиц с отрицательным результатом работы СИИ в целевой популяции без изучаемого заболевания | ИП/(ИП+ЛО) |
Специфичность | Доля лиц с отрицательным результатом работы СИИ в целевой популяции без изучаемого заболевания | ИО/(ИО+ЛП) |
Прогностическая ценность положительного результата (PPV) | Вероятность заболевания при положительном результате СИИ | ИП/(ИП+ЛП) |
Прогностическая ценность отрицательного результата (NPV) | Вероятность отсутствия заболевания при отрицательном (нормальном) результате СИИ | ИО/(ИО+ЛО) |
Отношение правдоподобия положительного результата (LR+) | Математически отображает, во сколько раз при положительном результате СИИ вероятность наличия целевой патологии превышает вероятность его отсутствия | Чувствительность/ (1-специфичность) |
Отношение правдоподобия отрицательного результата (LR-) | Математически отображает, во сколько раз при отрицательном результате СИИ вероятность наличия целевой патологии превышает вероятность его отсутствия | (1-чувствительность)/ специфичность |
7 Контроль качества процедуры проведения клинических испытаний (исследований) систем искусственного интеллекта
7.1 Общие положения
Весь процесс КИ сопровождается соблюдением общих принципов обеспечения качества. Система менеджмента качества подразумевает выполнение определенных требований, контроль над их выполнением и документирование, а также проведение контрольно-надзорных мероприятий в соответствии с действующими НПА.
Контроль качества осуществляют на всех этапах выполнения КИ СИИ ввиду необходимости обеспечения достоверности. Созданные и разработанные документы должны быть оформлены соответствующим образом и должны подлежать хранению после окончания КИ.
7.2 Ответственность заявителя при проведении КИ
Заявитель КИ отвечает за выбор исследовательского центра, за инициацию проведения КИ, предоставление прямого доступа к технической и эксплуатационной документации (в том числе руководству пользователя к СИИ), а также предоставления остального комплекта документов, установленного НПА, исследователям.
Заявитель КИ дает доступ к СИИ (оказывает содействие в инсталляции исследуемой СИИ, включая предоставление специального оборудования, разработанного изготовителем (при наличии)).
Заявитель КИ выполняет доработку технической и эксплуатационной документации согласно замечаниям исследователей (при необходимости).
Заявитель КИ должен согласовывать программу КИ и должен избегать злоупотребления влиянием или мотивации субъекта, наблюдателя, исследователя(ей) или других сторон, принимающих участие или обеспечивающих проведение клинического испытания (исследования).
Заявитель КИ должен оценивать степень и вид мониторинга, подходящего для клинического испытания (исследования).
Заявитель КИ должен хранить документы по клиническому испытанию (исследованию), как того требуют применимые регулирующие требования. Он должен предпринимать меры по предотвращению случайного или преднамеренного уничтожения данных документов. Заявитель КИ может передавать обязанности по хранению документов другим лицам/сторонам в исследовательском центре или учреждении заявителя КИ, при этом необходимо документально подтверждать данную передачу.
Приложение А
(справочное)
Рекомендованная форма отчета о клинической составляющей предварительных клинико-технических испытаний (ПКТИ) СИИ
Таблица А.1 - Рекомендованное содержание отчета о ПКТИ
|
|
Пункт | Пояснение |
Медицинская организация | Полное название медицинской организации, на базе которой проведены ПКТИ |
Контактная информация | Контактная информация медицинской организации (адрес, телефон, сайт, электронная почта) |
Даты проведения ПКТИ | Диапазон дат проведения ПКТИ |
Резюме | Структурированное изложение дизайна исследования, материалов, методов, результатов и выводов |
Цель, задачи и конечный результат ПКТИ | Структурированное указание целей, задач выполнения ПКТИ и ожидаемого конечного результата |
Набор данных | Детальная характеристика использованных для ПКТИ наборов данных |
Вид данных | Вид(ы) данных (медицинская документация, результаты исследований и прочее), модальности для исследований, другие характеристики |
Количество включенных клинических случаев | Количество включенных клинических случаев (пациентов, результатов исследований и др.) |
Характеристика выборки | Характеристика популяции (расовые, гендерно-демографические, иные характеристики) |
Характеристика набора данных и разметки | Сведения о том, где и когда сформирован набор данных с указанием ключевых характеристик (государственная регистрация базы данных, сведения о деперсонализации, о наличии информированного добровольного согласия пациентов, критерии включения/исключения, источники клинических случаев).
Способ подготовки (разметки) набора данных |
Характеристика патологии в наборе данных | Целевая патология и диагностические группы с распределением по ним. Способ верификации и наличие соответствующей информации в наборе данных |
Способ формирования набора данных | Набор данных сформирован последовательно, случайно или другими способами. Обоснование размера выборки |
Источники данных | Количество и локализация медицинских учреждений, послуживших источниками клинических случаев, включенных в ПКТИ |
Отметка о независимости ПКТИ | Набор данных, использованный для ПКТИ, не должен как полностью, так и частично использоваться для обучения или калибровки индекса-теста |
Тестирование СИИ на наборе данных | Информация об использовании, инсталляции, организации доступа и прочие характеристики тестирования СИИ на наборе данных |
Процесс ПКТИ | Краткое общее описание процесса исследования; возможно использование схем, диаграммы CONSORT |
Таблица результатов | Комбинированная таблица результатов сравнения показателя набора данных и результата тестирования СИИ на наборе данных |
Порог активации | Точка отсечения (cut-off) для тестирования СИИ на наборе данных, включая разделение исходов на "ожидаемые" и "непредвиденные" |
Показатели диагностической точности | Метрики диагностической точности с 95%-ным доверительным интервалом (чувствительность, специфичность, общая точность, площадь под характеристической кривой и т.д.) |
Ограничения | Любые ограничения ПКТИ, включая источники систематических ошибок, статистических неточностей и обобщений. Любые значимые различия в методиках формирования набора данных и тестирования СИИ на наборе данных |
Выводы | Краткое обобщение результатов |
Источники финансирования ПКТИ | Указание источника финансирования работ, связанных с проведением ПКТИ |
Прочее | Произвольная дополнительная информация |
Список исполнителей | Список сотрудников учреждения, проводивших ПКТИ (ФИО, должность, ученое звание/степень) |
Дата подписания отчета | - |
Подпись ответственного исполнителя | Личная подпись ответственного исполнителя ПКТИ, фамилия/имя/отчество |
Подпись руководителя медицинской организации | Личная подпись руководителя учреждения, фамилия/имя/отчество |
Печать медицинской организации | - |
Библиография
|
|
[1] | IMDRF/SaMD WG/N41 - Software as a Medical Device (SaMD): Clinical Evaluation, 2017
|
[2] | Решение Совета Евразийской экономической комиссии от 12 февраля 2016 г. N 29 "О правилах проведения клинических и клинико-лабораторных испытаний (исследований) медицинских изделий"
|
[3] | Федеральный закон от 21 ноября 2011 г. N 323-ФЗ "Об основах охраны здоровья граждан в Российской Федерации"
|
[4] | Указ Президента Российской Федерации от 10 октября 2019 г. N 490 "О развитии искусственного интеллекта в Российской Федерации"
|
[5] | Рекомендация Коллегии Евразийской экономической комиссии от 12 ноября 2018 г. N 25 "О Критериях отнесения продукции к медицинским изделиям в рамках Евразийского экономического союза"
|
[6] | IMDRF/SaMD WG/N10 - Software as a Medical Device (SaMD): Key Definitions, 2013
|
[7] | Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика)/С.П.Морозов и др./Серия "Лучшие практики лучевой и инструментальной диагностики". - М., 2019. - Вып.57. - 51 с.
|
[8] | Управление клиническими исследованиями/под общ. ред. Д.Ю.Белоусова, С.К.Зырянова, А.С.Колбина. - 1-е изд. - М. : Буки Веди: Издательство ОКИ, 2017. - 676 с. |
|
|
УДК 615.841:006.354
| ОКС 11.040.01 |
Ключевые слова: клинические (исследования), система искусственного интеллекта, искусственный интеллект, клиническая оценка | |
