ГОСТ Р 59921.2-2021 Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний

    ГОСТ Р 59921.2-2021

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В КЛИНИЧЕСКОЙ МЕДИЦИНЕ

Часть 2

Программа и методика технических испытаний

Artificial Intelligence Systems in Clinical Medicine. Part 2. Program and methodology of technical validation

ОКС 11.040.01

Дата введения 2022-03-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением "Российский институт стандартизации" (ФГБУ "РСТ"), Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 2 декабря 2021 г. N 1670-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

1 Область применения

Настоящий стандарт устанавливает общие подходы к проведению технических испытаний систем искусственного интеллекта.

Технические испытания проводятся в соответствии с программой и методикой для оценки соответствия характеристик системы искусственного интеллекта требованиям технической и эксплуатационной документации изготовителя, заявленным стандартам, применимым регулирующим требованиям и т.д., в том числе с целью принятия решения о возможности проведения последующих клинических испытаний [1].

Настоящий стандарт применим к системам искусственного интеллекта как программному обеспечению, являющемуся медицинским изделием.

Настоящий стандарт определяет методологическую основу по составлению программы и методики технических испытаний систем искусственного интеллекта.

2 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

2.1

Примечания

1 Безопасность систем искусственного интеллекта предполагает их функционирование в соответствии с тем, как определил изготовитель, при использовании по назначению в условиях, предусмотренных изготовителем, и без нарушений безопасности обрабатываемой информации.

2 Условия использования могут включать уровень технический знаний, наличие опыта, образования и специальной подготовки пользователей, наличие заболеваний и данных о физическом состоянии потенциальных пациентов.

3 Безопасность системы искусственного интеллекта предполагает соблюдение требований по защищенности систем искусственного интеллекта и данных, а также прозрачности алгоритмов, бесперебойности, отсутствие ошибок в работе систем искусственного интеллекта и выполнение требований качества (см. [2]*).

2.2 воспроизводимость: Свойство процесса получать одинаковые результаты испытаний в разных средах испытаний.

Примечание - Разные среды означают разные компьютеры, жесткие диски, операторы и т.д.

2.3

2.4

2.5 качество системы искусственного интеллекта: Совокупность свойств и характеристик системы искусственного интеллекта, влияющих на ее способность действовать по назначению при условии соответствия требованиям технической и эксплуатационной документации изготовителя (производителя).

Примечание - См. [1].

2.6 медицинские изделия: Любые инструменты, аппараты, приборы, оборудование, материалы и прочие изделия, применяемые в медицинских целях отдельно или в сочетании между собой, а также вместе с другими принадлежностями, необходимыми для применения указанных изделий по назначению, включая специальное программное обеспечение, и предназначенные производителем для профилактики, диагностики, лечения и медицинской реабилитации заболеваний, мониторинга состояния организма человека, проведения медицинских исследований, восстановления, замещения, изменения анатомической структуры или физиологических функций организма, предотвращения или прерывания беременности, функциональное назначение которых не реализуется путем фармакологического, иммунологического, генетического или метаболического воздействия на организм человека.

Примечание - См. [3, статья 38].

2.7 методика [метод] измерений: Совокупность конкретно описанных операций, выполнение которых обеспечивает получение результатов измерений с установленными показателями точности.

Примечание - См. [4].

2.8 повторяемость: Свойство процесса, проводимого для получения одинаковых результатов испытаний в одной и той же среде испытаний.

Примечание - Одна и та же среда испытаний означает одинаковый компьютер, жесткий диск, режим работы и т.д.

2.9

2.10 программное обеспечение, являющееся медицинским изделием: Программное обеспечение, предназначенное изготовителем для использования в медицинских целях, не являющееся составной частью и/или принадлежностью другого медицинского изделия.

Примечания

1 Программное обеспечение является медицинским изделием, при условии соответствия его следующим критериям (см. [5], пункт 18):

- программное обеспечение представляет собой программу для электронно-вычислительной машины или программные модули вне зависимости от используемой аппаратной платформы, а также способов размещения программного обеспечения и предоставления доступа к нему;

- программное обеспечение не является составной частью другого медицинского изделия;

- программное обеспечение предназначено изготовителем для оказания медицинской помощи;

- результат действия программного обеспечения заключается в интерпретации данных в автоматическом режиме, в том числе с использованием технологий искусственного интеллекта, или по заданным медицинским работником параметрам, влияющим на принятие клинических решений, набора данных.

2 См. [6], пункт 5.0.

2.11

2.12

2.13

2.14 система менеджмента качества системы искусственного интеллекта: Организационная структура, функции, процедуры, процессы и ресурсы, необходимые для скоординированной деятельности по руководству и управлению изготовителем системы искусственного интеллекта применительно к качеству.

2.15 технические испытания: Испытания с целью определения соответствия характеристик (свойств) системы искусственного интеллекта заявленным характеристикам данной системы.

2.16

2.17

3 Общие указания по составлению программы и методики технических испытаний

Виды технических испытаний (ТИ) системы искусственного интеллекта (СИИ):

а) предварительные ТИ (проводимые изготовителем в рамках системы менеджмента качества (при наличии, соответствует контрольным испытаниям СИИ с целью определения возможности ее предъявления на приемочные испытания));

б) приемочные ТИ (проводимые с целью решения вопроса о целесообразности постановки СИИ на производство и/или использования по назначению);

в) ТИ с целью регистрации СИИ в качестве медицинского изделия. Данный вид испытаний проводится в соответствии с действующими нормативными правовыми актами;

г) периодические испытания (контрольные испытания СИИ, проводимые в объемах и в сроки, установленные нормативно-технической документацией, с целью контроля стабильности качества СИИ и возможности продолжения ее выпуска);

д) иные виды ТИ.

В ходе проведения ТИ СИИ оценивают:

а) соответствие СИИ применимым регулирующим требованиям, требованиям действующих национальных (международных) стандартов, нормативной документации, а также технической и эксплуатационной документации изготовителя;

б) качество и полнота эксплуатационной документации изготовителя сточки зрения возможности применения СИИ по назначению [7];

в) качество и безопасность СИИ согласно ее назначению.

Технические испытания СИИ проводятся:

- для подтверждения и предоставления объективных доказательств, что СИИ была правильно спроектирована;

- СИИ корректно обрабатывает входные данные и генерирует точно и надежно выходные данные;

- СИИ соответствует заявленным изготовителем характеристикам.

Выполнение ТИ должно гарантировать, что все этапы проектирования и разработки СИИ были выполнены корректно.

Выполнение ТИ может осуществляться:

- изучением предоставленных изготовителем результатов проведения ТИ (при наличии);

- созданием новых доказательств в ходе независимого от изготовителя проведения ТИ.

3.1 Программа технических испытаний

Программу ТИ разрабатывают с целью определения соответствия характеристик (свойств) СИИ требованиям нормативной документации, технической и эксплуатационной документации производителя (изготовителя).

Она должна содержать информацию об объекте испытаний, цели испытаний, месте проведения испытаний, перечне нормативной документации и методике проведения ТИ.

В рамках проведения ТИ, в зависимости от их формы (см. пункт 5) возможны дополнения/изменения в перечне предоставляемой информации в Программе ТИ.

Примечание

Примеры дополнений к программе ТИ:

- перечень проверяемых параметров и характеристик;

- перечень испытательного оборудования и материалов (при необходимости).

Программа и методика испытаний должны устанавливать необходимый и достаточный объем испытаний, обеспечивающих заданную достоверность получаемых результатов.

3.1.1 Объект технических испытаний

При формировании программы ТИ необходимо указывать сведения о СИИ, подвергаемому испытаниям (наименование, область применения), количество требуемых для проведения ТИ образцов, подходы к определению "типовых" образцов и т.д.

3.1.2 Цель технических испытаний

Цель проведения ТИ - анализ и оценка СИИ согласно методике ТИ с учетом вида ТИ.

3.1.3 Место проведения технических испытаний

Должно быть указано наименование, адрес и телефон, где проводятся ТИ.

3.1.4 Нормативные документы, используемые при проведении технических испытаний

Указывается перечень документации, регламентирующей требования безопасности и качества, в целях подтверждения соответствия которым планируется проводить ТИ, а также методы контроля соответствия медицинского изделия этим требованиям.

Примечание

Примеры стандартов:

- ГОСТ Р ИСО/МЭК 12119-2000 "Информационная технология. Пакеты программ. Требования к качеству и тестирование".

- ГОСТ Р ИСО/МЭК 9126-93 "Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению".

- ГОСТ Р 51188-98 "Защита информации. Испытания программных средств на наличие компьютерных вирусов. Типовое руководство".

- ГОСТ Р МЭК 62304-2013 "Изделия медицинские. Программное обеспечение. Процессы жизненного цикла".

- ГОСТ 34.603-92 "Информационная технология. Виды испытаний автоматизированных систем".

3.1.5 Методика технических испытаний

Последовательность мероприятий, виды тестирования (испытаний), методы испытаний, форма представления данных и оценивания точности, достоверности результатов, условия испытаний и другие аспекты проведения ТИ отражаются в "Методике технических испытаний", которая должна включать, в том числе оценку производительности (например, время, затрачиваемое на обработку СИИ предоставленного набора данных), повторяемость, воспроизводимость и т.п.

Примечание

Пример -

Изготовитель СИИ 1 выполняет испытания "в ручном режиме".

Изготовитель СИИ 2 применяет инструментарий для автоматизированных испытаний, который обеспечивает непрерывный цикл испытаний и сборки. Там, где автоматизация невозможна, выделенный испытатель запускает испытания вручную перед каждым релизом.

Таким образом, оба изготовителя реализуют разными способами технические испытания (См. [8])

В рамках системы менеджмента качества изготовителю СИИ рекомендуется проводить предварительные технические испытания с целью анализа и проверки, насколько СИИ соответствует заявленным в технической и эксплуатационной документации характеристикам.

В зависимости от вида требований, предъявляемых к СИИ на испытаниях, проверке в ней подвергают:

- комплекс определенных программных средств (программный алгоритм, модуль и пр.);

- СИИ в целом.

Техническая и эксплуатационная документация может подлежать оценке на соответствие требованиям нормативных документов.

При испытаниях СИИ проверяют:

- качество выполнения СИИ собственного функционального назначения во всех режимах функционирования СИИ;

- возможность использования эксплуатационной документации изготовителя при применении СИИ по назначению;

- полноту и объективность установленных в технической документации производителя характеристик, подлежащих контролю при технических испытаниях, а также методы испытаний;

- качество СИИ и безопасность ее применения;

- другие возможные свойства СИИ, которым она должна соответствовать согласно документации изготовителя СИИ.

3.1.5.1 Документация от изготовителя

Указывается состав документации, предъявляемой на ТИ, а также специальные требования, если они заданы в техническом задании на СИИ.

3.1.5.2 Оформление результатов технических испытаний

Результаты проведенных испытаний необходимо оформлять в виде протокола и акта испытаний (в случае отсутствия иных требований к оформлению, установленных на законодательном уровне).

Протокол испытаний должен содержать следующую информацию:

- название СИИ;

- наименование и адрес проведения ТИ;

- наименование и контактные данные изготовителя;

- указание методик, в соответствии с которыми проводились испытания, обработка и оценка результатов;

- условия проведения испытаний;

- описание, однозначную идентификацию СИИ;

- даты проведения ТИ, составления протокола ТИ;

- результаты, где это применимо, с единицами измерения;

- дополнения, отклонения от методики ТИ;

- выводы о результатах испытаний и соответствии СИИ документации изготовителя СИИ;

- идентификацию лиц(а), утвердивших(его) протокол ТИ;

- однозначную идентификацию результатов, полученных от внешних поставщиков (при их наличии).

Библиография