ГОСТ Р 59921.9-2022 Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа данных в клинической физиологии. Методы испытаний. Общие требования

        ГОСТ Р 59921.9-2022

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В КЛИНИЧЕСКОЙ МЕДИЦИНЕ. АЛГОРИТМЫ АНАЛИЗА ДАННЫХ В КЛИНИЧЕСКОЙ ФИЗИОЛОГИИ

Методы испытаний. Общие требования

Artificial intelligence systems in clinical medicine. Algorithms for data analysis in clinical physiology. Testing methods. General requirements

ОКС 11.040.01

Дата введения 2023-01-01

Предисловие

1 РАЗРАБОТАН Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2022 г. N 1144-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Применение в сфере здравоохранения программного обеспечения и различных программно-аппаратных комплексов, созданных с использованием технологий искусственного интеллекта, активно развивается. Этому способствуют появление различных наборов медицинских данных, увеличение вычислительных мощностей, развитие облачных сервисов, а также многочисленные публикации и примеры эффективности и перспективности прикладных решений.

В настоящем стандарте рассмотрена надлежащая клиническая практика планирования, проведения, документального оформления и представления результатов клинической оценки систем искусственного интеллекта, применяемых для анализа и/или обработки данных в области клинической физиологии.

Настоящий стандарт входит в комплекс стандартов "Системы искусственного интеллекта в клинической медицине" и устанавливает дополнительные требования к алгоритмам анализа данных и методам испытаний систем искусственного интеллекта, применяемых в области клинической физиологии.

1 Область применения

Настоящий стандарт распространяется на интеллектуальный анализ данных, полученных методами исследования в клинической физиологии, и определяет организацию работ по стандартизации испытаний алгоритмов и систем искусственного интеллекта (СИИ), применяемых для обработки и анализа данных.

Настоящий стандарт устанавливает требования:

- к процессам создания, подготовки [сегментация, измерение, детектирование, маркировка (аннотирование) и классификация] наборов данных для испытаний СИИ;

- структуре, порядкам применения и условиям доступа наборов данных;

- организации терминологических ресурсов и представлению результатов анализа данных;

- информационному взаимодействию между медицинскими приборами, интеллектуальными системами и другими системами автоматизации, используемыми в здравоохранении;

- процессам и результатам технических, стендовых, лабораторных и клинических испытаний, пострегистрационного, эксплуатационного контроля программного обеспечения и программно-аппаратных комплексов на основе технологий искусственного интеллекта;

- форме и содержанию результатов работы программного обеспечения и программно-аппаратных комплексов на основе технологий искусственного интеллекта в соответствии с решаемыми задачами в сфере медицины и здравоохранения.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 7.24 Система стандартов по информации, библиотечному и издательскому делу. Тезаурус информационно-поисковый многоязычный. Состав, структура и основные требования к построению

ГОСТ 7.25 Система стандартов по информации, библиотечному и издательскому делу. Тезаурус информационно-поисковый одноязычный. Правила разработки, структура, состав и форма представления

ГОСТ 19781 Обеспечение систем обработки информации программное. Термины и определения

ГОСТ ISO 14971 Изделия медицинские. Применение менеджмента риска к медицинским изделиям

ГОСТ Р 8.568 Государственная система обеспечения единства измерений. Аттестация испытательного оборудования. Основные положения

ГОСТ Р 51904 Программное обеспечение встроенных систем. Общие требования к разработке и документированию

ГОСТ Р 52379 Надлежащая клиническая практика

ГОСТ Р 53114 Защита информации. Обеспечение информационной безопасности в организации. Основные термины и определения

ГОСТ Р 55036 Информатизация здоровья. Псевдонимизация

ГОСТ Р 56429 Изделия медицинские. Клиническая оценка

ГОСТ Р 56606 Контроль технического состояния и функционирования медицинских изделий. Основные положения

ГОСТ Р 56939 Защита информации. Разработка безопасного программного обеспечения. Общие требования

ГОСТ Р 59277 Системы искусственного интеллекта. Классификация систем искусственного интеллекта

ГОСТ Р 59921.1 Системы искусственного интеллекта в клинической медицине. Часть 1. Клиническая оценка

ГОСТ Р 59921.5 Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов

ГОСТ Р 59921.7 Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа медицинских изображений. Методы испытаний. Общие требования

ГОСТ Р ИСО 14155 Клинические исследования. Надлежащая клиническая практика

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 клиническая физиология: Раздел медицинской науки, изучающий роль и характер изменений физиологических процессов при предпатологических и патологических состояниях организма.

Примечание - Клиническая физиология подразумевает обязательное комплексное функциональное обследование с целью выявления функциональных расстройств органов и систем человеческого организма и определения их выраженности. При этом к числу клинико-физиологических задач относится определение характера функционирования не только пораженных (больных, патологических), но и здоровых органов и систем этого же пациента, их роль в обеспечении компенсаторных реакций и резервных возможностей всего организма больного в целом (см. [1]).

3.2 глоссарий: Словарь узкоспециализированных терминов в какой-либо отрасли знаний с толкованием, иногда переводом на другой язык, комментариями и примерами.

3.3 тезаурус: В научно-информационной деятельности нормативный словарь ключевых слов и дескрипторов (словарных единиц в виде слов, словосочетаний или кодов, называющих класс условной эквивалентности, в который включены эквивалентные и близкие по смыслу ключевые слова).

Примечание - Тезаурус определяет внеконтекстные отношения дескрипторов и ключевых слов. Предназначен для того, чтобы удовлетворять информационные запросы и выполнять координатное индексирование, т.е. индексировать перечислением ключевых слов или дескрипторов.

3.4 испытательный стенд: Набор оборудования и программных средств для проведения тестирования системы искусственного интеллекта с помощью набора данных или функционального генератора.

3.5 функциональный генератор: Устройство или схема, которая производит множество различных сигналов задаваемых форм, амплитуд и частот.

Примечание - Функциональный генератор может генерировать синусоидальные, прямоугольные, треугольные и пилообразные сигналы, а также другие типы выходных сигналов, в том числе имитирующие физиологические.

3.6 синтезированный [синтетический] сигнал: Сигнал (электрический, световой, акустический и т.п.), созданный при помощи специализированного оборудования и/или программных средств.

Примечание - Следует различать два вида сигналов:

1) синтезированный сигнал - стимул. Такой сигнал индуцирует физиологические сигналы (например: электрокардиостимуляция, кардиоверсия, нейромиографические исследования, функциональная стимуляция при ЭЭГ или визуализирующих методиках исследования, например МРТ или ПЭТ);

2) синтезированный сигнал - эмулятор имитирует сигналы, полученные от биологического объекта.

3.7 стандартная операционная процедура: Набор пошаговых инструкций для однотипного выполнения последовательности каких-либо действий для получения качественных, воспроизводимых и сравнимых результатов исследований.

3.8 обработка биологических сигналов: Процесс применения любой операции или данных для представления характеристик биологических сигналов, отражающих как моментальные измерения, так и временную динамику изменения параметра (параметров).

Примечание - Примеры операций включают в себя: анализ физиологических сигналов, оценку формы, амплитудных и частотных характеристик, аналогово-цифровое преобразование, хранение информации, предварительную обработку, фильтрацию, квантование, постобработку, построение многомерных моделей биосигналов, а также синхронизацию сигналов или кинопетель.

3.9 обработка изображений: Процесс применения любой операции или данных для изобразительного представления объектов (компьютерная графика).

3.10 динамическое изображение: Изображение, которое содержит заданное число кадров и отражает динамику изменения этого изображения в течение определенного (фиксированного) промежутка времени.

3.11 обработка динамических изображений [кинопетель]: Процесс применения любой операции или данных для представления последовательных изображений, отражающих временную динамику изменения объектов или их структуры.

Примечание - Примеры операций включают в себя: анализ изображения (сегментация, измерение, детектирование, маркировка и классификация), сжатие изображений, восстановление изображений, улучшение изображений, предварительную обработку, квантование, пространственную фильтрацию, а также построение двух- и трехмерных моделей объектов, а также синхронизацию сигналов и кинопетель. Обработка изображений - любая форма обработки информации, для которой входные данные представлены изображением, например фотографиями или видеокадрами. Обработка изображений может осуществляться как для получения изображения на выходе, так и для получения другой информации. Кроме статичных двухмерных изображений, обрабатывать требуется также изображения, изменяющиеся со временем, например кинопетли.

3.12 нагрузочное тестирование: Подвид тестирования производительности, сбор показателей и определение производительности и времени отклика программно-технической системы или устройства в ответ на внешний запрос с целью установления соответствия требованиям, предъявляемым к данной системе (устройству).

4 Сокращения

В настоящем стандарте применены следующие сокращения:

ИИ - искусственный интеллект;

КИ - клинические испытания;

КФ - клиническая физиология;

МО - медицинская организация;

ПО - программное обеспечение;

СИИ - система искусственного интеллекта;

СОП - стандартная операционная процедура;

ФД - функциональная диагностика.

5 Этические нормы

В рамках подготовки и проведения клинических исследований и испытаний СИИ возможно рассмотрение вопросов, связанных с этическими нормами применения ИИ.

Данные вопросы могут быть подняты на следующих этапах работы:

- при рассмотрении программы исследования: одобрение дизайна испытаний, процедуры формирования набора данных, особенно с проспективным набором данных;

- при оценке соответствия квалификации исследователей предлагаемому испытанию;

- при контроле сбора данных и формирования наборов данных для проведения КИ СИИ;

- при анализе возможных неблагоприятных событий, возникающих при использовании СИИ;

- при анализе возможных неблагоприятных событий, возникающих при использовании регистраторов физиологических сигналов (см. ГОСТ ISO 14971);

- при анализе документов с результатами клинических исследований и испытаний по ГОСТ Р 59921.1 (см. также [2], [3]).

КИ СИИ с привлечением человека как субъекта исследования следует проводить в соответствии с этическими принципами, обеспечивающими права, безопасность и благополучие людей, в том числе, основанными на Хельсинкской Декларации [4]. Такие этические принципы должны преобладать над другими интересами и быть сформулированы в ГОСТ Р ИСО 14155.

6 Методология проведения испытаний систем искусственного интеллекта для клинической физиологии

При проведении испытаний СИИ для КФ применяют положения ГОСТ Р ИСО 14155, а также положения, изложенные ниже и в приложении А.

КИ СИИ должны включать в себя следующие обязательные блоки:

а) тестирование на проверку корректности входных данных: распознавание сигналов, полученных с нарушением технологии исследования (нарушения СОП), а также содержащих артефакты и помехи;

б) тестирование на точность распознавания синдромов, феноменов, клинических эквивалентов и/или формирование заключения (аннотации) согласно согласованному тезаурусу или глоссарию (см. требования к глоссарию);

в) тестирование на синтетических и комбинированных данных - распознавание синтетического сигнала-стимула, инициирующего или потенциирующего естественные сигналы, оценка эффективности или неэффективности стимуляции.

Возможные варианты и комбинации сценариев выполнения приведены в приложении А.

7 Планирование процедуры проведения испытаний (исследований)

На этапе планирования испытаний (исследований) определяют сценарий проведения тестирования. Содержание сценариев изложено в приложении А.

В зависимости от выбранного сценария определяют состав экспертной группы, аппаратуру для регистрации, функциональный генератор, стенд (площадку), МО (лабораторию), набор(ы) данных, на котором(ых) будут проводиться испытания, или принимают решение о создании специального набора(ов) данных для проведения конкретных испытаний или решение о проведении исследования с участием человека.

После создания экспертной группы достигается консенсус между разработчиком СИИ и экспертной группой об используемом глоссарии или тезаурусе и применяемых метриках оценки результатов, параметрах нагрузочного тестирования.

Если СИИ предполагает использование значений физических величин для принятия диагностических решений, то на первом этапе проведения испытаний оценивают точность воспроизведения системой всех физических величин, влияющих на формирование заключений СИИ. При этом точность воспроизведения сигналов, подаваемых с аттестованных функциональных генераторов, должна быть не хуже заявленной изготовителем. При отсутствии соответствия СИИ или ее отдельных частей данному требованию испытания прерывают до устранения несоответствия.

Если изготовителем СИИ указано, что система устойчива и/или способна выявлять ошибки и иные некорректные данные в исходных сигналах (например, обрыв(ы) электрода(ов) или нарушение схемы формирования отведений при регистрации биосигналов, неполноту поля изображения картины ультразвукового исследования и т.п.), то в наборе(ах) данных должно быть достаточное число наблюдений с каждым из заявленных изготовителем нарушений качества сигнала. Необходимое число или долю сигналов с нарушениями определяют на этапе планирования испытания. Допустимо использование отдельного набора данных, содержащих только ошибки или некорректные данные в исходных сигналах. СИИ должна распознавать подобные отклонения, прежде чем будет допущена к этапу испытаний на пациентах или биологических объектах.

Если работа СИИ предполагает этап обучения или начального (функционального) тестирования работоспособности системы, то для этого этапа испытаний формируется специальный набор данных, записи которого не могут быть включены полностью или частично в набор данных для основного испытания СИИ.

При тестировании СИИ в процессе основного этапа испытаний СИИ не допускается изменения параметров ее работы оператором и/или дообучения системы. Если дообучение является существенной и неотъемлемой способностью СИИ, то на основании консенсуса разработчика с экспертной группой при тестировании проводят проверку результатов дообучения.

Испытания СИИ считают завершенными, если в течение установленного времени или до его истечения система завершила анализ данных. Рекомендованным уровнем завершения тестирования является обработка не менее 95% записей всего испытательного набора данных. При этом должны быть идентифицированы записи, которые не были обработаны. Должна быть установлена причина, по которой обработка не была проведена. Планом испытаний также может быть установлен лимит времени на обработку каждой записи, в таком случае испытания считают завершенными, если в пределах этого лимита времени был завершен анализ рекомендованного уровня завершения тестирования. В обоснованных случаях планом испытаний может быть изменена доля записей набора(ов) данных (или отдельных наборов данных), являющихся критерием завершения испытаний.

8 Требования к квалификации персонала

Если для проведения испытаний СИИ используются наборы данных, отличные от опубликованных в открытом доступе, то эксперты и модераторы, участвовавшие в формировании эталонных аннотаций записей наборов данных должны иметь достаточную квалификацию для проведения такой работы (см. ГОСТ Р 59921.5). Сведения о квалификации экспертов с указанием их вклада в сегментацию, измерение, детектирование, маркировку (аннотирование) и классификацию набора данных должны быть приведены в отчете об испытаниях СИИ. Допускается обезличивание (анонимизация и псевдонимизация) персональных данных экспертов и модераторов (см. ГОСТ Р 55036).

9 Требования к испытательному стенду

Для проведения испытаний СИИ для КФ может быть создан набор оборудования и программных средств (стенд). Испытательный стенд должен быть аттестован в соответствии с ГОСТ Р 8.568. Характеристики аппаратного и программного обеспечения стенда (вычислительная платформа, операционная система, состав устройств, объем памяти и т.п.) должны превышать минимальные требования, устанавливаемые изготовителем СИИ, и учитывать типичные характеристики вычислительных средств конкретного или потенциальных пользователей СИИ.

Если СИИ предполагает получение данных от конкретных регистраторов, параметры работы (настройки) которых могут быть изменены со стороны СИИ, то испытания проводятся с каждым из указанных изготовителем вариантов регистраторов сигналов. При отсутствии возможности изменения настроек регистратора со стороны СИИ допускается подавать испытательные данные непосредственно на вход СИИ. В отчете о проведении испытаний СИИ обязательно указывают, использовались ли регистраторы сигналов и их конкретные характеристики.

При использовании регистраторов сигналов данные на их вход подаются с функциональных генераторов (цифро-аналоговых преобразователей), обеспечивающих преобразование сигналов набора данных с качеством, сопоставимым с непосредственной регистрацией аналогичных сигналов с человека (биологического объекта). Если регистратор допускает получение сигналов в цифровой форме, то возможно не проводить цифро-аналоговое преобразование, а использовать сигналы набора данных непосредственно в цифровой форме. Изготовитель СИИ должен в таком случае предоставить исчерпывающие сведения, подтверждающие, что такое моделирование является адекватным предусмотренному клиническому использованию СИИ. Эти сведения должны быть включены в протокол (отчет) о проведении испытаний.

Если СИИ осуществляет вывод каких-либо физических величин (например, напряжение, скорость, время, линейные размеры и т.п.) или использует их для сравнения с заданными значениями (например, пороговыми значениями при определении каких-либо патологических состояний), то используемый функциональный генератор должен быть соответствующим образом аттестован как средство измерения (см. ГОСТ Р 56606).

Если СИИ состоит из нескольких частей (например, часть ПО установлена на сервере, часть ПО - в медицинском изделии или смартфоне/планшете/компьютере пользователя), связь между которыми предполагается посредством общедоступных сетей связи, например передача цифровых данных через мобильные сети общего пользования или проводную (локальную внутреннюю) сеть, то во время испытаний используют связь, предоставляемую любым оператором с параметрами не ниже указанных изготовителем СИИ. Каналы связи должны соответствовать требованиям [5], [6]. Использованный вид связи должен быть в достаточной степени описан в протоколе (отчете) о проведении испытаний.

На испытательном стенде допускается использование средств виртуализации, если изготовитель СИИ явно не указал на недопустимость запуска СИИ или ее отдельных частей на виртуальных вычислительных платформах.

В протоколе об испытаниях СИИ в обязательном порядке указывают состав, характеристики аппаратных и программных средств испытательного стенда, а для средств измерений, использованных в его составе, сведения о проверке или калибровке.

9.1 Тестирование на синтетических и комбинированных данных

Тестирование на синтетических и комбинированных данных допускается проводить на стенде. Процедура включает в себя либо подачу сигнала от функционального генератора на систему регистрации биологической информации, либо на наборе данных, содержащих комбинированные (синтетические и естественные) сигналы. Оценка сигнала СИИ передается на стенд (для сценария с набором данных отправить в сформированный отчет) в заранее определенном формате (например, json или xml). Метрики оценки: СИИ должна определить сигнал как синтетический, проанализировать характеристики сигнала(ов). В случае использования синтетического сигнала-стимула СИИ должна выделять и оценивать "стимулы", инициирующие или потенциирующие естественные сигналы, оценивать эффективность или неэффективность стимуляции.

Эти измерения могут быть сравнены с исходным (эталонным) сигналом как с помощью программного приложения, так и экспертом путем измерения в ПО, обладающим необходимыми измерительными инструментами.

9.2 Тестирование на наборах данных

Тестирование на наборах данных следует проводить на стенде. Процедура включает в себя передачу файлов (записей) из набора данных в СИИ. Допустимы как последовательная (передача - оценка - возврат ответа - следующий цикл), так и параллельная (пакетная) передача. Оценка записи СИИ проводится в кодах соответствия предварительно согласованному тезаурусу и возвращается на стенд в заранее определенном формате (например, json или xml). Метрики оценки: СИИ должна определить сигнал как полученный от биологического объекта, в ходе подобного вида тестирований рекомендуется оценивать точность (precision), полноту (recall), f-оценку (f-score) и другие параметры в зависимости от вида СИИ (см. ГОСТ Р 59921.1 или [7]). Проводят сравнение по метрикам, сопоставляя с эталонными заключениями для набора данных. Эти сравнения с эталонной аннотацией могут быть получены как с помощью программного приложения, так и экспертом путем сравнения в ПО, обладающим необходимыми инструментами.

9.3 Тестирование на ошибки (проверку корректности входных данных)

Этап тестирования корректности входных данных является обязательным. Его допускается проводить как до КИ (см. ГОСТ Р 59921.7), так и в составе клинических исследований (см. ГОСТ Р ИСО 14155). Он может включать в себя испытания с использованием функционального генератора.

Устойчивость СИИ к нарушениям СОП, артефактам данных, помехам может проводиться как на стенде, так и на биологических объектах, пациентах в МО или лаборатории.

Процедура стендового тестирования включает в себя передачу записей из набора данных в СИИ. Допустима как последовательная передача записей (передача-оценка-возврат ответа - следующий цикл), так и параллельная (пакетная). Оценка записи СИИ проводится в кодах соответствия предварительно согласованному тезаурусу и возвращается на стенд (площадку) в формате (например, json или xml). Метрики оценки: СИИ должна определить сигнал как полученный от биологического объекта, выявить наличие помех, артефактов, нарушения или изменения СОП, должен быть сделан вывод о пригодности или непригодности данного исследования для дальнейшей работы с ним. Эти сравнения с эталонной аннотацией могут быть получены как с помощью программного приложения, так и экспертом путем сравнения в ПО, обладающим необходимыми инструментами.

При испытании в МО или лаборатории необходимо получение согласия Этического комитета на проведение данного исследования в соответствии с разделом 6. Процедура включает в себя регистрацию сигнала системой регистрации биологической информации, которая в нем преобразуется в электронную цифровую форму, которая оценивается СИИ. Оценка сигнала СИИ передается на площадку (стенд) в формате, например, json или xml. Метрики оценки: СИИ должна определить сигнал как полученный от биологического объекта, выявить наличие помех, артефактов, нарушения или изменения СОП, должен быть сделан вывод о пригодности или непригодности данного исследования для дальнейшей работы с ним. Эти сравнения с эталонной аннотацией могут быть получены как с помощью программного приложения, так и экспертом путем сравнения в ПО, обладающим необходимыми инструментами.

10 Требования к системам искусственного интеллекта, использующим алгоритмы анализа данных в клинической физиологии

СИИ должна показывать стабильные и сравнимые уровни точности при тестировании как с помощью функционального генератора, так и при работе с наборами данных, а также при работе с пациентами. При этом все этапы испытаний - способность отличать синтетический сигнал от естественного, распознавать артефакты, помехи и нарушения технологии исследования, определять с достаточной точностью различные феномены и/или синдромы, как изолированно, так и в различных комбинациях, как на сбалансированных, так и на несбалансированных наборах данных (которые не предоставлялись изготовителю или заведомо не использовались при обучении ИИ) - могут быть выполнены в разное время с разными источниками сигналов (функциональный генератор, набор данных, биологический объект, пациент) и на различных площадках (стенд, лаборатория, МО) (см. ГОСТ Р 59277).

11 Требования к наборам данных

Набор данных должен соответствовать ГОСТ Р 59921.5.

Набор данных должен быть представлен в формате, принятом для данного вида данных (например, нейрофизиологические исследования - в формате EDF, кинопетли - в DICOM). При отсутствии общепринятого открытого формата данных необходимо обеспечить возможность контроля потока информации между датчиком и моделью. Для этого может быть выбрано следующее:

- открытый формат передачи данных;

- конвертор (согласующий слой) для перевода проприетарного формата в открытый формат;

- использование проприетарного формата производителя (или его описания) после подписания соглашения о неразглашении данных между владельцем формата и проверяющим органом.

В любом из вышеперечисленных случаев проводится тестирование корректности, состоящее, например, в проверке между фактическим форматом и описанием (не должно существовать отклонений) или же проверка пары прибор-источник и конвертор (на специально сформированном наборе данных, с проведением независимого замера определяемой величины).

Отдельно требуется протестировать возможность в любой момент, без привлечения представителей поставщика оборудования, получить входной поток информации. Это необходимо для регулярно проводимой независимой валидации модели в ходе эксплуатации.

Должны быть заранее определены параметры, приведенные в ГОСТ Р 59921.5.

Наборы данных должны отражать весь вариативный ряд возможных феноменов (синдромов, диагнозов, исходов) от самых редких (казуальных) до самых частых (см. [8]). Необходимость соблюдать вариативность тендерных и расовых различий пациентов определяется видом набора данных (например, эти метаданные являются обязательными при оценке параметров функции внешнего дыхания). Частотная представленность феноменов (синдромов) в популяции имеет меньший приоритет при формировании набора данных. В случае использования несбалансированных по классам наборов данных для редких (казуальных) феноменов рекомендуется использовать дополнительные метрики, веса для наблюдений и т.п. (см. раздел 18).

В случае набора данных с результатами функциональных проб или временных рядов [например, Стресс-ЭКГ или амбулаторное (Холтеровское) мониторирование ЭКГ] необходимо представлять парные и/или обязательно зарегистрированные данные в исходном состоянии и после воздействия градуированных стимулов (раздражителей) или в разных состояниях (бодрствования, физической или ментальной активности) у одного и того же пациента.

12 Доступность наборов данных для клинических испытаний

Для испытаний СИИ для КФ допускается использовать наборы данных:

- опубликованные в открытом доступе;

- общедоступные на коммерческой основе;

- закрытые, собранные независимыми от спонсора испытаний СИИ организациями и лицами;

- закрытые, собранные и принадлежащие спонсорам испытаний.

Предпочтение при испытаниях СИИ для КФ следует отдавать наборам данных, опубликованным в открытом доступе или общедоступным на коммерческой основе.

13 Виды и типы данных для клинических испытаний

Для испытаний СИИ для КФ допускается использовать:

- измеренные значения физиологических параметров (например, артериальное давление, число сердечных сокращений, значение сатурации и т.п.);

- оцифрованные биосигналы (например, электрокардиограмма, значение давления в сосуде и т.п.);

- индуцированные и отраженные сигналы (нейромиограмма, реограмма, допплеровская кривая, М-развертка ультразвукового исследования и т.п.);

- динамические изображения (кинопетли) (например, в режиме ультразвукового исследования, видеозапись движения);

- комплексные данные, содержащие данные нескольких перечисленных выше типов (синхронизированные и синфазные).

Данные могут представлять собой результаты одиночных измерений (исследований пациентов) или могут быть подобраны таким образом, чтобы систематически представлять развитие патологических процессов (временной ряд однородных по составу измерений), или могут отражать динамику изменений при предъявлении градуированных стимулов (раздражителей) либо изменения показателей в зависимости от внешних условий (в покое, во сне, при физической или ментальной нагрузке, дистрессе и т.п.) (см. ГОСТ Р 55036).

14 Требования к глоссарию или тезаурусу

Глоссарий и тезаурус - необходимые инструменты для обеспечения унификации, структурированности и сравнимости результатов испытаний как для сравнения результатов испытания с эталонными аннотациями, так и для сравнения качества работы СИИ между собой (если таковая необходимость возникает).

Правила разработки, структуру, состав и форму представления определяют по ГОСТ 7.25 (для одноязычных) и ГОСТ 7.24 (для многоязычных).

Тезаурус для аннотирования наборов данных должен быть основан на международных или национальных рекомендациях ассоциации профильных специалистов. Примеры приведены в [9], [10]. Расширение списка рекомендаций определяется экспертной группой, принимающей участие в КИ.

15 Требования к функциональным генераторам

Функциональные генераторы должны создавать сигнал, сходный с физиологическим по природе происхождения (электрический, звуковой, механический и т.п.) в том же частотном диапазоне и с тем же пространственным и временным разрешением. Эти сигналы должны регистрироваться системами регистрации сигналов с использованием обычных датчиков, электродов и т.п.

16 Требования к регистратору и системе связи (управления и передачи данных)

Регистратор биологических (физиологических) сигналов должен соответствовать действующим национальным и международным стандартам безопасности (см. ГОСТ ISO 14971).

Результат регистрации должен быть представлен в виде электронного сигнала в общепринятом, открытом доступном формате.

17 Особые виды испытаний систем искусственного интеллекта

17.1 Нагрузочное тестирование

На начальном этапе нагрузочного тестирования необходимо определить среднее время отклика СИИ (или комплекса с СИИ) при обработке записи (одного примера/периода), а также рассчитать статистику распределения времени обработки одной записи (если эта система реального времени). После определения максимальной тактовой частоты работы СИИ тестирование проводится на уровне пиковой нагрузки. При этом, результат работы СИИ должен соответствовать установленным разработчиком референсным значениям.

Результатом этого тестирования является определение значения вероятности ошибки (неодинакового результата применения СИИ) при N циклах обработки одного набора данных. Определяется отношение числа ошибочных результатов к числу всех проанализированных данных с учетом целевого сценария в соответствии с разделом 7. Число циклов N определяют консенсусом разработчика СИИ с экспертной группой (см. раздел 7). При проведении тестирования в каждом цикле набор данных предъявляется в случайном порядке.

Предпочтительным является использование более одного набора данных, включающих возможную вариативность данных (см. раздел 11).

17.2 Тестирование устойчивости СИИ к ошибкам во входных данных

Для данного вида испытания подготавливают специальный набор данных, содержащий как корректные данные (рекомендуется от 25% до 95% от общего числа записей), так и данные с различными ошибками (например, неполные данные, выходящие за физиологические пределы значения и т.п.). Перед тестированием разработчикам СИИ не сообщается каково соотношение корректных/некорректных данных. Сообщаются только результаты тестирования.

СИИ считается прошедшей данный вид испытания, если:

- самостоятельно идентифицировала все ошибочные данные набора как не подлежащие обработке (уточнение причины не требуется);

- продолжила обработку набора данных без вмешательства оператора.

При невыполнении любого из этих условий СИИ считается не прошедшей испытание.

17.3 Тестирование на защищенность и безопасность

Тестирование на защищенность и безопасность выполняют путем анализа программного кода в соответствии с требованиями ГОСТ Р 51904, ГОСТ 19781, ГОСТ Р ИСО 53114*, ГОСТ Р 56939, [11].

18 Требования к представлению результатов тестирования систем искусственного интеллекта для клинической физиологии

Отчет составляется по правилам, определенным в ГОСТ Р ИСО 14155. В отчете приводят:

- исчерпывающие сведения об использованном испытательном стенде;

- исчерпывающие сведения об использованном(ых) наборе(ах) данных.

По каждому из диагностических заключений, формируемых СИИ, включая идентификацию ошибок в анализируемых данных, приводят таблицу(ы) соответствия выявленных СИИ заключений и результатов измерений. Формат представления данных в таблицах зависит от вида оцениваемых СИИ данных.

а) Форма предоставления результатов применения СИИ для бинарного (наличие или отсутствие) распределения выявляемых признаков

В таблице 1 приведена форма представления результатов испытания СИИ в случае оценки ее работы по бинарной системе (наличие или отсутствие некоторого признака).

Таблица 1 - Форма представления результатов применения СИИ для бинарной переменной

_______________

точность (precision, синонимы PPV, прогностическое значение положительного результата, positive predictive value) = ИП/(ИП+ЛП);

полнота (recall, синоним чувствительность, sensitivity) = ИП/(ИП+ЛО).

Отчет об испытании СИИ может содержать любые другие метрики соответствия результатов работы СИИ и эталонных заключений, перечисленных в ГОСТ 59921.1* или [7].

Использование других показателей эффективности СИИ для бинарных данных определяют соглашением между изготовителем СИИ и группой экспертов, проводящих клинические испытания СИИ.

б) Форма предоставления результатов применения СИИ для порядковых данных

Если СИИ в результате своей работы формирует заключение в виде порядковой шкалы (стадия заболевания, степень патологического процесса и т.п.), то для каждой такой переменной (результата работы СИИ) формируется отдельная таблица, форма которой приведена в таблице 2.

Таблица 2 - Форма представления результатов применения СИИ для порядковых данных

В ячейки таблицы указывают число записей набора данных, относящихся к каждой комбинации выявления СИИ эталонных признаков.

Использование интегральных показателей эффективности СИИ для порядковых данных определяют соглашением между изготовителем СИИ и группой экспертов, проводящих клинические испытания СИИ.

в) Форма предоставления результатов применения СИИ для числовых непрерывных или дискретных данных

Если СИИ и входящие в ее состав алгоритмы проводят измерение и/или оценку количественных величин (амплитуда биосигнала, время, площадь или объем и т.п.), то результаты таких измерений указываются в таблицах, форма которых приведена в таблице 3.

Таблица 3 - Форма представления результатов применения СИИ для количественных данных

Для количественных данных рассчитывают и оценивают (в зависимости от числа проанализированных наблюдений из набора данных и характера данных):

- среднее значение или медиану;

- ошибку среднего или межквартильный размах;

- среднюю абсолютную ошибку и ее доверительный интервал;

- среднюю относительную ошибку и ее доверительный интервал.

Может быть рассчитан коэффициент корреляции (параметрический или непараметрический) между эталонными (заданными) и измеренными СИИ значениями и его доверительный интервал.

Если использованный набор данных для испытаний СИИ имеет большую вариативность данных по независимым переменным (например, по взрослым и детям или средние значения для мужчин и женщин отличаются), то целесообразно представить данные как в целом по всему набору данных, так и по отдельным клинически важным подмножествам данных.

Использование иных метрик точности соответствия заключений испытуемой СИИ эталонным заключениям определяют соглашением между изготовителем СИИ и группой экспертов, проводящих клинические испытания СИИ.

Например, для оценки результатов в случае представления результатов СИИ в виде сегментационной маски, когда важна не только точность в совпадении вычисленных площадей и объемов, но и совпадение границ, найденных СИИ и эталонных сегментов. Такой результат возможен при анализе ЭхоКГ, видеозаписи движения и других исследований, перечисленных в разделе 13 и приложении Б. Одной из метрик для оценки результата сегментации может быть DICE-score.

В заключительной части отчета об испытаниях СИИ приводятся заключения экспертов о статистической значимости полученных результатов и о возможном применении СИИ в клинической практике, возможно, с учетом выявленных нарушений.

Приложение А

(справочное)

Пояснение к методологии проведения испытаний систем искусственного интеллекта

Введение

Многообразие методов, используемых для регистрации физиологических показателей организма (см. приложение Б), диктует необходимость уточнения и разъяснения общего стандарта проведения клинических испытаний для СИИ. Прежде всего, это связано с тем, что диагностические технологии, применяемые в клинической физиологии, могут быть применимы как в оценке единичной функции органа, так и функционирования системы органов или взаимодействия органов и систем. Кроме того, эти технологии основаны на разных физических принципах. Это и усиление естественных физиологических сигналов, и провоцирование или индукция естественных физиологических сигналов. Также возможно и воздействие на ткани организма для получения ответных сигналов (например, допплерография). Многообразие подходов получения медико-биологической информации обуславливает необходимость разных форматов представления результатов - от представления в виде динамических рядов до оценки изменения характеристик аналогового сигнала во времени, вплоть до оценки синхронности и синфазности изменений разных видов, типов сигналов. Отдельным пунктом стоит отметить уникальную ситуацию при оценке взаимодействия синтетического и естественного сигналов. Стоит отметить чрезвычайно высокую операторозависимость при выполнении диагностических исследований в клинической физиологии. Все перечисленное требует применения дифференцированного подхода для оценки СИИ, работающих с разными видами физиологических сигналов.

А.1 Учитывают высокую зависимость результатов диагностики в области клинической физиологии от трех основных составляющих: 1) соблюдение технологии регистрации (топика наложения электродов, обязательная калибровка, последовательность выполнения технологических операций - применение фильтрации сигнала, снижение количества внешних помех и артефактов движения пациента), 2) использование в некоторых клинических областях применения синтетических сигналов, которые либо инициируют физиологические сигналы, либо провоцируют изменение физиологических сигналов, 3) необходимость оценки синхронности и синфазности регистрации и воспроизведения физиологического сигнала не только единой физической природы - многоканальная ЭКГ, но и разной физической природы - ЭхоКГ кинопетли (последовательность изображений), синхронизированные с ЭКГ (электрический сигнал). В других случаях необходима оценка сигнала единой природы, но с разными шкалами оценки (ЭЭГ- микровольты, ЭКГ-милливольты). Также необходимо учитывать и технические характеристики регистраторов. Нередко, даже в одной МО могут использоваться устройства для выполнения диагностических исследований одних и тех же физиологических сигналов с разными параметрами временного и пространственного разрешения, разного динамического диапазона, разным соотношением полезный сигнал/шум и т.п. Все это диктует необходимость проведения испытаний каждой составляющей, как минимум, на разных этапах. Возможна оценка всех составляющих в рамках одного клинического исследования с участием человека в условиях МО, но тогда потребуется раздельная оценка составляющих с выделением отдельных метрик оценки для каждой составляющей.

А.2 Необходимо придерживаться одного из трех сценариев проведения клинических испытаний.

Применение первого сценария (использование наборов данных и работа на испытательном стенде) требует наличия качественного набора данных, включающего сигналы, отражающие как необходимый для испытания спектр сигналов (например, оценку уровня АД во взрослой популяции), так и набора данных, включающего артефакты, помехи и нарушения последовательности выполнения технологических операций.

Если необходимых для тестирования наборов данных не существует (еще не созданы), например для оценки СИИ при стресс-ЭКГ, то в этом случае необходимо выбрать второй сценарий, подразумевающий проведение КИ с участием человека в условиях МО.

Если имеется лишь часть наборов данных (например, у пациентов с установленными кардиовертерами-дефибрилляторами), существуют наборы данных, содержащие нарушения ритма, являющиеся триггерами для включения кардиовертера-дефибриллятора. Но пока не созданы наборы данных, позволяющие оценивать адекватность срабатывания устройств. В этом случае потребуется комбинация сценариев 1 и 2. При наличии набора данных - этапы могут быть проведены на стенде, с использованием набора данных, для тех этапов (составных частей оценки), где набора данных не существует - потребуется этап проведения КИ с участием человека в условиях МО.

а) При первом сценарии происходит последовательное тестирование СИИ на наборах синтетических данных, тестирование на ошибки и на наборах данных, полученных от пациентов. СИИ может использовать сервер МО, сервер разработчика, облачное хранилище. При этом СИИ должна по каждому испытанию показывать достаточный результат по оцениваемым метрикам в соответствии с 9.1-9.3 (см. рисунок 1);

Примечание - Виды и типы данных для испытаний перечислены в разделе 13.

Рисунок 1 - Блок-схема проведения клинических испытаний с использованием наборов данных (один из возможных вариантов реализации)

б) При втором сценарии (см. рисунок 2) возможно проведение только клинических исследований согласно ГОСТ Р ИСО 14155, при этом в протокол должны быть включены метрики оценки всех блоков (тестирование на распознавание синдромов, феноменов, клинических эквивалентов, тестирование на проверку корректности входных данных, тестирование на синтетических и комбинированных данных). Этот сценарий должен быть выбран, когда доступные наборы данных для тестирования отсутствуют (например, СИИ, оценивающая аускультативные находки, СИИ для оценки стресс-эхокардиографии и т.п.) или такие наборы данных не могут быть созданы в разумный срок. СИИ может использовать сервер МО, сервер разработчика, облачное хранилище.

Проведение клинических исследований СИИ для КФ при регистрации данных непосредственно у человека (пациента или здорового добровольца) является предпочтительным и может быть единственно достаточным. Такой вид испытаний должен проводиться в соответствии с ГОСТ Р 52379, ГОСТ Р ИСО 14155 и ГОСТ Р 56429. В отчете (или приложении к нему) о клиническом исследовании в таком случае требуется исчерпывающее описание процесса получения данных для оценки их СИИ. В отчет должны быть включены метрики, применяемые к оценке тестирования на синтетических данных, тестирования на ошибки и тестирования наборов данных, полученных у пациентов.

Примечание - Виды и типы данных для испытаний перечислены в разделе 13.

Рисунок 2 - Блок-схема проведения клинических испытаний по протоколу клинических исследований (один из возможных вариантов реализации)

в) при третьем сценарии возможно прохождение всех этапов последовательно, при этом метрики оценки остаются внутри каждого этапа, а для этапа клинических исследований метрики оценки определяются дизайном данного исследования и определенными конечными точками исследования (см. рисунок 3). СИИ может использовать сервер МО, сервер разработчика, облачное хранилище.

Примечание - Виды и типы данных для испытаний перечислены в разделе 13.

Рисунок 3 - Блок-схема проведения клинических испытаний с использованием наборов данных и протоколов клинических исследований (один из возможных вариантов реализации)

А.3 Взаимодействие СИИ с подготовленными наборами данных требует не только размещение результатов оценки сигналов СИИ, но и надежного инструмента для сравнения результатов работы СИИ с эталонными заключениями. Если речь идет о нескольких десятках исследований, допустима человеческая (экспертная) оценка сравнения результатов при использовании наборов данных с несколькими сотнями исследований либо нескольких разных наборов данных, что невозможно сделать вручную, поэтому есть настоятельная необходимость создания виртуальной площадки с необходимым набором инструментов.

Приложение Б

(справочное)

Методы функциональной диагностики

Функциональная диагностика - это раздел диагностики, содержанием которого являются объективная оценка, обнаружение отклонений и установление степени нарушений функции различных органов и физиологических систем организма на основе измерения физических, химических или иных объективных показателей их деятельности с помощью инструментальных или лабораторных методов исследования. Далее приведен список, включающий минимальный набор методов ФД. Этот список не является ограничительным в отношении других методов исследования, которые могут получать данные о функциональных параметрах (например, лабораторной диагностики).

Задачи функционально-диагностических исследований:

- выявление отклонений специфической функции органа (например, возникновение и проведение возбуждения по проводящей системе сердца);

- интегральной функции нескольких органов, составляющих физиологическую систему (например, кровяного давления);

- характеристика функции системы в целом (например, внешнего дыхания, кровообращения);

- исследование патогенеза или непосредственной причины установленных функциональных нарушений (например, роли спазма бронхов в нарушении бронхиальной проходимости, гипотонии вен в снижении сердечного выброса и т.д.);

- количественная оценка резерва функции для определения степени функциональной недостаточности органа или физиологической системы.

Перечень методов функциональной диагностики (таблицы Б.1-Б.7) приведен согласно руководству [12].

Функционально-диагностические исследования выполняются врачом и медицинской сестрой, которые имеют необходимую теоретическую и практическую подготовку и прошли процедуру допуска к выполнению этих исследований.

Таблица Б.1 - Электрокардиология и методы мониторирования ЭКГ [однократные, непрерывные и дистанционные методы электрокардиографии (ЭКГ)]: ЭКГ и его модификации, методы мониторирования и дистанционной передачи данных ХМ-ЭКГ. Нагрузочные пробы в ЭКГ. Дополнительные методы в электрокардиологии)

Таблица Б.2 - Моно-, би- и полифункциональные методы мониторирования носимыми аппаратами показателей функции сердечно-сосудистой и дыхательной систем

Таблица Б.3 - Методы исследования структурно-функциональных характеристик сердечно-сосудистой системы (ультразвуковые, импедансные и сфигмографические методы исследования сердца, центральных и периферических сосудов, микроциркуляторного русла и состояния гемодинамики, лазерная допплеровская флоуметрия, флуоресцентная спектроскопия)

Таблица Б.4 - Методы оценки состояния вегетативной регуляции физиологических систем организма (функциональные пробы)

Таблица Б.5 - Направление функциональной диагностики "Нейрофункциональные исследования" (электроэнцефалография, вызванные потенциалы головного мозга, электронейромиография и методы магнитной стимуляции, реоэнцефалография, полисомнологические методы, ультразвуковые исследования периферических нервов)

Таблица Б.6 - Направление функциональной диагностики "Исследование функции внешнего дыхания" (спирометрия, бодиплетизмография, диффузионный тест, импульсная осциллометрия, нагрузочное тестирование)

Таблица Б.7 - Направление функциональной диагностики: "Визуализирующие методы функциональной диагностики"

Библиография