ГОСТ Р 57272.7-2016
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
МЕНЕДЖМЕНТ РИСКА ПРИМЕНЕНИЯ НОВЫХ ТЕХНОЛОГИЙ
Часть 7
Примеры факторов, влияющих на возникновение риска
Risk management of new technologies using. Part 7. Examples of factors influencing emergence of risk
ОКС 13.180
Дата введения 2017-12-01
Предисловие
1 РАЗРАБОТАН Открытым акционерным обществом "Научно-исследовательский центр контроля и диагностики технических систем" (АО "НИЦ КД")
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 10 "Менеджмент риска"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 30 ноября 2016 г. N 1857-ст
4 В настоящем стандарте реализованы основные положения международного документа CWA 16649:2013* "Менеджмент риска применения новых технологий" (CWA 16649:2013 "Managing emerging technology-related risks")
________________
* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .
5 ВВЕДЕН ВПЕРВЫЕ
6 ПЕРЕИЗДАНИЕ. Июнь 2019 г.
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячном информационном указателе "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)
Введение
Внедрение новых технологий связано с идентификацией возможных источников нового риска. Сложной проблемой является то, что новые виды риска часто связаны с неизученными феноменами.
В настоящем стандарте представлены примеры факторов, наличие которых может приводить к появлению новых рисков, а также факторов, которые влияют на оценку риска, в частности, посредством изменения восприятия риска. Также представлены примеры методов учета факторов риска.
Настоящий стандарт вместе с другими стандартами серии "Менеджмент риска применения новых технологий" формирует комплексный подход к рассмотрению новых рисков, их появлению и развитию.
1 Область применения
В настоящем стандарте представлены примеры факторов, влияющих на возникновение рисков при применении новых технологий, производств, производственных сетей, материалов и новой продукции. Данные факторы представлены вместе с примерами факторов, влияющих на оценку нового риска, а также примерами методов их учета.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р 51897 Руководство ИСО 73 Менеджмент риска. Термины и определения
ГОСТ Р 57272.1 Менеджмент риска применения новых технологий. Часть 1. Общие требования
ГОСТ Р ИСО 31000 Менеджмент риска. Принципы и руководство
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодно издаваемому информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячно издаваемого информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого документа с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого документа с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана недатированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены термины по ГОСТ Р 51897, ГОСТ Р 57272.1, ГОСТ Р ИСО 31000.
4 Примеры факторов, влияющих на возникновение нового риска и на оценку нового риска
Факторы, представленные в настоящем стандарте, получены в результате поиска и последующего анализа данных с применением метода мозгового штурма квалифицированными экспертами, занимающимися менеджментом риска применения новых технологий в соответствующих областях.
Следует учитывать взаимосвязь факторов, влияющих на возникновение нового риска, и факторов, влияющих на оценку нового риска, так как несоответствующий действительности результат оценки риска может спровоцировать возникновение риска.
4.1 Общие положения
При рассмотрении факторов, влияющих на возникновение нового риска и на оценку нового риска, необходимо учитывать следующие положения.
1) Если не указано иначе, риск делят на классы в соответствии с таблицей 1.
2) В общем случае каждая область применения требует установления собственной шкалы для оценки риска.
3) Каждый случай возникновения нового риска связан с наличием некоторого набора факторов, в то время как влияние остальных факторов из приведенного списка может отсутствовать. Наличие или отсутствие влияния конкретного фактора на возникновение и реализацию определенного нового риска устанавливает квалифицированный эксперт.
4) Факторы могут быть взаимосвязаны и могут оказывать комплексное воздействие на возникновение нового риска.
5) Не все факторы одинаково важны. Влияние различных факторов на появление риска может быть различным.
6) Выбор и анализ факторов - задача квалифицированного эксперта. Для принятия многокритериального решения рекомендовано назначать весовые коэффициенты каждому рассматриваемому фактору.
7) При анализе риска предпочтительно используют методы ранжирования рисков, на основе сравнительной оценки рисков, которая является более удобной и применимой при практическом использовании, чем абсолютная оценка.
8) В общем случае нормативные требования, законодательные акты, стандарты, принятые методы работы с рисками и т.п. необходимо рассматривать до проведения анализа новых рисков.
Таблица 1 - Классы нового риска
Класс | Значение |
Очень низкий | |
Низкий | |
Средний | |
Высокий | |
Очень высокий |
4.2 Факторы, оказывающие влияние на оценку нового риска
В таблице 2 представлены факторы, оказывающие влияние на оценку нового риска.
Таблица 2 - Факторы, влияющие на оценку нового риска
Фактор | Комментарий |
Факторы, связанные с общим восприятием риска и обменом информацией, связанной с риском | |
1 Ошибочное восприятие | Например, ошибочное представление о выгоде и благоприятных возможностях, имеющих место в определенной ситуации |
2 Ложная позитивность (ошибочный прогноз позитивных последствий) | Влияние эффекта ложной позитивности на результат оценки |
3 Ложная негативность (ошибочный прогноз негативных последствий) | Влияние эффекта ложной негативности на результат оценки |
4 Возможность глобальной катастрофы (значимой в мировом масштабе) | Воспринимаемый риск выше, если с одним событием связано большое количество несчастных случаев, чем в случае, когда происходит много одиночных несчастных случаев в течение продолжительного времени |
5 Чувствительность | Преувеличение риска единичных событий (несчастных случаев), изменчивость восприятия риска в обществе (например, связанная с получаемой из СМИ информацией) |
6 Обмен информацией | Влияние полученной информации на оценку риска |
7 Различие в восприятии | Различие в восприятии риска заинтересованными сторонами |
8 Ошибочное истолкование последствий опасного события | Восприимчивость к преднамеренным неправомерным заявлениям (например, "технология убьет нас всех") |
Факторы, связанные с субъективным восприятием риска | |
9 Неуверенность | Общий показатель, характеризующий неопределенность, связанную с недостатком данных (статистических, научных, экспериментальных и т.д.) |
10 Недостаточная осведомленность | Неизвестные объекты и ситуации вызывают повышенную обеспокоенность |
11 Недостаточное понимание | Недостаточное понимание принципов функционирования новых технологических процессов, свойств новых материалов и продукции вызывает повышенную обеспокоенность |
12 Недостаток личного контроля | Ситуации, связанные с риском, которые находятся не под контролем индивидуума (например, полет в самолете в качестве пассажира), воспринимаются как более опасные, чем те, на которые индивидуум может влиять (например, поездка в автомобиле в качестве водителя) |
13 Невозможность проявления своей воли | Отсутствие у индивидуума возможности принятия самостоятельного решения о необходимости рассмотрения данного риска делает этот риск в восприятии индивидуума более угрожающим |
14 Влияние на детей | Риск, затрагивающий детей, выглядит в восприятии индивидуума более угрожающим |
15 Влияние на будущие поколения | Риск, затрагивающий будущие поколения, выглядит в восприятии индивидуума более угрожающим |
16 Жертвы несчастных случаев | Жертвы несчастных случаев чаще склонны преувеличивать угрозы, связанные с риском |
17 Страх | Риск, связанный с ситуациями, вызывающими страх, выглядит в восприятии индивидуума более угрожающим |
18 Недостаток доверия | Недостаток доверия к вовлеченным в ситуацию субъектам увеличивает в восприятии индивидуума угрозы, связанные с риском |
19 Пережитые в прошлом аварии, катастрофы и т.п. | Наличие в прошлом опыте аварий, катастроф и т.п. увеличивает в восприятии индивидуума угрозы, связанные с риском |
20 Наличие несправедливости | Ситуация, связанная с риском, дающая преимущества одной группе лиц и вред другой, увеличивает в восприятии индивидуума угрозы, связанные с риском |
21 Отсутствие четко обозначенных благоприятных последствий | Отсутствие четко обозначенных благоприятных последствий при осуществлении деятельности или применении технологии увеличивает в восприятии индивидуума угрозы, связанные с риском |
22 Отсутствие обратимости воздействий | Неблагоприятное воздействие, которое не может быть устранено, увеличивает в восприятии индивидуума угрозы, связанные с риском |
23 Личная вовлеченность в ситуацию | Личная вовлеченность в ситуацию увеличивает в восприятии индивидуума угрозы, связанные с риском (если индивидуум не считает, что он защищен от риска больше, чем обычный человек) |
Факторы, связанные с управлением новыми рисками | |
24 Существующие структуры | Существующая законодательная, властная или другая структура, например, национального или международного уровня |
25 Сертификация | Наличие систем сертификации |
26 Картографирование | Возможность отображения объекта на карте (например, географической или карте ситуации) |
27 Контроль | Возможность контроля, особенно последствий |
28 Защита/профилактика | Возможность проведения защитных или профилактических мероприятий |
29 Промежуточный период | Отсутствие владельца риска или недостаток полномочий или методов управления новым риском |
30 Провоцирование общественных волнений | Потенциальная возможность провоцирования волнений в обществе |
Факторы, связанные с глобальным управлением новыми рисками | |
31 Недостаточные возможности проведения наблюдений/мониторинга | Большое количество ложных сигналов при мониторинге риска |
32 Недостаток возможностей снижения риска | Недостаток способов собственной защиты или снижения вреда последствий |
33 Подверженность общим заблуждениям | Наличие большого количества информации о проблеме (получаемой через СМИ, интернет и т.п.) при отсутствии полного понимания проблемы |
Факторы, выделенные экспертами международного совета по управлению риском (IRGC) | |
34 Отсутствие научных данных | Недостаток научных данных, наличие неизвестных характеристик новых материалов и продукции, которые могут быть отслеживаемы или не отслеживаемы, недооценены или переоценены |
35 Потеря границ безопасности | Для многих технических и социальных систем растет уровень их взаимосвязи с другими системами. Интенсивность функционирования данных систем возрастает, что приводит к износу оборудования и появлению стресса у персонала. Это делает систему более уязвимой и создает условия для появления новых рисков |
36 Положительная обратная связь | Системы, в которых выходной сигнал усиливает действие входного сигнала, имеют тенденцию к дестабилизации, что может увеличивать вероятность возникновения риска в системе или увеличивать вред от реализации риска |
37 Различное восприятие риска | На восприятие риска могут влиять различные особенности ситуации: географические, политические, популяционные, финансовые и т.д. |
38 Споры вокруг интересов, ценностей и научных данных | Проведение общественных обсуждений новых рисков показывает то, что четкое разграничение интересов, ценностей и научных данных происходит достаточно редко. Подобного рода споры могут приводить к появлению новых рисков или способствовать развитию новых рисков |
39 Социальная динамика | Социальные изменения могут увеличить или уменьшить возможный вред от последствий реализации риска |
40 Технический прогресс | Возникновение новых рисков могут вызывать технические изменения, не основанные на предварительных научных исследованиях и последующем контроле воздействия этих изменений на здоровье человека, экологическую, экономическую и социальную ситуации. Риски возрастают при отсутствии достаточно развитой нормативно-правовой базы. Однако технологический процесс может быть задержан, если эти нормы излишне строгие |
41 Отсроченные последствия | Последствия применения новых технологий, новых материалов, новой продукции могут быть отсрочены во времени (т.е. неблагоприятные воздействия риска могут проявиться через большой промежуток времени) |
42 Обмен информацией | Восприятие риска осложняет несвоевременный, неполный обмен информацией о риске или его отсутствие |
43 Асимметрия в обмене информацией | Асимметрия в обмене информацией присутствует тогда, когда какая-либо заинтересованная сторона преднамеренно или непреднамеренно скрывает ключевую информацию о риске от других заинтересованных сторон |
44 Ошибки подкрепления | Ошибки подкрепления приводят к стимуляции нежелательного поведения или поведения, приводящего к непреднамеренно полученным нежелательным результатам. Ошибки подкрепления могут приводить к поведению, приводящему к возникновению рисков или препятствующему предотвращению появления риска |
45 Злой умысел | Злой умысел с чьей-либо стороны может способствовать возникновению рисков, что затрудняет рассмотрение новых рисков, не связанных со злым умыслом. Злой умысел при современном уровне глобализации может иметь глобальные последствия ввиду сильной связности различных систем |
В таблице 3 представлены факторы, влияющие на возникновение и оценку риска, вместе со шкалой деления соответствующих рисков на классы, а также комментариями и пояснениями.
Таблица 3 - Факторы, влияющие на оценку нового риска и классы риска
Фактор | Пояснение | Комментарий | |||||
Факторы, связанные с глобальным управлением новыми рисками | |||||||
1 Противоречие | Противоречащие известным данным или доказательствам | Очень низкий | Низкий | Средний | Высокий | Очень высокий | Например, противоречие с мнениями экспертов или важными утверждениями, касающимися рисков |
2 Нелогичность | Несоответствие объективной реальности или существующим доказательствам | Очень низкий | Низкий | Средний | Высокий | Очень высокий | Например, различия мнений экспертов или различия в утверждениях, касающихся рисков |
3 Постоянство | Постоянство риска - пролонгиро- | Очень низкий | Низкий | Средний | Высокий | Очень высокий | Например, цепные реакции - обусловленные начальным воздействием |
4 Неоднозначность | Неоднозначность, связанная с принципом предосторожности | Очень низкий | Низкий | Средний | Высокий | Очень высокий | Например, неоднозначность мнений экспертов или неоднознач- |
5 Несоразмерность | Отсутствие соразмерности - незначительные события вызывают значительные последствия (эффект бабочки), наличие пороговых изменений | Очень низкий | Низкий | Средний | Высокий | Очень высокий | Например, 5%-ный дефицит поставок (например, топлива) вызывает 5%-ный рост цен на единицу спроса; 30%-ный дефицит приводит к экономическому кризису |
6 Неожиданное изменение в восприятии | Возможность неожиданного изменения восприятия | Очень низкий | Низкий | Средний | Высокий | Очень высокий | Например, для класса риска "очень высокий" нельзя исключить неожиданные изменения в восприятии |
7 Возрастание | Увеличение проявлений риска | Небольшое увеличение за длинный период времени | Небольшое увеличение за короткий период времени | Большое увеличение за длинный период времени | Большое увеличение за короткий период времени | Внезапное большое увеличение | Рассматривают суммарное увеличение за период времени, |
Очень низкий | Низкий | Средний | Высокий | Очень высокий | которого происходят этиувеличения | ||
8 Источник риска | Обычно, антропогенные риски воспринимаются как более опасные, чем риски, связанные с | Только риски, связанные с явлениями природы | В основном риски, связанные с явлениями природы | Антропогенные и связанные с явлениями природы риски в равных долях | В основном антропогенные риски | Только антропо- | Рассматривают антропогенные риски в сравнении с естественными рисками |
явлениями природы | Очень низкий | Низкий | Средний | Высокий | Очень высокий | ||
9 Новизна | Новизна опасности и соответствующего риска | Ожидаемый | Ожидаемый, но не анализируемый | Рассмотренный, но не ожидаемый к осуществлению | Ранее не рассматриваемый | Никогда не рассматриваемый как возможный | Рассмотренная шкала риска может быть адаптирована к конкретным рискам |
10 Время до воздействия | Время до воздействия (тесно связано с | Более 20 лет | От 10 до 20 лет | От 5 до 10 лет | От 0 до 5 лет | Близкий по времени период | Близкие по времени угрозы |
латентным периодом, но предполагает шкалу значений продолжительности) | Очень низкий | Низкий | Средний | Высокий | Очень высокий | выглядят более опасными, чем отсроченные во времени | |
11 Продолжительность | Продолжительность воздействия (продолжительность воздействия последствий) | Малая | Средняя | Большая | Очень большая | Неизвестная, возможно неограниченная | Например, продолжительность может затрагивать интересы следующих поколений |
12 Латентный период | Латентный период представляет собой промежуток времени между наступлением опасного события и временем восприятия его последствий (тесно связан со временем до воздействия) | Очень низкий | Низкий | Средний | Высокий | Очень высокий | Латентный период между инициирующим событием и появлением вреда; характеристикой латентного периода могут быть физические, химические или биологические показатели |
13 Эволюция во времени | Стабильность и непрерывность изменений и развитие процесса | Небольшое нарушение стабильности и непрерывности работы процесса | Нет стабильности, но есть непрерывность работы процесса | Нет непрерывности, но есть стабильность работы процесса | Нет непрерывности и нет стабильности работы процесса | Очень высокая нестабильность и прерывность работы процесса | Тесно связана с неожиданным изменением восприятия, но имеет другую шкалу для получения оценки |
Факторы, связанные с оценкой нового риска | |||||||
14 Распростра- | Знания и контролируемость распространения опасностей | Очень хорошие | Приемлемые | Недостаточные | Отсутствуют | Неверные или вводящие в заблуждение | Рассматривают, если информация о риске распростра- |
15 Экстремальная неопределенность | Экстремально высокая неопределенность (например, по отношению к последствиям опасности) | Обычная для данной ситуации | Повышенная | Экстремально высокая неопределенность модели | Экстремально высокая неопределенность модели (моделей) | Экстремально высокая неопределенность для данных и модели |
|
16 Известность для науки | Доступность/ | Данные и модели доступны и определены | Данные и модели доступны и имеют некоторую неопределенность | Данные доступны, модели не доступны | Модели доступны, данные не доступны | Данные и модели не доступны | |
Очень низкий | Низкий | Средний | Высокий | Очень высокий | |||
5 Примеры методов обработки данных о риске
В настоящем разделе приведены примеры методов сбора информации о новых видах риска, их мониторинге и анализе поступающей информации, связанной с риском.
Основу раздела составляют примеры методов, представленных в [1].
5.1 Программное средство RiskEars
RiskEars представляет собой сложно организованную систему обработки данных, поступающих от соответствующих экспертов в различных областях. RiskEars представляет собой базу данных, организованную для сбора и мониторинга ранних данных об опасностях. Программное средство RiskEars позволяет следить за развитием нового риска, начиная от ранних стадий до стадии, на которой риск становится известным риском.
RiskEars позволяет накапливать данные о новом риске из различных источников, обычно от людей и/или организаций (например, мнения профессионалов о возможных источниках новых опасностей). Данные, подтверждающие появление нового риска, позволяют определить сценарий развития риска.
5.2 Метод RiskTweet
Метод RiskTweet предназначен для работы с твитами (tweet (англ) - щебет, чириканье) - короткими сообщениями, переданными через социальную интернет-сеть. Твиты рассматривают как индикаторы ключевых тем в обществе. С помощью метода RiskTweet можно отследить количество твитов в день (месяц), имеющих отношение к определенной теме, географию пользователей и другие детали, включая перекрестные ссылки на другие источники информации. Метод позволяет проводить анализ актуальности информации и отслеживать появление ранних данных о риске.
Метод RiskTweet отслеживает информацию на основе следующих характеристик:
- активность обсуждения пользователями;
- тренд;
- критичность.
Ежедневно подсчитывают количество твитов, содержащих ключевое слово (являющееся меткой определенной темы обсуждения), и сравнивают его со средним количеством сообщений, поступающих за день. В зависимости от результатов сравнения показатель активности обсуждения пользователями принимает значение от минус 1 до плюс 1.
При этом:
минус 1 - небывало низкая активность пользователей;
0 - средняя активность пользователей;
плюс 1 - небывало высокая активность пользователей.
Для определения тренда используют индикатор MACD (Moving Average Convergence/Divergence - схождение/расхождение скользящих средних) для нормированных временных рядов данных (см. рисунок 1).
|
Рисунок 1 - Графическое представление MACD
Скользящие средние - статистика, используемая для анализа данных, представляющая собой выборочные средние по фиксированному количеству наблюдений, в которых при последующем вычислении исключают более ранние наблюдения и добавляют более поздние. Быстрые скользящие средние - средние, определенные за период времени, который считают для данной ситуации коротким, медленные - за период времени, который считают для данной ситуации достаточно продолжительным.
Критичность измеряют, если текущие взгляды на соответствующую проблему или ситуацию подвержены значительным изменениям. Выдаваемые оценки критичности лежат в диапазоне от 0 до 1. Наибольшая критичность соответствует наибольшему объему твитов за исследуемый период и продолжающемуся возрастанию тренда.
5.3 Метод S-RDI
Метод S-RDI (Semantic Risk Distance Index) применяют для анализа и визуализации данных. Анализ данных основан на поиске подобия оценок, вычисленных при совпадении свойств, а также семантического подобия текстов. Цель анализа - поиск сходства между хорошо известными и хорошо управляемыми сценариями риска и сценариями риска, связанного с введением новых технологий.
Метод выбора ключевых слов и ключевых фраз, основанный на связях и сходстве между ними, относится к методам семантической кластеризации. Метод S-RDI определяет семантическое подобие между ключевыми словами, подаваемых на вход, а результаты вычислений отображает графически. Значимость узла в сети пропорциональна центральности собственного вектора (например, алгоритм поиска Google - PageRank дает оценку значимости узла). Значимость узла показана при помощи цветовой индикации (более насыщенному цвету соответствует более высокая значимость). Толщина ребра графа сети указывает на степень подобия. На рисунке 2 представлен пример визуализации анализа сети с помощью метода S-RDI.
|
Рисунок 2 - Визуализация анализа сети при помощи S-RDI
Примечание - Имена узлов сети на рисунке 2 состоят из буквы латинского алфавита и цифры.
Метод S-RDI предназначен для анализа и визуализации сходств и взаимосвязей среди очень большого количества элементов, допускающих возможность текстового описания. Например, он применим, когда при анализе тысяч документов, содержащих описание различных новых рисков, возникают задачи поиска взаимосвязей между этими отдельными рисками, задачи определения основных тем, связанных с данными рисками, выявление нового риска, наиболее способствующего возникновению риска системы в целом.
5.4 Метод агентного моделирования
Агентные модели (Agent Based Models (ABMs)) - класс вычислительных имитационных моделей. Агентная модель строит поведение системы в целом. Агентное имитационное моделирование применяют для анализа сложных систем, обладающих сложными внутренними взаимосвязями, памятью, фрактальными отношениями и другими сложными феноменами. Оно особенно подходит для изучения макроуровневых свойств систем или для систем, содержащих большое количество разного рода взаимосвязанных заинтересованных сторон. Модель обладает достаточной гибкостью, сразу после построения модели могут быть добавлены, изменены или удалены правила принятия решений. На свойства агента (единицы принятия решения) наложено единственное ограничение - возможность количественного описания.
Библиография
[1] | iNTeg-Risk: Early Recognition, Monitoring and Integrated Management of Emerging, New Technology Related Risks (2008-2013), EU FP7 project Nr. CP-IP 213345-2, EU 2008, www.integrisk.eu-vri.eu |
УДК 362:621.001:658.382.3:006.354 | ОКС 13.180 | |
Ключевые слова: риск, новый риск, новые технологии, новые материалы, новая продукция, менеджмент риска, менеджмент нового риска, созревание риска, оценка риска, анализ риска, последствие, ущерб, опасное событие | ||
Электронный текст документа
и сверен по:
, 2019
