Применение нейронных сетей в ультразвуковом неразрушающем контроле

Введение

Целью неразрушающего контроля качества веществ, материалов и изделий является не только обнаружение дефектов, но и их распознавание вследствие различного уровня потенциальной опасности дефектов разного типа [1]. В настоящее время происходит активное внедрение искусственных нейронных сетей (ИНС) в различные области человеческой деятельности. Они применяются для решения трудно формализуемых задач, для которых сложно найти точный алгоритм решения [2] и, в частности, в неразрушающем контроле (НК). Области применения ИНС в НК весьма разнообразны: радиационный [3], компьютерная томография [4], вихретоковый [5], магнитный [6], тепловой [7], АЭ [8]. Значительное число исследований посвящено применению ИНС в ультразвуковом неразрушающем контроле (УЗК).

УЗК обычно проводится с заметным объемом использования ручного вмешательства и интерпретации результатов. Бесспорно, сочетание человеческого глаза и мозга уникально и способно, после соответствующей тренировки, уверенно классифицировать широкий спектр ультразвуковых (УЗ) сигналов и множество сложных акустических изображений. Вместе с тем, очевидна потребность в быстрой автоматической интерпретации во многих приложениях, таких как трубопроводы, сосуды высокого давления, крупногабаритные сварные изделия, там, где крайне важно надежное обнаружение дефектов, возникающих в результате производственного процесса или эксплуатации. Чтобы удовлетворить эти потребности, многие УЗ системы (особенно позволяющие определять тип дефектов, измерять их реальные характеристики), оснащены средствами автоматизированной регистрации данных контроля. Однако после сбора данных встает задача интерпретации большого массива зарегистрированных УЗ сигналов и изображений. Уже при обычном УЗК интерпретация и оценка данных –сложный и субъективный процесс, особенно если контролируемое изделие имеет сложную геометрию или большие размеры. При этом и производительность, и вероятность правильной классификации (эффективность классификации) может значительно варьироваться из-за усталости и потери концентрации операторов-контролеров.

Существует большое количество ИНС различной архитектуры [9], они обладают способностью обобщать и выдавать результат на основе неполных данных и хорошо подходят для решения задач классификации, в частности, классификации дефектов по эхосигналам и изображениям [3,10].

Необходимо отметить, что ИНС может надежно обеспечить классификацию дефектов, в том случае, когда обучающая база данных содержит достаточное количество дефектов каждого типа.

Еще одним направлением применения ИНС является разработка алгоритма объединения данных, полученных различными методами неразрушающего контроля (такими, как УЗ и вихретоковый), который позволит использовать дополнительные преимущества этих двух разных методов [11] и в дальнейшем может представлять собой полезный инструмент для будущего использования алгоритмов слияния разного типа данных, полученных в НК.

Целью настоящей работы является описании современного состояния и опыта практического применения ИНС в ультразвуковом неразрушающем контроле.

Целью неразрушающего контроля качества веществ, материалов и изделий является не только обнаружение дефектов, но и их распознавание вследствие различного уровня потенциальной опасности дефектов разного типа. В настоящее время происходит активное внедрение искусственных нейронных сетей (ИНС) в различные области человеческой деятельности. Они применяются для решения трудно формализуемых задач, для которых сложно найти точный алгоритм решения и, в частности, в неразрушающем контроле (НК). Области применения ИНС в НК весьма разнообразны: радиационный, компьютерная томография, вихретоковый, магнитный, тепловой, АЭ. Значительное число исследований посвящено применению ИНС в ультразвуковом неразрушающем контроле (УЗК).

1. Применение нейронных сетей для классификации дефектов по данным, полученным эхо-импульсными методами

Выполнить задачу классификации дефектов с помощью ИНС можно используя базы данных УЗ контроля в виде одномерных сигналов от дефектов (А- сканов) и двумерных сигналов контролируемого объёма объекта контроля (акустических изображений В-, С-, D-). Ниже мы рассмотрим примеры исследований этих двух классов УЗ сигналов при решении задачи классификации дефектов в контролируемых объектах.

1.1. Применение нейронных сетей для классификации сигналов от дефектов.

Эффективность применения различных ИНС для классификации эхосигналов от искусственных и реалистичных дефектов исследована в [12]. Были рассмотрены три типа архитектур нейронных сетей:

• Трехслойный перцептрон.

• Самоорганизующаяся карта с использованием правила обучения Кохонена.

• Двухслойная линейная сеть с векторным квантованием и с использованием варианта правила обучения Кохонена.

Использовалась база данных УЗК образцов – пластин, содержащих отверстия бокового сверления, включения, поры, щели, реальные трещины с гладкими и шероховатыми стенками.

Результаты, полученные для этих сетевых архитектур, показали:

• Эффективность классификации составляет от 80 до 100% (получена на основе реальных или смоделированных дефектов),

• Многослойный перцептрон с использованием алгоритма обучения обратного распространения надежно работает как во временной, так и в частотной областях. Однако для этого требуется большее число нейронов в первых двух слоях.

• Двухслойная линейная сеть с векторным квантованием работает быстрее, чем многослойный перцептрон, но для достижения эффективной классификации требуется четкое разделение классов.

• Сеть Кохонена оказалась наименее подходящей для рассматриваемых целей.

Masnata и др. [13] предложили двухэтапную методологию автоматического распознавания дефектов СС по эхосигналам от дефектов, обнаруженных УЗ системой P-scan. На первом этапе выполняется выбор параметров формы, определяющих огибающую эхоимпульса, отраженного от типичного дефекта (используется линейный дискриминантный анализ Фишера). На втором этапе выполняется классификация по массиву УЗ А-сканов с применением трехуровневой ИНС, содержащей один скрытый слой для различения различных типов дефектов.  Входными значениями для нейронной сети являются параметры, выбранные анализом Фишера. Обучение ИНС выполняется по алгоритму обратного распространения ошибки. Для этого использована база данных А-сканов, содержащая 135 реальных дефектов СС, распределенных по классам: трещин, шлаков, включений и пористости.

Повышению чувствительности дефектоскопа и классификации дефектов при посвящена работа [14]. Для предварительной обработки использовалось вейвлет-преобразование А- сканов, что позволило получить вектор признаков, содержащий двумерную информацию о различных типах дефектов. На Рис. 1 представлен пример результатов предварительной обработки УЗ сигнала от включения из вольфрама.

Вейвлет-преобразование А- скана от включения из вольфрама: а – УЗ сигнал, б – коэффициенты дискретного вейвлет- преобразования (1024 выборки).

Для классификации использована ИНС с алгоритмом обратного распространения ошибки. Рассмотрены четыре различных типа дефектов: пористость, несплавление, вольфрамовые включения, отсутствие дефектов. Для обучения ИНС применен механизм обучения с учителем. Для этого доступный набор данных случайным образом разбит на обучающую и проверочную подгруппы. Достигнута эффективность классификации 94%.

Эффективность обнаружения и определения высоты дефектов в армированных волокном композитов с использованием вейвлет-преобразований и ИНС по данным, полуденным с применением УЗ дефектоскопа исследована в работе [15]. Здесь информация о высоте дефекта определяется по комплексной огибающей вейвлет-коэффициентов и двумя методами нейронной сети: «сегментное отображение» и «непрерывное отображение». В качестве модели ИНС используется модель многослойного перцептона и алгоритм обратного распространения сигнала для ее обучения.

 «При сегментном отображении» многослойный перцептрон работает как классификатор. В его выходном слое устанавливаются 3 нейронных узла для сопоставления положения дефектного эхо-сигнала с 8 сегментами, соответствующими 8 целевым выходам перцептона. Эффективность классификации достигает 85,5%. 

При «непрерывном отображении» устанавливается линейное соответствие между выходом нейронной сети и начальной точкой эхосигнала от дефекта.  Эффективность классификации достигает 90,5%

Таким образом, результаты выполненных экспериментов показали, что «непрерывное отображение» - работает лучше, чем сегментное отображение.

Для оценки ориентации и высоты коррозионных трещин под напряжением на ранней стадии в дисках паровых турбин низкого давления в работе [16] предложено использовать УЗ данные и ИНС. Для этого эхосигналы от части диска стальной турбины с моделями трещин на различной глубине и ориентации регистрируются с помощью УЗ дефектоскопа М2М и линейного УЗ преобразователя с ФАР (64 элемента на 5 МГц). Из них формируются векторы признаков, которые получают с помощью вейвлет-преобразования, фрактальной технологии и методов пиковой амплитуды [17]. Сформированные векторы признаков были использованы как входные сигналы для ИНС, использующей радиальные базисные функции (нейронная RBF-сеть). Нейронная RBF-сеть имеет три слоя: входной, скрытый и выходной. Входом нейронной сети является 8-мерный вектор признаков, а двумерный выходной сигнал – составляют угол ориентации трещины и ее высоту. Результаты испытаний показали, что предложенная модель классификации А-сканов от дефектов весьма перспективна для оценки как глубины, так и ориентации начальных трещин в дисках турбин. Полученные результаты подтверждают эффективность рассмотренного подхода путем использования анализа Фишера, и обобщающих свойств многоуровневой сети.

В работе [18] исследована задача распознавания дефекта по особенностям эхосигналов, регистрируемых дефектоскопом при УЗК. Главная идея состоит в том, что сигналы, несущие информацию о дефектах, образуют плотное множество. Например, если два дефекта имеют близкие характеристики, то и сигналы от них будут близки по всем параметрам. На этом предположении построена концепция устройств распознавания. Присутствие ожидаемого образа в исследуемом сигнале определяется посредством корреляции, а распознавание осуществляется путем проверки, попадает ли исследуемый сигнал во множество образа. Для решения этой задачи использовалась однослойная ИНС. Сеть имела 4 нейрона во входном слое и 1 выходной нейрон. Показано, что полное разделение эхосигнала от всех других сигналов может быть достигнуто, если в набор обучения добавить, как минимум 146 альтернативных сигналов. В этом случае четырех нейронов во входном слое недостаточно – необходимо использовать не менее 150 нейронов.

1.2. Применение нейронных сетей для классификации УЗ изображений, содержащих дефекты.

В последнее время значительное количество типов УЗ дефектоскопов позволяют, вместе с А-сканами, регистрировать и анализировать результаты УЗК в виде акустических изображений: двумерных В-, С-, D-типа. Так как в двумерных изображениях содержится больше информации о дефектах, объем данных и время оценки результатов также существенно больше, то привлечение ИНС для ускорения оценки результатов контроля и решения задач классификации дефектов очень перспективно.

В обзоре [19] исследуется эффективность использования нейронных сетей для решения задач обработки УЗ изображений. На Рис. 1 представлены структура обработки цифровых изображений, которые включают следующие этапы:

• Предварительная обработка / фильтрация данных.

В результате получают измененное изображение с теми же размерами, что и исходное (например, повышение контрастности и уменьшение шума).

• Обработка данных / извлечение признаков.

На этом этапе выделяются важные характерные особенности изображения.

• Сегментация изображения.

Изображение разбивается на области, согласованные по какому-либо критерию, например, разделение разных текстур.

• Обнаружение и распознавание объектов.

• Понимание образа.

Осознание того, что показывает изображение: отсутствие или наличие дефекта, тип и параметры и опасность его для жизнеспособности объекта. Для окончательной оценки наблюдаемых результатов возможно выполнение дополнительных прочностных расчетов или применение соответствующих нормативных документов.

Этапы обработки изображений: предварительная обработка, обработка данных, сегментация, распознавание объектов и понимание изображения. Методы оптимизации используются как набор вспомогательных инструментов, доступных на всех этапах цепочки обработки изображений. 

Анализ возможностей различных типов ИНС показал, что:

• ИНС позволяют значительно уменьшить объем вычислений. При предварительной обработке, обучение приводит к настройке ИНС на определенную структуру изображения.

• Сжатие изображений дополнительно ориентирует на определенный тип изображения и появляется возможность нелинейного извлечения признаков изображений, используя ИНС с прямой связью с несколькими скрытыми слоями.

• Сегментация изображения и обнаружение объектов в основном выполняется с помощью анализа изображений на основе пикселей или функций. Анализ на основе пикселей предоставляет классификатору всю необходимую информацию.

• Что касается понимания изображений, то для этих целей могут лучше подойти ИНС на основе нечеткой логики, которые позволяют включать в модель неточную или неопределенно сформулированную экспертную информацию, которая часто характеризуется естественным языком. 

• Оптимизация в большинстве случаев решаются на основе ИНС Хопфилда.

В серии работ, выполненных в EPRI [20], [21]  продемонстрирована возможность построения системы классификации на основе ИНС за счет точной интерпретации сигналов УЗ контроля сварных соединений (СС) и выполнены испытания системы в полевых условиях. Общая структура системы классификации представлена на Рис. 2.

Структура системы классификации сигналов УЗ контроля.

УЗ данные подвергаются предварительной обработке: фильтрации для удаления шума и дополнительной обработке сигналов для получения инвариантности к выбранным параметрам контроля, используется дискретное вейвлет-преобразование и выделяются характерные признаки сигнала, что позволяет обеспечить сжатие информации в вектор признаков значительно меньшей размерности. 

Для классификации сигналов использована ИНС с алгоритмом обучения с обратным распространением ошибки. Сеть была обучена с использованием C-сканов образцов с межкристаллитным коррозионным растрескиванием под напряжением (МКРПН), а затем протестирована с использованием отсканированных вручную сигналов от образцов МКРПН. В заключение сеть была протестирована с другим набором тестовых образцов и успешно обнаружила 100% трещин.  В качестве примера работы классификатора на Рис. 3 приведены результаты первоначальной классификации данных контроля трещины.

Необработанное изображение С-типа (а), соответствующее изображение классификации с цветовой кодировкой (б). Здесь пиксели трещины окрашены в красный цвет.

Исследованию возможности использования ИНС для обнаружения и оценки типа и высоты дефектов ориентированными в продольном направлении в стальной трубе посвящена работа [22].  Из УЗ изображений С-типа, полученных обычным эхо-методом, выделяются потенциальные дефектные зоны.  Для этого используется пороговая отсечка, адаптированная к уровню шума в изображении. Зоны потенциальных дефектов определяются по элементам изображении превышающим пороговый уровень. Далее сигналы поступают в классификатор, состоящий из двух нейронных сетей (см. Рис. 4), входными параметрами которых являются характеристики пар изображений С-типа. Первая нейронная сеть позволяет оценить серьезность дефекта, классифицируя дефекты на три группы в соответствии с их высотой; вторая – позволяет точно оценить его высоту.

Работа нейронной сети.

Для обучения ИНС использовалась база данных из почти 2500 имитаторов, 150 искусственных дефектов и 100 естественных дефектов. Моделирование выполнялось с применением программы CIVA, разработанной CEA. Полупромышленная проверка эффективности ИНС проводилась на 90 образцах с естественными дефектами, ранее обнаруженными на заводе. Испытания показали эффективность классификации дефектов 81%.

Особенно актуально применение ИНС для автоматической классификации дефектов на основе анализа акустических изображений большого объема (до 10 гигапикселей). Этой проблеме  посвящена работа [23], в которой анализировались результаты УЗК нефтепроводов. Основное внимание уделено идентификации предварительно обнаруженных областей с использованием полного процесса распознавания образов. Для этого использован алгоритм «случайный лес», который применяется для задач классификации, регрессии и кластеризации. Основная идея заключается в использовании большого ансамбля решающих деревьев, каждое из которых само по себе даёт очень невысокое качество классификации, но за счёт их большого количества результат значительно улучшается. Классификатор должен был распознавать коррозию, вмятины, потерю металла, дефекты в середине толщины стенки и отличать их от ложных срабатываний. Испытания проводились на основе выявленного при УЗК массиве дефектов в трубопроводе протяженностью 11 км. Всего было выявлено 305 дефектов (из них: 14% - коррозия, 43% - вмятины, около 9% -дефекты в середине толщины стенки, 35% - потери металла) и более 50 тысяч ложных срабатываний.  

Установлено, что эффективность работы алгоритма «случайный лес» при использовании очень ограниченного набора обучающих данных достигает 82%; при большом количестве обучающих данных она может достичь более 99%.

Сопоставление результатов классификации с применением алгоритма «случайный лес» и нейронной сети показали, что:

• Оба алгоритма хорошо распознают вмятины и дефекты в середине толщины стенки трубопровода.
• Для обоих алгоритмов коррозия и потеря металла выявляется с трудом.
• Если для обучения используется большое количество дефектов, то алгоритм «случайный лес» показывает результаты с большей вероятностью правильного распознавания дефектов.

1.3. Обнаружение и классификация дефектов используя ИНС глубокого обучения.

В последние годы большой интерес вызывает использование ИНС глубокого обучения. Основное их преимущество заключается в том, что они позволяют «обучать» признаки для использования ИНС, полученные из сигнала во время обучения и не требуют ручной настройки, или предварительного выбора признаков перед обучением. В частности, в работах [22], [23] использовались глубокие сверточные нейронные сети для классификации УЗ дефектов.

Вместе с тем, выделяют два основных фактора, замедляющих прогресс исследований в этой области: отсутствие доступных аннотированных наборов реальных данных, и нехватка результатов сравнительного анализа современных глубоких данных.

Для решения этих проблем в работе [26] разработан набор данных, который содержит 7004 реальных изображения УЗК, собранных с 18 пластин из нержавеющей стали как бездефектных, так и содержащих дефекты. Набор данных был лицензирован для целей некоммерческих академических исследований и разрешен к копированию и распространению. Используя разработанный набор данных в статье выполнена серия сравнительных экспериментов для оценки современных моделей глубокого обучения для задачи автоматического анализа изображений УЗК. 

Два набора данных УЗК из разработанного комплекта: а – бездефектные образцы, б – образцы с дефектами.

В сравнительных экспериментах участвовало 7 нейронных сетей: AlexNet - сверточная нейронная сеть, GGnet – модель глубокой 16-слойной структурой, Inception-v3, RESNET - остаточная нейронная сеть и три ее разновидности WIDE ResNet, DenseNet, SE-ResNet. Выполнены тесты, включающие анализ точности обнаружения дефектов, сложности модели, использование памяти и времени вывода.

Серия работ [27],[28], выполненных в VTT Technical Research Centre of Finland, посвящена обеспечению  алгоритма глубокого обучения базой данных, достаточной для машинного обучения, направленного на обнаружение и классификацию дефектов УЗК. Для этого предлагается дополнить базу виртуальными дефектами, рассчитанными с применением программ eFlaw от Trueflaw (в работе [25])  и  Civa (в работе [26]).

Использование виртуальных дефектов для генерации большого количества данных о дефектах позволяет использовать необработанные данные УЗ сканирования для обнаружения и алгоритмы, применяемые в машинном обучении для распознавания изображений.

В работе [27] продемонстрировано, что виртуальные дефекты предоставляют удачный способ дополнить базу УЗ данных, и показано, что современную глубокую сверточную сеть можно успешно обучить обнаружению дефектов с использованием данных виртуальных дефектов. 

В работе использовались данные, полученные при УЗК стыкового СС аустенитной трубы с 3 внутренними трещинами термической усталости глубиной 1,6 мм, 4,0 мм и 8,6 мм в области корня СС. УЗК выполнялся с применением дефектоскопа Zetec Dynaray 64/64PR-Lite, линейного сканирования матричных ФАР (5 x 3 элементов) с центральной частотой 1,8 МГц; УЗ волна фокусировалась на внутренней поверхности трубы. Для дальнейшего использования при машинном обучении данные УЗК были дополнительно обработаны для уменьшения их объема. На Рис. 7 приведен пример обучающих изображений с виртуальными трещинами, полученными с использованием программы eFlaw.

Типичные изображения обучающих данных с трещинами, полученные программой eFlaw.

Обучение осуществлялось с использованием 20000 вариаций виртуальных данных. Для классификации и обнаружения дефектов применялась сверточная сеть VGG16. Ориентировочная оценка эффективности классификации дефектов, выполненной ИНС по сравнению с оценкой эффективности классификации человека-контролера приведена в Табл. 1.

	Размеры обнаруженных трещин, мм	Число пропущенных трещин
Человек-контролер	1÷2,5	Менее 30
Классификатор машинного обучения	0.9	0

Табл. 1 Сравнение эффективности человека-контролера и классификатора машинного обучения.

Полученные результаты показывают, что при решении задач обнаружения дефектов, существующие глубокие сверточные сети превосходят людей-контролеров (обучение выполняется с теми же данными). 

В работе [28], являющейся продолжением и развитием [27], также используется глубокая сверточная нейронная сеть для обнаружения дефектов в УЗ данных, полученных с применением ФАР на различных искусственных дефектах, отличающихся по размерам и по типам. Показано, что различные типы искусственных дефектов – трещины затвердевания, пазы EDM (полученные электроэрозионной обработкой), зарубки, по-разному воспринимаются и обобщаются ИНС. В частности, обученная на трещинах затвердевания ИНС хуже распознает пазы EDM, тогда как обученная на пазах EDM и зарубках сеть лучше распознает дефекты типа трещин затвердевания. 

Анализ результатов работы [28] показывают, что необходимо очень осторожно подходить к разработке набора данных для обучения сети, предназначенной для использования в УЗК. В частности, типы дефектов могут распознаваться по-разному в зависимости от особенностей обучения сети.

2. Использование нейронных сетей при анализе изображений, полученных методом TOFD.

TOFD-метод популярен в НК благодаря своей надежности, высокой точности обнаружения, возможности определения размеров дефектов в конструкциях. Однако оценка и интерпретация данных TOFD требует экспертных знаний и во многом зависит от опыта и квалификации специалиста, особенно, когда мы имеем дело с большими массивами данных. Кроме того, много времени затрачивается ​​на процесс ручной интерпретации данных для определения характеристик дефекта. Учитывая, что в методе TOFD сбор данных и их обработка компьютеризированы, целесообразно применять алгоритмы ИНС, которые позволяют оценивать и классифицировать большие объемы данных.

Одна из первых работ, посвященных автоматизации оценки и интерпретации УЗ данных (изображений D-типа), полученных методом TOFD (TOFD-изображений) с применением ИНС, представлена в 1996 [28]. В ней показано, что автоматическая интерпретация TOFD-изображений возможна путем сегментации отдельных областей за счет разделения сигналов от дефектов и фоновых сигналов. Для этого TOFD-изображения сегментируются путем разделения всех пикселей изображения на два класса – относящихся к дефектам, или нет. Учитывая,  что свойства эхосигналов от дефектов очень похожи на свойства эхосигналов от искусственных геометрических отражателей (задняя стенка и т.д.), сегментация осуществляется в два этапа, как показано на Рис.8.

Процесс сегментации для обнаружения дефектов в УЗ изображениях TOFD: 1 этап – каждый пиксель помечается как фон или объект,2 этап – классифицируются области двоичных объектов как дефект или компонента эхосигнала от геометрических отражателей.

Сначала, для выявления дефектных областей и эхосигналов от геометрических отражателей, TOFD-изображение анализируется пиксель за пикселем. Для этого используется ИНС, обученная с помощью алгоритма обратного распространения ошибки. Затем выделенное TOFD-изображение переводится в двоичную форму и анализируются полученные бинарные области (см. Рис. 9).

Сегментация TOFD ¬– изображения СС стального листа толщиной 25 мм. (а) – исходное изображение. (б) – Сегментация ИНС.

На 2 этапе выполняется анализ полученных бинарных областей и, используя логические правила, связанные с характерными особенностями сигналов, выделяются области, содержащие дефекты и сигналы от задней стенки или поверхностных волн. 

Вместе с тем, в следующей работе, посвященной разработке автоматического контроля методом TOFD [ ], автор отмечает, что попытка использования ИНС, описанных в [29] для выделения дефектных зон при контроле, оказалась неоптимальной, и для этих целей применялись другие методы. 

В работе [31] исследуется возможность классификации сигналов TOFD от дефектов типа несплавлений и непроваров, полученных при контроле аустенитных СС с применением ИНС. Сигналы TOFD были получены с использованием оборудования μTOFD (AEA Technology). Для классификации сигналов TOFD по типам дефектов использовалась многослойная ИНС с прямой связью и алгоритмом обратного распространения ошибки. Для увеличения производительности ИНС выполнена предварительная обработка А-сканов (сглаживание и оптимальное шумоподавление с использованием дискретного вейвлет-преобразования [32]). Анализ эффективности классификации различного типа дефектов при различном количестве скрытых слоев (0 – 4) показал, что увеличение числа скрытых слоев с 0 до 4 приводит к повышению эффективности классификации: при наличии 4 скрытых слоев в ИНС эффективность классификации составляет 90% для несплавлений и 75% для всех рассматриваемых дефектов.

Работа [33] посвящена успешному применению предварительной обработки изображений и ИНС для полуавтоматической интерпретации УЗ TOFD-изображений, полученных в толстостенных сварных конструкциях из аустенитной нержавеющей стали. Использовалась классическая схема системы распознавания дефектов СС методом TOFD – сбор данных – предварительная обработка изображений – классификация. 

Экспериментальные исследования были выполнены на 5 сварных пластинах из аустенитной нержавеющей стали с объемными и линейными дефектами сварки. После выполнения УЗК методом TOFD была создана база данных всех сварочных пластин с изображениями. Предварительная обработка этих изображений состояла из подавления шума и сегментации. Для уменьшения уровня шума использовалось вейвлет-преобразование; сегментация достигалась за счет морфологической обработки. В результате сегментации выявлены признаки, характеризующие изображения, такие, как среднее значение, стандартное отклонение, асимметрия, эксцесс и т.д., которые служат входными данными для классификатора. В качестве классификатора использована ИНС прямого распространения с алгоритмом обратного распространения ошибки, имеющая один входной слой, скрытый слой с регулируемым количеством скрытых нейронов и выходной слой из одного нейрона [30]. Установлено, что сеть обеспечивает 65% эффективность классификации для тестового набора данных. 

В работе [34] предложено использовать концепцию топологических данных, основанную на «стойкой гомологии» для классификации TOFD-изображений, которая позволяет быстро автоматически обнаруживать различные типы дефектов (трещины, несплавления, поры). Метод классификации основан на распознавании дефектов различной формы на В-сканах: плоскостные дефекты характеризуются сигналами линейной формы на В-сканах, поры или включения создают сигналы параболической формы. Так как данные TOFD обычно очень зашумлены, то выполняется предварительная обработка, которая уменьшает количество данных для последующей классификации по алгоритму «стойкой гомологии» и используется деконволюция, которая позволяет выделить высокоамплитудные сигналы в каждом А-скане. Этапы такой обработки показаны на Рис. 10. Данные получены для образца трубы с наружным диаметром 116,6 см и толщиной стенки 23,3 мм. Сварной шов контролировался на частоте 10 МГц, угол ввода – 70° (наблюдается непровар на конце трубы).

В- изображение реальных данных TOFD, В- изображение (после деконволюции и фильтрации данных).

Дальнейшие расчеты выполнены с применением концепции «стойкой гомологии». Численные расчеты по обнаружению и классификации дефектов типа пор и трещин, продемонстрировали работоспособность и эффективность использования этой концепции. 

Оценка применения ИНС с алгоритмом обратного распространения ошибки для классификации дефектов по УЗ А-сканам, полученным эхо-импульсным методом и методом TOFD выполнена в работе [35]. Анализировались УЗ сигналы от дефектов типа несплавлений, непроваров, пористости в СС стальных пластин толщиной 20 мм. Исследовались сигналы с предварительной обработкой (сглаживание) и без нее. Анализ показал, что наилучшие результаты обеспечиваются при использовании сигнала TOFD с предварительной обработкой. Вместе с тем, предварительная обработка сигнала не улучшила эффективности классификации сигналов, полученных эхо-импульсным методом. Эффективность классификации УЗ сигналов от СС, полученных методом TOFD без предварительной обработки составляет 77,50%. 

Использованию линейного классификатора, реализованного на ИНС, для распознавания дефектов сварки в сигналах TOFD посвящена работа бразильских ученых [36]. В ней исследовалась возможность применения иерархических и неиерархических линейных классификаторов. Работоспособность таких классификаторов оценивалась при распознавании дефектов СС типа: неплавлений, непроваров и пористости. Для предварительной обработки сигналов, полученных при УЗК использовались преобразование Фурье, вейвлет-преобразование и фильтрация Савицки–Голея. Эти виды обработки применялись к сигналам, которые апостериори различались иерархическими и неиерархическими линейными классификаторами. 

В экспериментах использовалась обычная схема контроля методом TOFD. Выполнен контроль 12 образцов и зарегистрированы A-сканы, содержащие сигналы от дефектов. При обучении сети использовались исходные и предварительно обработанные сигналы (по 40 сигналов, соответствующих каждому типу дефектов). Применялась однослойная нейронная сеть, содержащая один нейрон на определенный тип дефектов. При реализации концепции иерархической классификации сначала рассматривались дефекты с высоким уровнем эффективности классификации, а затем другие типы дефектов. Результаты применения неиерархических и иерархических линейных классификаторов, полученные из исходных сигналов представлены в Табл. 2.

	Вид классификатора
	Неиерархический		Иерархический
	Обучение	Тест	Обучение	Тест
Число сигналов	160 сигналов	80 сигналов	160 сигналов	80 сигналов
Классифицировано	85%	71,3%	96,25%	78,75%
Не классифицировано	0%	7,5%	0%	1,25%
Ошибки	15%	28,75%	3,75%	21,25%

Табл. 2 Результаты применения линейного классификатора к исходным сигналам

Для неиерархического линейного классификатора эффективность классификации составил 85% – выше, чем общий результат для тестовых данных (71,25%).

Эффективность классификации для иерархического линейного классификатора – для исходных обучающих данных (96,25%) – значительно выше, чем для неиерархического линейного классификатора. Та же тенденция наблюдается и для тестовых данных.

В целом в работе продемонстрирована хорошая эффективность распознавания дефектов сварки в предварительно обработанных сигналах TOFD. 

Очень перспективными представляются работы группы специалистов из Великобритании, которые разработали полностью автоматизированную систему контроля методом TOFD, предназначенную для обнаружения, интерпретации и классификации дефектов СС с использованием нейро-нечеткого (гибридного) классификатора. Он обеспечивает лучшую производительность, сочетает в себе преимущества нейронных сетей и нечеткой логики, дает возможность получать результаты с высокой точностью, согласованностью и надежностью, позволяет сократить количество ошибок при интерпретации дефектов СС [37, 38]. Сначала необработанные данные TOFD поверглись предварительной обработке, которая включала в себя подавление шума (достигается усреднением данных соседних сканов), учет ошибок сканирования, удаление шумового фона. Затем выполнялась сегментация изображений с применением статистических, спектральных методов и методов текстурного анализа.

Результат автоматической сегментации TOFD-изображения представлен на Рис. 11.

Автоматическая сегментация данных TOFD.

На заключительном этапе работы использованы ИНС, реализующие три различных метода классификации: 

• Классификаторы на основе ИНС (могут учиться на данных, но результат не поддается естественной интерпретации).
• Классификатор на основе нечеткой логики (состоит из интерпретируемых лингвистических правил, но они не могут учиться). Отметим, что классификатор с нечеткой логикой наиболее прост в разработке, однако скорость вычислений довольно низкая, но при этом достигалась 95% эффективность классификация дефектов.
• Гибридный классификатор, который учится на данных и интерпретируется с помощью правил нечеткой логики. Он сочетает в себе преимущества нейронных сетей и нечеткой логики). 

Гибридный классификатор основан на трехуровневой нейронной сети с прямой связью. Первый уровень предназначен для входных переменных, средний - для нечетких правил «если-то», а третий уровень - для выходных переменных. На Рис. 12 приведен типичный результат работы классификатора с автоматическим обнаружением, определением размеров и классификацией дефектов СС. Разработанный гибридный классификатор продемонстрировал хорошие перспективы: высокую эффективность классификации, согласованность и приемлемое время вычислений.

Результат работы гибридного классификатора: автоматическое обнаружение, определение размеров и классификация дефектов СС. 

Эти работы выполнялись в рамках модельных исследований, поэтому трудно количественно оценить их эффективность и оптимальность их применения в реальных устройствах с реальными данными контроля. 

Вместе с тем, необходимо отметить, что развитые здесь модели классификаторов могут быть очень успешными, так как они обеспечивают решение в тех ситуациях, когда традиционные модели терпят неудачу - либо из-за их неадекватности, либо из-за их неспособности использовать полную доступную информацию [39]. 

Можно также предположить, что применение классификаторов, использующих нечеткую логику, и гибридных классификаторов при анализе акустических изображений, полученных другими методами УЗК, например, для выявления и классификации коррозии [40], весьма перспективно – так же, как оно оказалось полезным в рентгеноскопии и вихретоковом контроле [41].

Выводы

1. В последние десятилетия в области неразрушающего контроля выполняются многочисленные исследования, направленные на анализ возможности использования ИНС как инструмента автоматической оценки и классификации дефектов в контролируемом объекте.

2. Основные усилия направлены на предварительную обработку данных контроля, выбор оптимального типа сети, адаптацию к различным типам данных контроля.

3.  В области ультразвукового неразрушающего контроля характерны два типа данных контроля: одномерные сигналы от дефекта и двумерные изображения, содержащие дефекты. Соответственно и методы обработки и классификации отличаются. Особенно это относится к изображениям, полученным эхо-импульсным методом из-за разнообразия способов их получения.

4. Многочисленные работы посвящены применению ИНС для поиска и классификации дефектов по изображениям, полученным в результате контроля методом TOFD.

5. В последнее время большое внимание уделяется использованию ИНС глубокого обучения для обнаружения и классификации дефектов и созданию возможно более полной базы данных (с тем, чтобы выборка из нее была репрезентативной для конкретной поставленной задачи) для машинного обучения.

---

[1]. Приборы для неразрушающего контроля материалов и изделий // Справочник. В 2 кн. Кн. 1. Под ред. В.В. Клюева. 2-е изд., перераб. и доп. М.: Машиностроение, 1986. 488 с.

[2]. А.Б. Барский Нейронные сети: распознавание, управление, принятие решений. М.: Финансы и статистика, 2004. 176 с.

[3]. С.Ю. Назаренко, В.А. Удод. Применение искусственных нейронных сетей в радиационном неразрушающем контроле. // Дефектоскопия 2019, № 6 С. 53-64.

[4]. T. Schromm, J. Holtmann, M. Koch, C. Große. Automated detection of micrometer-cracks and delamination in CT volumes of previously stressed CFRP pressure rods. // 10th Conference on Industrial Computed Tomography (iCT 2020), www.ict-conference.com/2020.

[5]. В.П. Лунин, А.Г. Жданов, Д.Ю. Лазуткин Нейросетевой классификатор дефектов для многочастотного вихретокового контроля теплообменных труб // Дефектоскопия. 2007. № 3. С. 37—45.

[6]. Е.В. Кузьмин, О.Е. Горбунов, П.О. Плотников и др. Применение нейронных сетей для распознавания конструктивных элементов рельсов на магнитных и вихретоковых дефектограммах // Моделирование и анализ информационных систем. 2018. № 25(6). С. 667—679.

[7]. В.П. Вавилов, Д.А. Нестерук. Активный тепловой контроль композиционных материалов с использованием нейронных сетей // Дефектоскопия. 2011. № 10. С. 10—18.

[8]. E. Hill, S. Dion, J. Karl, N. Spivey, J. Walke. Neural Network Burst Pressure Prediction in Composite Overwrapped Pressure Vessels //J. Acoustic Emission, 25 (2007), 187-193

[9]. С. Хайкин. Нейтронные сети. Полный курс. Москва /С.Петербург /Киев, 2006, 1104 С.

[10].  Vishal.Va, R.Ramyaa, P.Vinay Srinivasa, R.Vimal Samsingha. A review of implementation of Artificial Intelligence systems for weld defect classification // Materials Today: Proceedings 16 (2019) 579–583.

[11].  R. Cormerais, A. Duclos, G. Wasselynck, G. Berthiau, R. Longo. A Data Fusion Method for Non-Destructive Testing by Means of Artificial Neural Networks // Sensors (Basel) 2021; 21(8): 2598; doi: 10.3390/s21082598.

[12]. F.W. Margrave, K. Rigas, D.A. Bradley, P. Barrowcliffe. The use of neural networks in ultrasonic flaw detection // Measurement 25 (1999) 143–154.

[13]. A. Masnata, M. Sunseri, Neural network classification of flaws detected by ultrasonic means, NDT & E International, Volume 29, Issue 2, April 1996, Pages 87-93.

[14]. S. Sambath · P. Nagaraj · N. Selvakumar. Automatic Defect Classification in Ultrasonic NDT Using Artificial Intelligence. // J Nondestruct Eval (2011) 30: 20–28, DOI 10.1007/s10921-010-0086-0.

[15]. Liu Zhenqing. Flaw echo Location based on the Wavelet transform and Artificial Neural Network // 15 WCNDT 2000.

[16]. Xiaoxia Yang,  Shili Chen, Shijiu Jin, Wenshuang Chang. Crack Orientation and Depth Estimation in a Low-Pressure Turbine Disc Using a Phased Array Ultrasonic Transducer and an Artificial Neural Network. // Sensors 2013, 13, 12375-12391; doi:10.3390/s130912375.                 

[17]. Y. Dun, J.H. Chen, G.L. Wang,X.H. Shi,Z.S. Xu, Identification of Multilayered Structure Properties Using Wavelet-Fractal Dimension of Ultrasonic Data.// Proceedings of 2009 IEEE International Conference on Information and Automation, ICIA 2009, 2009; pp. 990–994.

[18]. В.А. Бархатов Распознавание дефектов с помощью искусственной нейронной сети специального типа // Дефектоскопия. 2006. № 2. С. 28—39.          

[19]. M. Egmont-Petersen, D. de Ridder, H. Handels. Image processing with neural networks – a review // Preprint, to appear in Pattern Recognition, 2001.

[20]. Neural Network and Semi-Automatic Scanners for NDE Applications // EPRI NDE Center, :1996 TR-107119.

[21]. J. Spanner, L. Udpa, R. Polikar, P.Ramuhalli. Neural networks for ultrasonic detection of intergranular stress corrosion cracking. // NDT.net 2000-07.          

[22]. B. Bisiaux, F. Deneuville. On Line Analysis and Interpretation of Ultrasonic Images to Improve the Selectivity of the Control Installations for Steel Pipes //5th Pan American Conf. for NDT, 2011 // NDT.net: 2011 – 12.                                          

[23]. C. Fouquet, A. Histace, P. Duvaut. Automated Classification of Defect Signatures in Pipelines using Ultrasonic Images // ECNDT 2014.                      

[24]. M. Meng, Y.J. Chua, C.P.K. Ong. Ultrasonic signal classification and imaging system for composite materials via deep convolutional neural networks. Neurocomputing, 2017. 257: p.128-135.

[25]. N. Munir,  HJ. Kim , J. Park , SJ. Song , SS. Kang , Convolutional neural network for ultrasonic weldment flaw classification in noisy conditions. Ultrasonics, 2019; 94:74-81. doi: 10.1016 / j.ultras.2018.12.001.

[26]. J. Ye, N. Toyama. Benchmarking deep learning models for automatic ultrasonic imaging inspection // IEEE Acess v.9, 2021, pp. 36986–36994.                 

[27]. Virkkunen, I., & Koskinen, T. Flaw Detection in Ultrasonic Data Using Deep Learning. In Baltica XI: International Conference on Life Management and Maintenance for Power Plants.  VTT Technical Research Centre of Finland (2019).           

[28]. T. Koskinen, I. Virkkunen, O. Siljama, O. Jessen-Juhler. The effect of different flaw data to machine learning powered ultrasonic inspection // Journal of Nondestructive Evaluation (2021) // https://doi.org/10.1007/s10921-021-00757-x.         

[29]. Lawson, S. W. and Parker, G. A., "Automatic detection of defects in industrial ultrasound images using a neural network", Proceedings of SPIE, vol 2786, 1996, pp. 37-47.      

[30]. Lawson S. Recent developments for automatic on-line TOFD inspection // NDT.net, 1997- 09   

[31]. S. Lalithakumari., B. Sheelarani, B. Venkatraman. Classification of TOFD Signals by Artificial Neural Network// WCNDT 2012//wcndt2012/index.htm.

[32]. S. L. Kumari, B. Sh. Rani, B. Venkatraman: Wavelet Transform based De-noising of ToFD signals of austenitic stainless steel welds. CiiT Int. Journal of Digital Signal Processing, Oct 2011.

[33]. C. F. Th. Cenate, B. Sh. Rani, B. Venkatraman, D. N. Sangeetha. Classification of Defects in Time of Flight Diffraction(TOFD) Images Using Artificial Neural Network. // NDT.net: 2014-02, APCNDT 2013.

[34]. J. F. Cuenca, A. Iske. Persistent Homology for Defect Detection in Non-Destructive Evaluation of Materials// NDT.net Выпуск: 2016-01.

[35]. J. L. B. C. Veiga, A. A. de Carvalho, I. C. da Silva, and J. M. A. Rebello. The Use of Artificial Neural Network in the Classification of Pulse-Echo and TOFD UltraSonic Signals. // J. of the Braz. Soc. of Mech. Sci. & Eng, 2005, Vol. XXVII, No. 4, рр. 395-398.

[36]. E. P. de Moura, R R. da Silva, A. A. de Carvalho, M. H. S. Siqueira, J. M. A. Rebello. Welding defects pattern recognition in TOFD signals using linear classifier implemented by neural networks //PANNDT, 2003, n. 6, 2003.

[37]. C’Shekhar N Shitole, O Zahran, W Al-Nuaimy. Combining fuzzy logic and neural networks in classification of weld defects using ultrasonic time-of-flight diffraction//Insight Vol 49 No 2 February 2007, 79-82.

[38]. C’Shekhar N Shitole, O Zahran, W Al-Nuaimy. Advanced Neural-Fuzzy and Image Processing Techniques in The Automatic Detection and Interpretation of Weld Defects Using Ultrasonic Time-of-Diffraction //4 Int. Conf. on NDT, Oct.2007.

[39]. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. М. // Изд-во физ.-мат. литературы, 2000. 224 с.

[38]. H. Ravanbod. Application of neuro-fuzzy techniques in oil pipeline ultrasonic nondestructive testing. // NDT&E International, 2005, 38, pp. 643–653.

[41]. R. Sikora, P. Baniukiewicz, T. Chady, P. Lopato, G. Psuj. Artificial Neural Networks and Fuzzy Logic in Nondestructive Evaluation // 18th WCNDT, 2012