Classification of welding defects: an approach based on deep learning for computer vision

Abstract

[SPA] Las técnicas de soldadura se utilizan frecuentemente en instalaciones industriales modernas. Sin embargo, la calidad de las soldaduras está lejos de ser perfecta y puede presentar ciertos defectos. La soldadura producida puede tener diferentes tipos de defectos, por lo tanto, el uso de test no destructivos (NDT) es omnipresente para examinar la calidad de la soldadura sin causar ninguna alteración en la estructura de la misma. Uno de los métodos NTD más populares es la radiografía. Tradicionalmente, la inspección de imágenes radiográficas se realiza de forma visual, por lo que conlleva a un mayor tiempo y trabajo, además de ser propensa a errores. La introducción de técnicas de visión por computador y aprendizaje automático permite automatizar la interpretación de radiogramas, haciendo que su inspección sea más confiable, reproducible y rápida. En esta Tesis doctoral se proponen nuevas técnicas de la segmentación, detección y clasificación de defectos de la soldadura para permitir una evaluación automatizada de la calidad de esta. La nueva tecnología desarrollada, contribuirá al análisis automatizado tanto en tiempo real como fuera de línea de la calidad de la soldadura, lo que permitirá una mejor interpretación de los defectos y una rápida corrección de estos. Por lo tanto, un paso fundamental para evaluar la calidad de la soldadura es identificar perfectamente la geometría de los defectos de soldadura. Existen diferentes etapas que permiten el análisis de defectos de soldadura. Entre ellas, la etapa de segmentación de imágenes que es uno de los mayores problemas en el proceso de reconocimiento de patrones, debido a la complejidad estructural de las imágenes radiográficas y a menudo el insuficiente contraste para extraer la región de interés sin tener ningún conocimiento a priori de su forma y ubicación. Dada la influencia de la segmentación en la detección de defectos, se dedica en esta Tesis un apartado para mejorar el rendimiento de la segmentación en el caso de imágenes radiográficas de defectos de soldadura, específicamente para los defectos de tipo porosidad y falta de penetración, que son objeto de esta investigación. A esta etapa le sigue la de detección de defectos, que permite la determinación e interpretación de la forma del defecto. La última etapa, se centra en determinar modelos efectivos basados en tecnología de aprendizaje profundo que permitan caracterizar defectos para que se conviertan en elementos de clase fácilmente identificables. En general, esta Tesis se centra en la aplicación de algoritmos de visión artificial mejorados con inteligencia artificial para, resolver el desafío de la clasificación de defectos en radiografía de soldaduras. Las técnicas consideradas en el estado del arte se utilizan para: eliminar el ruido, mejorar el contraste y segmentar la región de soldadura para localizar porosidades y falta de penetración, clasificar la soldadura y, por último, detectar los defectos. Así pues, se siguen los siguientes pasos:1.Se desarrollan técnicas eficientes de preprocesamiento, para la eliminación del ruido y mejorar el contraste, basadas en el filtro gaussiano y el método de estiramiento del contraste para mejorar la calidad de la imagen.2.Segmentación, se lleva a cabo con filtro de Gabor y umbrales locales y globales para mejorar la zona del defecto de nivel de gris y extraer información local.3.Detección, se realiza con binarización para la detección de porosidad, Transformada de Hough para la detección de falta de penetración y su combinación para la detección de múltiples defectos de soldadura.4.Clasificación, se implementa con el aprendizaje profundo basado en modelos previamente entrenados con tecnología de aprendizaje Transfer y técnicas de aumento de datos.5.La detección de porosidades múltiples se realiza en función de un enfoque de detección de objetos de aprendizaje profundo generado a partir del algoritmo CNN basado en regiones.6.Todo lo anterior se presenta minuciosamente con sus respectivos resultados finales. Es realmente importante indicar que en el caso de las aplicaciones de aprendizaje profundo, se necesita una gran cantidad de imágenes radiográficas de soldadura. Sin embargo, existe un menor conjunto de datos de defectos de soldaduras de tuberías. Para ello, se ha establecido un conjunto de datos propios a partir de nuestras imágenes de rayos X originales y se ha utilizado para la clasificación y la detección. Para el proceso de evaluación, se comparan todas las etapas del proceso en esta Tesis con las técnicas consideradas en el estado del arte y se toman los resultados superiores alcanzados por nuestros modelos. Los resultados experimentales con métricas de evaluación (MSE, LF, precisión, recall, F1Score ect.) demuestran la eficiencia de los procedimientos utilizados en esta Tesis.

[ENG] Welding techniques are frequently used in modern industrial facilities. However, the quality of weld is far from perfect. The weld produced may have different types of defects, hence the use of non-destructive testing (NDT) methods is ubiquitous to examine weld quality without causing any alteration in the weld structure. One of the most popular NDT methods used is radiography. Traditionally, the inspection of radiographic images is carried out by visual inspection, which leads to more time and labor-intensive process, as well as being prone to errors. The introduction of computer vision and machine learning techniques allow the interpretation of radiograms to be automated that makes the inspection of radiograms more reliable, reproducible and faster. In this doctoral thesis, new techniques for segmentation, detection and classification of welding defects are proposed to enable automated weld quality assessment. The new technology developed will contribute to both real time and offline automated analysis of weld quality, enabling better interpretation and a rapid correction of the defects. Therefore, a fundamental step to evaluate the quality of the weld is to identify perfectly the geometry of the welding defects. There are different stages for weld defects analysis. Among them, the image segmentation stage which is one of the most significant problems in the pattern recognition process due to the structural complexity of the radiographic images and the often insufficient contrast to extract the region of interest without any a priori knowledge of its shape and location. Given the influence of segmentation in the detection of defects, a section in this thesis is devoted for enhancing the performance of segmentation in the case of weld defect radiographic images specifically for defects of porosity and lack of penetration, which are the subject of this investigation. This section is followed by the defects detection step which allows determination and interpretation of defect’s shape. The final section focuses on determining effective models basing on deep learning technology making it possible to characterize defects so that they become easily identifiable class elements. Overall, this thesis concentrates on the application of artificial intelligence enhanced computer vision algorithms to solve the challenge of defect classification in welded joints radiography. The state-of-the-art techniques are performed to: eliminate noise, improve contrast, segment the weld region to locate porosities and lack of penetration, classify the weld and finally, detect defects. Thus, the following steps are performed: 1. Efficient pre-processing techniques are developed to eliminate noise and improve contrast, based on the Gaussian filter and the contrast stretching method to improve image quality. 2. Segmentation is carried out with a Gabor filter and local and global thresholding to improve the area of the gray-level defect and extract local information. 3. Detection is performed with binarization for the detection of porosity, Hough transform for the detection of lack of penetration and its combination for the detection of multiple weld defects. 4. Classification, is implemented with deep learning based on previously trained models with Transfer learning technology and data augmentation techniques. 5. Detection of multiple porosities is performed based on one deep learning object detection approach generated from region based CNN algorithm. All of the above is presented in details with their respective final results.‘ It is really important to indicate that on the case of deep learning applications, a high amount of radiographic welding images is needed. However, fewer data set of pipeline welding defects are available. For this, we have established our data set from our original X-ray images and have used for classification and detection means. For the evaluation process, all the stages of the process in this thesis are compared with the state-of the art techniques and the outperforming results achieved by our models are taken. The experimental results with evaluation metrics (MSE, LF, precision, recall, F1Score ect.) demonstrate the efficiency of the procedures used in this Thesis.