机器学习在管道完整性管理中的应用综述.docx

《机器学习在管道完整性管理中的应用综述.docx》由会员分享，可在线阅读，更多相关《机器学习在管道完整性管理中的应用综述.docx（14页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、机器学习在管道完整性管理中的应用综述本文对机器学习（Machine Learning, ML）在管道完整性管理（Pipeline Integrity Management, PIM）中的应用进行全面的文献综述。综述了机器学习在 管理和处理PIM活动产生的数据方面的应用。调查了在PIM过程要素（例如检 测、监控和维护）中的ML应用。研究了应用于PIM每个环节的ML技术（即 输入类型、预处理、学习算法、输出和评估度量）的各个方面。还讨论了 ML在 PIM中应用的当前研究挑战和未来研究机遇。本文的研究文献来源有期刊和会议，关于ML在PIM中的应用的研究分散 在26种期刊和8个会议上，涉及多个领域，包

2、括过程平安、NDT、仪器和测量、 腐蚀工程、建筑、智能系统等。研究所涵盖的广泛领域证明了该学科的多学科性 质。1理论背景管道完整性管理（PIM）的实施旨在降低因退化导致的故障风险，并维持管 道的功能性和平安性。PIM包括一组用于评估管道运行条件的活动。由于管道的 长度以及用于评估管道状况的传感器和工具的数量，这些活动产生的数据量大、 速度快、种类多。这些挑战使得手动和常规数据分析变得复杂、容易出错且耗时。 此外，从数据中发现有意义的模式和见解变得非常具有挑战性。ML已成为消化 海量数据集以提取信息和知识的关键方法。ML有潜力通过提高生产力、提供自 主信息处理、减少对手动和常规数据分析的依赖、协

3、助管理和评估高容量、高多 样性和高速数据来创立精益的PIM流程。尽管ML在PIM中的应用吸引了从业 者和研究人员的大量关注，但信息仍然处于孤立状态。目前还没有任何文献能够 全面概述在PIM中应用ML的情况。2管道完整性管理流程管道完整性可以定义为管道在不损害环境、人员和企业本身的情况下运输 石油产品的能力。因此，PIM可以被描述为一系列过程/活动，这些过程/活动旨 在维持管道在整个生命周期内的完整性，并确保其运行符合适用的行业规范和 法规。通过控制相关损坏机制，正确实施PIM有望降低管道故障风险。PIM流程通常包括四个主要环节：（1）检查、监控和测试，（2）完整性评估， （3）缓解、干预和修复

4、，以及（4）风险评估和完整性管理（IM）规划。这些环 节形成一个闭环。ML是一项科学研究，它使计算机能够模仿人类的智能来发现知识，并通过充领域知识，可以使用El Abbasy等人和El Abbasy等人所述的过滤器类型的特 征选择。El Abbasy等人使用NN的权重向量，而El Abbasy等人使用描述LNR 模型的度量。3.3.3 PIM中使用的学习算法类型下面简要介绍三种最常用的技术：神经网络（NN）是一种ML算法，最初是通过使用一组简单的相互连接的 神经元或节点来模拟人脑的神经系统。NN模型能够解决复杂的回归和分类问题, 因为它们能够发现输入和输出之间的非线性关系。文献中使用了五种类型

5、的神 经网络：MLPNN RBFNN WBFNN、PNN 和 GLMNN0 MLPNN 是最流行和 通用的神经网络体系结构，已应用于许多学科，包括医疗、金融、工程和营销。 类似地，MLPNN是PIM领域中最常用的NN体系结构，并且已经在PIM中的 每一类ML应用程序中实现。RBFNN与MLPNN的不同之处在于其激活函数。 在PIM中，RBFNN已用于缺陷尺寸确定、泄漏检测和腐蚀速率预测任务。 WBFNN的使用仅限于模型输入由MFL传感器信号组成的情况。WBFNN结合 了传统的神经网络和小波分析，这已被证明对分析时间序列数据和执行信号处 理有价值。PNN已用于构建泄漏检测系统。PNN不仅能够就是

6、否存在泄漏作出 决定，还能够评估所作决定的不确定性。GLMNN使用传统的线性回归模型，也 用于开发泄漏检测系统。支持向量机（SVM）的基本原理是，通过应用核心技术，用最优超平面（即 类间隔最大的子空间）别离一组给定的标记实例，这些实例表示为特征空间中的 点。在管道完整性管理主题中，SVM已用于四种分类任务：基于ECT信号的缺 陷分类，基于压力和流量数据的检测的泄漏分类，基于振动信号的泄漏预警系统 开发，以及基于超声波信号的缺陷严重性检测和评估。除了普通的支持向量机外, 研究还采用了四种不同的支持向量机算法：PSO-SVM、AI-SVM、Euclidean-SVM 和 Fuzzy-SVM。PSO

7、-SVM、AI-SVM 和 Euclidean-SVM 被认为适合用于在线应 用和管道的连续监测，因为它们能够高效地训练模型（即更少的训练时间、内存 和计算能力），而不会牺牲模型的预测性能。PSO-SVM使用PSO算法来提高选 择核函数和相关参数的效率和有效性。Euclidean-SVM的设计减少了对核心函数 和参数选择的依赖，从而减少了参数优化阶段的复杂计算。AI-SVM仅使用新获 取的数据来训练模型，而不会牺牲大局部分类性能，从而减少了计算本钱高昂的 批量数据处理。Fuzzy-SVM使用模糊核函数，提高了模型的训练时间和分类精 度。表2每个PIM任务类别中使用的预处理类型特征提取信号去噪特

8、征选择特征 变换数据 融合检 测MFL时域、FT、WT中值滤波器，LMS自 适应滤波器，小波变 换，移动平均滤波器， Savitzky-Golay 滤波器PCA,支持向量机 的权向量特征融合UTWT、GT、FT、CTWT遗传算法，主成分 分析，显著性检验缺陷 异常 检测ECT高斯一牛顿算 法，列文伯格- 马夸特算法， 小波变换WT泄漏检 测系统时域、WT粗糙集标准化决策 融合监 测缺陷检 测系统小波变换，傅 立叶变换，希 尔伯特变换主成分分析管道监测系统STFT标准化瀚性评（古、 风险评估和 imMiJ腐蚀速率 预测GRA、领域知识标准化风险评估 和IM规划状态与失效 预测领域知识，基于LNR

9、 的变量排序，神经网 络的权重向量规范化线性回归（LNR）是一种线性方法，用于寻找一个或多个自变量与因变量之 间的关系。LNR旨在找到一组描述最正确拟合直线的参数，该直线基于观测的因 变量和自变量数据集将总误差降至最低。LNR只能用于回归任务。用于分类任 务的回归模型为LR。在管道完整性管理中，LNR已在基于MFL信号、故障类 型预测和条件预测的缺陷检测和尺寸确定中实现。3.3.4 PIM中使用的评估指标类型分类精度（accuracy）是分类任务中最常用的评估指标。分类精度评分的计 算方法是将正确预测数除以预测总数，适用于描述ML模型的总体性能，但对于 不平衡的类别分布和不同的误分类本钱而言，

10、它有严重的局限性。因此，应结合 其他指标，以弥补其缺乏。然而，大多数研究仅依靠分类精度评分来评估ML模 型在分类任务中的性能。混淆矩阵通常用于通过将模型做出的决策分为四类来 补充准确度得分：真阳性、假阴性、假阳性和真阴性。与分类精度评分不同，混 淆矩阵对类别分布和误分类本钱不敏感。但是，不适合使用混淆矩阵在不同模型 之间进行性能比拟，因为它不是由单个标量值表示的。Cruz等人使用接受者操作特性曲线（ROC）和效率产品（EP）作为评估指标。ROC曲线通过绘制模型 在不同决策阈值下的真阳性率和假阳性率来可视化和评估模型的性能。ROC曲 线下的面积越大，模型的性能越好。与混淆矩阵类似，ROC曲线对类

11、别分布和 误分类本钱不敏感。同时，EP用于评估ML模型将实例分类为不同类的能力。 EP用于多类分类设置。在强化学习中，维修本钱、故障本钱和寿命延长被用作 主要回报函数。通过文献分析，回归任务中的评估指标分布比分类任务中的更分散。MAE、 RMSE和R2是回归任务中最常用的指标，主要用于故障类型和条件预测任务。 3.3.5 PIM中使用的输出类型研究中使用的输出类型可以根据研究中使用的ML任务类型进行分类，即 二元分类、多元分类和回归。讨论检测系统开发（例如缺陷检测和泄漏检测）的研究通常是二元分类任务, 旨在将实例分类为两个输出类。对于建立缺陷检测系统的研究，输出通常为“缺 陷”或“非缺陷”，对

12、于建立泄漏检测系统的研究，输出通常为“泄漏”或“无 泄漏”。对于讨论分类系统开展的研究（例如缺陷分类、严重性分类、管道完整 性威胁分类和故障类型预测），该研究通常侧重于多元分类任务，旨在将实例分 类为三个或更多输出类之一。这些研究中的输出类型检测系统更为多样。例如， Simone等人和Cruz等人开发了一种基于UT技术的钢焊接接头缺陷检测系统。 虽然这些研究有相同的目标，但他们选择的输出类是不同的。Simone等人使用 “裂纹”、“沉头孔”和“根焊”作为输出类别，而Cruz等人选择“未焊透”、 “夹渣”和“气孔”作为输出类别。回归任务的研究（例如缺陷大小和腐蚀速率预测）的输出是连续值。例如，

13、在讨论腐蚀速率预测的研究中，模型的输出是估计的腐蚀速率。在关于利用强化学习优化维修计划的研究中，输出是应执行的维修行动，以 实现预期可靠性，同时最小化维修本钱。4当前研究挑战和未来研究机遇在PIM中应用ML的研究挑战之一是难以从管道中获取实际运行数据。大 多数研究使用模拟数据作为ML模型的输入。实际数据优先于模拟数据，因为模 拟数据可能无法代表实际管道运行。然而，实际数据可能不可用或被认为不可行 （例如，由于其机密性和敏感性）。因此，确保数据生成模拟尽可能接近实际情 况至关重要。模拟数据的利用产生了另一个挑战，涉及到所开发的ML模型对实际管道运行的适用性。如前一段所述，存在模拟无法反响实际管道

14、运行状况的风险。因 此，根据该模拟数据开发的ML模型可能不适用于实际管道运行。因此，重要的 是进行验证测试，以确保开发的ML模型适用于实际管道操作。目前大多数研究使用NN、LNR和/或SVM作为学习算法。未来的研究应通 过包括集成技术（即利用多种学习算法开发ML模型）来扩展学习算法的选择。 集成技术的一些例子有AdaBoost梯度提升决策树算法（Gradient Boosting Decision Tree, GBDT）和随机森林。在所有已确定的研究中，只有两项使用集 成技术。据报道，集成技术比单独学习算法产生更好的预测性能。大多数研究将分类精度作为分类任务的主要评估指标。分类精度提供了有 关

15、ML模型总体性能的信息，但当涉及到不平衡的类别分布和不同的误分类成 本时，分类精度具有严重的局限性。在分类任务类别中确定的所有研究中，只有 四项研究使用其他指标（即混淆矩阵、ROC和EP）来弥补准确度指标的固有缺 陷。在未来的研究中，分类精度指标的使用应该与能够弥补其弱点的其他指标相 补充，特别是当原始数据具有不平衡的类别分布和比照错误分类本钱时。可用于 补充准确性的一些评估指标是精确度、recall、ROC和EP。目前已确定的研究侧重于PIM过程的三个要素（即缺陷/异常检测、完整性 评估、风险评估和IM规划）。没有研究讨论ML在风险降低措施类别中的应用。 未来的研究应包括在缓解、干预和修复管

16、道中使用MLo未来的研究还应调查如 何在PIM活动中进一步实施强化学习。5结论PIM包括一组用于评估管道运行条件的活动。ML在PIM中的应用正引起 人们的广泛关注，因为ML能够消化海量数据集并从原始数据中提取信息和知 识。ML已在三类PIM任务中实施：缺陷/异常检测、完整性评估、风险评估和 IM规划。在缺陷/异常检测类别中，ML已用于检测和监控任务。在检测任务类 别中，ML用于处理从检测工具（即MFL、UT和ECT）获取的信号，以执行诸 如缺陷检测、缺陷分类和缺陷尺寸确定等任务；在监控任务类别中，ML已用于 开发泄漏检测系统、缺陷检测系统和管道监控系统；在完整性评估中，ML用于 预测腐蚀速率和

17、腐蚀缺陷深度；在风险评估和IM规划类别中，ML已用于腐蚀 速率预测、故障预测、状态预测、维修计划优化。两类数据（基于其来源）被用作研究的输入：模拟数据和实际/历史数据。模 拟数据明显比实际/历史数据突出。研究中使用了五种类型的预处理：特征提取、 信号去噪、特征选择、特征转换和数据融合。NN、SVM和LNR是研究中使用的最主要的学习算法。研究中使用的输出可以根据研究中使用的ML任务类型进 行分类，即二元分类、多元分类和回归。分类精度是分类任务中最常用的评估指 标。同时，回归任务中不存在单独的评估指标。在强化学习中，维修本钱、故障 本钱和寿命延长奖励被用作主要回报函数。ML的主要作用是自动分析检测

18、和监测数据，减少人工管道状态评估固有的 主观性。ML有助于用机器代替人力，以执行需要高水平资质和认知技能的高度 复杂的任务。ML通过提供自主的数据和信息处理，减少人工评估固有的主观性, 减少评估者与评估者之间的输出变化，协助管理和评估大量高速数据，从而创立 精益PIM流程，以及确定影响管道完整性的因素之间的复杂非线性关系。在未来，进一步的研究工作将致力于开发ML模型，使用集成技术，研究强 化学习在PIM活动中的进一步应用，并探索更好地评估ML模型性能的不同指 标。经验和周围环境的自动学习来促进基于数据的决策。ML使用数据驱动的方法, 旨在基于特定数据集构建因变量和自变量之间的计算关系。ML依靠

19、高效的学习 算法、大型数据集和大量的计算性能，从原始数据中发现信息和知识。由于ML 能够从海量数据集中做出预测并揭示隐藏的信息，因此它是大数据分析的关键 要素之一，被认为是大数据时代的主力军。ML已被用于各种数据密集型学科（如 金融、生物信息学、电子商务、工程、健康和医学等），用于许多应用，如数据 挖掘、推荐系统、信息检索、自主控制系统和自然语言处理。图1显示了典型的ML模型开发过程。ML通常包括两个主要阶段：学习和 预测。在学习阶段，模型学习根据给定的输入或数据集进行推理。学习阶段是模 型逐渐获得其预测能力的阶段。学习阶段包括三个主要步骤：预处理、学习和评 估。ML模型的输入通常是不完整、不

20、一致、非结构化且包含噪声的原始数据。 预处理步骤通过使用数据清理、集成、缩减、转换、提取和融合，将原始数据转图1改编自Zhou等人的ML模型的开发过程图1改编自Zhou等人的ML模型的开发过程换为机器可读格式， 从而确保原始数据 准备好用于培训步 骤。训练步骤包括选 择模型的学习算法、 优化模型的超参数 以及使用预处理的 数据集训练模型。然 后在评估阶段通过性能指标（如准确性、精确度和回报率）检查模型的性能。在 预测阶段，将部署性能最正确的模型，以基于新数据集进行预测。基于学习系统可用反响的性质,ML领域可分为三个子领域：（1）监督学习， （2）无监督学习，（3）强化学习。图2给出了 ML技术

21、的分类。每个ML子域 的简要描述如下：监督学习：监督学习通过将自变量与因变量映射，推断一组自变量与因 变量之间的关系。神经网络、支持向量机、决策树和k-近邻是监督学习中常用的 算法。监督学习可以分为两类：分类和回归。当因变量是一组有限的离散值时， 问题被归类为分类问题。在PIM中，分类通常用于泄漏检测、缺陷类型识别和 风险水平预测。当因变量为连续值时，问题被归类为回归。在PIM中，回归用 于估计缺陷尺寸和预测退化率。非监督学习：无监督学习的目标是从包含未知输出变量的输入变量集合2/41图2基于学习反响性质的ML技术分类的数据集中发现模式 或隐藏结构。聚类是 一项无监督学习任 务，旨在将对象划分

22、 为不相连的簇，以便 根据一些预定义的标 准，在同一簇中分组 的对象彼此相似，但 与其他簇中的对象不 同。聚类任务中常用 的一些技术有K-均值 聚类、层次聚类和高斯混合模型。在PIM中，聚类可用于对类似的管段（例如， 类似的操作条件、施工材料和退化机制）进行分组，以简化风险评估。强化学习：在强化学习中，系统通过与行为相关的奖惩反响进行学习。与无 监督学习类似，强化学习系统不提供包含输入输出变量对的数据集。蒙特Carlo. Q-学习和马尔可夫决策过程是强化学习技术的一些例子。3文献分析PIM中ML的实现领域对已发表的文章进行文献分析，关于ML在PIM中应用的研究集中在缺陷/ 异常检测类别，占文章

23、总数的67%。在缺陷/异常检测类别中，监测的研究文献 比检测更多。没有文章讨论ML在测试实践中的应用。应注意的是，没有发表与 风险降低措施类别相关的文章。从ML任务类别的角度来看，分类是最常用的技 术，其次是回归和强化学习。3.1 ML在PIM中的应用为了了解ML在PIM中的应用，确定了每项研究的主要目标。通过阅读文 章的标题、摘要和引言局部，提取每篇文章的研究目标。分析得知，ML已应用 于缺陷/异常检测、完整性评估、风险评估和PIM规划任务。表1为目前主要的 ML技术及其文献中常用缩写。表1 ML技术及其相应缩写 类别技术缩写机器学习主动增量支持向量机ALSVM自适应增强AdaBoostAN

24、FISANFIS自适应神经模糊推理系统决策树DT高斯混合模型GMM广义线性模型神经网络GLMNNK-近邻K-NN线性回归LNR逻辑回归LR多层感知器神经网络MLPNN朴素贝叶斯NB粒子群优化支持向量机PSO-SVM概率神经网络PNN径向基函数神经网络RBFNN支持向量机SVM小波基函数神经网络WBFNN预处理余弦变换CT连续小波变换CWT离散小波变换DWT扩展卡尔曼滤波器EKF傅里叶变换FTGabor变换GT遗传算法GA灰色关联分析GRA最小均方LMS模式适应小波PAW主成分分析PCA短时傅里叶变换STFT小波包变换WPT小波变换WT评价平均绝对误差MAE均方误差MSE接受者操作特性曲线ROC

25、均方根误差RMSE效率产品EP检测相敏光时域反射计9-OTDR涡流检测ECT远程超声波检测LRUT漏磁MFL超声波检测UT321 ML在缺陷/异常检测中的应用在缺陷/异常检测类别中，ML已用于检查和监控任务。可以看出，ML已用 于三种检查方法：（1） MFL, （2） UT和（3） ECTo这些方法是石油和天然气行 业中最常用的在线检测（ILI）技术。在检测任务类别中，ML应用于处理从检验工具获取的信号，以执行以下任 务：缺陷检测、缺陷分类和缺陷尺寸。缺陷检测通过检测信号预测缺陷的存在。 缺陷分类涉及将检测到的缺陷分类为特定的缺陷类别（例如腐蚀、裂纹、凹陷等）。 缺陷检测后进行缺陷分类。缺陷尺

26、寸与缺陷维度（例如长度、宽度和/或深度）的 估计有关。缺陷尺寸在缺陷检测和缺陷分类后进行。在监控任务类别中，ML已用于开发泄漏检测系统、缺陷检测系统和管道监 控系统。泄漏检测系统中的ML用于执行以下一项或多项任务：泄漏检测、泄漏 定位、泄漏大小和泄漏预警。泄漏检测、定位和尺寸调整功能利用管道运行参数 （例如，输入/输出流速、密度、温度和压力）或声学信号作为ML模型的输入， 以推断泄漏的发生、位置和尺寸。泄漏预警系统使用管道周围产生的振动信号来 判断管道附近是否发生任何异常事件（可能导致管道泄漏）。在缺陷检测系统类别中，ML用于缺陷检测和缺陷严重性分类，基于远程超 声波检测（LRUT）技术。LR

27、UT最初设计用于检查石化厂保温层（CUI）下的管 道腐蚀，但在检查无法接近的管道方面已得到普及。与传统超声检测不同，LRUT 能够使用从永久固定在管道上的超声波换能器环传输的脉冲回波系统，从单个 测试点连续监测数百米的管段。然后，LRUT的信号被用作ML模型的输入，以 推断缺陷的存在及其严重性。在监控系统类别中，ML用于检测和确定第三方工程的管道完整性威胁类型。 Tejedor等人使用（p-OTDR获取信号，用于检测和分类与管道附近的机器（即挖 掘机、气动吊篮和平板压实机）及其活动（即移动、撞击、报废、压实）相关的 威胁。从ML的角度来看，所有检测任务（即缺陷检测、泄漏检测和完整性威胁检 测）

28、都是二元分类任务，因为它们涉及将一组实例确定为两个不同的组（即“缺 陷”或“非缺陷”和“泄漏”或“非泄漏”）。缺陷分类、泄漏预警系统、缺陷严 重性分类和管道完整性威胁分类是多元分类任务，旨在将实例分为三类或三类 以上的类别。同时，尺寸测量任务（即缺陷尺寸测量和泄漏尺寸测量）是回归任 务，因为因变量是连续值。3.2.2 ML在完整性评估中的应用在完整性评估中，ML用于预测腐蚀速率和腐蚀缺陷深度。腐蚀速率和缺陷 深度被纳入适用性评估服务（Fitness For Service ， FFS）中，以评估未来操作的5/40 完整性。腐蚀速率和缺陷深度也被用作进行剩余寿命评估的输入之一。根据文献分析，ML

29、已被用于预测三种腐蚀机制的速率：CO2腐蚀、土壤腐 蚀和湿气条件下的腐蚀。ML腐蚀速率预测首先确定影响腐蚀程度的因素。不同 类型的腐蚀机理有不同的影响因素，使这些因素的识别变得复杂。这些因素源于 设计（例如直径、长度、结构材料等）和管道参数（例如操作压力和温度、流速 等）。确定的因素然后用作ML模型的输入特征。使用ML估算腐蚀速率是一项 回归任务。3.2.3 ML在风险评估和完整性管理中的应用在风险评估和完整性管理中，ML已在四个活动中实施：腐蚀速率预测、故 障预测、状态预测和维护计划。除了与完整性评估类别相关外，腐蚀速率预测还 与风险评估和PIM规划类别相关，因为腐蚀速率数据可用于评估管道的

30、失效概 率（PoF）o事实上，腐蚀速率估算是基于风险的检查（RBI）方法中损伤机制评 估的一局部。ML在管道失效预测中最关键的应用是评估造成失效的起因，以便在失效发 生之前采取必要的措施。Senouci等人使用五个输入特征（即运输产品类型、管 道位置、管道年龄、土地使用和管道直径）作为ML模型的输入特征，以预测管 道的失效类型。通常考虑五种管道故障类型：机械故障、运行故障、腐蚀故障、 自然灾害故障和第三方故障。通过ML进行的管道状态预测涉及利用模式识别方法评估和预测现有油气 管道的状态。有关管道当前状态的信息预计将有助于管道运营商对其完整性管 理计划（即检查和维护计划）进行优先排序和优化。与腐

31、蚀预测任务类似，预测 管道状况的ML方法从确定影响管道状况的要素开始，如管龄、工作压力、直 径、涂层状况、接头状况等。这些要素随后成为ML模型的输入特征。此外， Ouadah使用分类算法，根据从ILI获得的数据对管道缺陷的严重性进行分类。强化学习已被用于利用数据驱动的维护计划。采用Q-leaming作为学习算 法，维修费用、故障费用和寿命延长作为回报函数。已经证明，与传统的定期维 护方法相比，强化学习方法能够降低高达58 %的维护本钱。3.3 PIM中使用的输入类型、预处理技术、学习算法、评估指标和输出PIM中使用的输入类型两类数据（基于其来源）被用作研究的输入：模拟数据和实际/历史数据。 模

32、拟数据又可分为计算机模拟数据和物理模拟数据。使用计算机生成计算机模拟数据，通过数学模型再现所考虑系统的行为和6/41 结果。特定软件通常用于辅助计算机模拟。例如，Layouni等人使用MATLAB模 拟和观察缺陷边缘周围MFL信号的行为。类似地，Rosado等人使用CST EM Studio有限元模型模拟不同缺陷剖面的ECT信号。物理模拟数据是通过在实验室规模内复制所要研究的系统产生的，其结果 可以用作ML模型的输入。Cruz等人演示了一个物理模拟例如，他们在钢板上 制造焊接缺陷，以生成焊接缺陷的特征UT信号。另一个例子是Abdulla和 Herzallah,他们建立了一个小规模的实验装置来模

33、拟管道系统，以捕获代表管道 运行的数据。实际/历史数据是通过观察管道系统的实际操作获得的。例如，ElAbbasy等 人收集实际管道运行、设计和检查数据，以预测管道状况。Senouci等人利用欧 洲跨国输油管道的泄漏数据开发了预测管道失效类型的ML模型。通过研究文献中使用的输入类型的分布，可以观察到，模拟数据，尤其是计 算机模拟数据，明显比实际/历史数据更突出。当实际/历史数据不可用或被认为 无法收集时，模拟数据成为主要选项。例如，由于管道泄漏的机密性和敏感性， 收集管道泄漏数据可能不可行。因此，模拟数据集几乎用于所有讨论管道泄漏检 测系统开发的研究中。3.3.1 PIM中使用的预处理技术类型在

34、ML用于缺陷/异常检测任务（即监测和检测）的研究中，从监测传感器 和检测仪器获得的数字信号被用作主要输入。因此，在这些任务中使用的预处理 技术与转换获取的信号相关联，以便它们能够提供有价值的信息并提高ML模 型的预测能力。监测和检测类别中应用了五种主要的预处理：特征提取、信号去 噪、特征选择、特征转换和数据融合。下面给出了每种预处理类型的简要说明。特征提取：特征提取可定义为一组代表观察或模式的变量的构造和识别。从 信号中提取特征可以是时域、频域或时频域。时域分析已用于从漏磁信号和压力、 温度和流量信号中提取特征。描述性统计，如最大幅值、峰-峰距离、平均值、 移动平均值和标准偏差，可用于描述时域

35、信号中的特征。为了从频域中提取特征，可以使用傅里叶变换（FT）和余弦变换（CT）O FT 是一种将信号分解为其频率特性的数学技术。FT已用于从漏磁信号和超声信号 中提取特征。与FT类似，CT将信号转换为一系列以不同频率振荡的余弦函数。 CT已被用于从超声信号中提取特征。然而，当信号通过FT和CT变换时，时域 中的信息无法反映出来。如果信号是静止的（即具有恒定频率内容的信号），那么 这可能不是问题。由于存在短期波动、尖锐的不连续性和突变，大多数信号（包7/40 括监测工具和检测仪器产生的信号）都是非平稳的。克服频域限制的另一种方法 是使用时频域。从时频域提取特征的两种替代技术是短时傅里叶变换（S

36、TFT） 和Gabor变换（GT）。STFT和GT分别用于从声学信号和超声信号中提取特征。 STFT通过使用有限长度的窗口函数将信号划分为几个较小的时间段来近似时频 分析。然后，利用FT对每个时间段进行处理，以确定其频率内容。GT是STFT 的一个特例。GT的基本原理是使用高斯分布函数作为窗口函数，从信号的FT 中提取局部信息。该窗口函数被移动以变换另一个信号位置，直到整个时域信号 被变换。然而，STFT受分辨率限制（即时间分辨率和频率分辨率之间的权衡）， 因为它对整个时域信号使用相同的窗口函数。小波变换（WT）通过对一个信号 应用多个窗口函数来消除STFT的限制。因此，小波变换能够提供良好的

37、时间分 辨率和频率分辨率的分析。小波变换使用小波，这是一种具有不规那么和不对称性 质的有限类波振荡，其平均值为零。小波适用于分析具有尖锐不连续性和突变的 非平稳信号。在以往的研究中，小波变换是用于特征提取的最常用的信号处理技 术。除上述技术外，还使用高斯-牛顿和列文伯格-马夸特算法和希尔伯特变换从 ECT和超声信号中提取特征。信号去噪：通过抑制不提供有用信息并损害ML模型预测性能的干扰来提 高信噪比。调查发现，由于检测领域大量使用仪器，因此仅对检测任务类别执行 信号去噪。从检测仪器获取的所有信号都会受到噪声的影响，这会降低分析技术 的准确性和检测能力。中值滤波器、移动平均滤波器、Savitzk

38、y-Golay滤波器和 LMS自适应滤波器已用于去除MFL信号的噪声。中值滤波器是一种信号平滑技 术，它用指定长度内定义的相邻点的中值替换每个原始信号数据。移动平均滤波 器的工作方式与中值滤波器相同，但它使用相邻点的平均值替换原始数据点。 Savitzky-Golay滤波器通过使用相邻数据点的多项式调整每个原始数据点来执行 信号平滑。与标准移动平均滤波器相比，Savitzky-Golay滤波器在应用于具有薄 峰值的信号时，具有更好的结果。同时，LMS自适应滤波器使用LMS算法调整 滤波器系数，以产生最正确合成信号。除了作为特征提取器的功能外，小波变换还 用于去除MFL、UT和ECT信号的噪声。

39、小波变换通过基于特定阈值系数对信 号进行分解和重构来对信号进行去噪。特征选择：进行特征选择是为了降低数据维度，并选择信息量最大且最相关 的特征，以提高ML模型的预测能力。研究中使用的特征选择技术有主成分分析 技术（PCA）、粗糙集（roughset）、遗传算法（GA）、支持向量机权重向量和显 著性检验。PCA是一种数据降维技术，其工作原理是将原始数据转换为一8/41 组新的不相关特征，这些特征根据其解释数据差异性的能力排序。PCA已用于 降低从MFL信号和超声信号中提取的特征的数据维数。类似地，粗糙集是一种 基于粗糙集理论的降维技术，旨在从给定数据集生成决策规那么。这些规那么用于描 述数据集中

40、属性之间的关系。粗糙集已用于降低泄漏检测系统特征的数据维数。 GA是一类包装器特征选择方法（即利用学习算法确定相关特征的最正确子集）， 该方法基于进化生物学启发的机制优化特征选择。GA已用于选择从超声信号中 提取的特征。SVM通过为每个特征分配权重并移除权重较小的特征来发现信息 性属性或特征。SVM的权重向量用于选择从漏磁信号中提取的特征。显著性检 验是一类过滤特征选择方法（即通过查看数据的内在属性来使用特征相关性得 分），该方法使用统计假设检验来确定相关特征。特征变换：特征变换涉及通过执行特定操作（例如，汇总、聚合、组合等） 将现有特征转换或整合为一组新的特征。研究中实现的唯一特征转换是特征

41、标 准化，它已用于泄漏检测系统和管道监控系统开发中的特征。标准化本质上是一 种重缩放操作，其中现有特征被转换为具有标准正态分布的特性（即，平均值为 0,标准偏差为1）。执行标准化以确保每个特征按比例作出贡献，特别是在使用 距离度量的学习算法上，以及在假设标准化的情况下。数据融合：研究中使用了两种类型的数据融合：特征融合和决策融合。特征 融合是为了将现有特征组合成一组在预测建模中更具信息性的融合特征。特征 融合已用于构建泄漏检测系统的特征和基于漏磁检测的缺陷检测。同时，决策融 合涉及将不同特征集上的单个决策组合成一个全局决策。Zadkarami等人使用 Dempster-Shafer技术融合两个

42、MLPNN模型做出的决策，以开发泄漏检测系统。根据分析，与缺陷/异常检测类别的研究相比，在完整性评估、风险评估和 完整性管理规划类别中讨论ML应用的研究执行的数据预处理范围较小。在讨论ML在腐蚀预测任务中的应用的研究中，灰色关联分析（GRA）和领 域知识（domain knowledge）被用作特征选择技术。当问题的性质得到充分理解 时，例如腐蚀科学和工程，领域知识可以用作特征选择方法。GRA用于分析离 散数据特征之间的关系，并在多种特征情况下做出决策。在GRA中，每个特征 都分配了一个权重，用于比拟特征之间的相对重要性。GRA已用于预测湿气腐 蚀速率的特征选择。在利用ML进行状态和故障预测任务的研究中，领域知识和变量排序方法 是两种突出的特征选择技术。领域知识已用于预测油气管道状况的特征选择。管 道退化的本质已被充分理解，使领域知识成为选择相关特征的适当方式。为了补