【行业资讯】天然气管网大数据分析方法

1.天然气管网大数据特点

■  数据量大：SCADA系统随时监测、计量、控制系统每时每刻均在积累大量数据。除此以外，管网运行与外部数据紧密相关。

■  数据采集速度跨度大：管网传感器多样、业务场景多元，覆盖管网全生命周期。

■  数据类型多样：管网数据类型包括结构化、半结构化以及非结构化数据，随之而来数据分析难度也增大。

■  数据价值密度差异大：因天然气管网的数据类型复杂多样，不同类型数据的信息含量与价值密度存在较大差异。

■  数据时序性、关联性、复杂性较强：运行工艺环环相扣，数据具有较强时序性；管道可靠性与设备状态密切相关，数据间呈现强关联性；管网运行与设备、运行多种平台，平常、思路都复杂交错。

2.分析方法

2.1 数据处理

■ 数据清洗利用插值、聚类等方法对数据异常进行检测与纠正。如语法错误、值域错误、值域格式错误或离群值。数据异常主要体现为传感器故障、传输异常等原因导致的数据缺失、重复或错误。还需要采用滤波方法，小波分解等手段去除噪声、平滑数据。

■  数据特征筛选有利于进行天然气管道检测数据的时域频域特征提取，建立拟合模型，提升分析结果的可靠性与精度，通常采用人工选择、自主选择和基于信号处理的选择的三种方法。

■ 数据特征重构能够检测天然气管网的系统异常诊断，如管网系统包括泄漏、堵塞、压缩机故障、误关阀等多种运行异常模式；还能根据新建站场的压缩机等设备的传感器数据不足，解决数据模型训练效果差等问题。在特征重构过程中可根据业务目标与数据分析模型特征，对数据进行降维或升维处理。其核心思想是不丢失原始数据特征信息含量的基础上，将其转换为新的数据特征，主要包含无监督学习等方法。

2.2 数据挖掘

■  预测预警是实现预测预警可控的基础，集深度融合统计学习、集成学习模型和深度学习于一体，构建分析场景。主要分为两大类：一、是对管网运行压力流量、设备剩余寿命等参数预测的方法；二、是对管网运行异常、设备故障等事件的预警方法。其中深度学习的发展能够推动管道工艺、设备响应、混合气源管网组分跟踪等技术的发展。

■  模式识别是智慧管网的主要能力，能够建立海量管网数据与系统状态、风险事件的具体联系，是形成管网智能认知能力的基础。模式识别能够挖掘数据间差异，识别其代表模式，是解决感知问题的重要方向，主要采用模式挖掘和模式区分两种方法。

■  规则学习与推理是智慧管网形成综合性预判等关键能力的算法基础。在天然气管网中积累了大量知识与专家经验，规则学习能够直接与专门知识相融合，解决逻辑复杂且风险较高的智能判断和决策难题。规则学习可以针对具体管网运行与管理问题进行抽象表述与归纳推理，能够在一定程度上提高方案的可操作性。

2.3 数据综合分析与决策

■  天然气管网的数据种类涵盖各种结构化、非结构信息，给数据应用带来很大困难。因此多源异构数据通过机器学习跨媒介融合多模态信息，提高算法对事物的理解和决策能力。它能够结合天然气管网数据分析需求，对缺失数据进行补充，恢复丢失信息等；综合利用高风险区监控影像和检测信号实现入侵报警、监控图像实时解释等。

■  跨部门数据的协同分析方法，需要发展B2B、B2C两种模式来打破人为因素造成的数据壁垒，实现跨部门数据的协同分析与综合决策。如通过多方计算技术的联邦线性回归预测模型，克服保密约束，提高模型鲁棒性，打破数据壁垒造成的数据维度不足，致使AI算法决策失灵。

编辑

严密、郝敏

审核

王多才、李洪烈