气象资料业务系统(MDOS)地面气象数据处理技术规程剖析.doc

附件2气象资料业务系统（MDOS）地面气象数据处理技术规程2015年5月目 录1 疑误数据分类12 疑误信息来源与疑误数据处理依据22.1 疑误信息来源22.2 数据处理依据33 需要处理的数据类型34 疑误数据处理流程44.1 时清44.2 日清44.3 月清45 疑误数据处理55.1 国家级站显性错误数据处理规则55.2 区域站显性错误数据处理规则55.3 可疑数据处理规则55.4 缺测数据的处理66 数据处理任务布局76.1 省级数据处理任务76.2 台站数据处理任务7本规程基于气象资料业务系统（MDOS）数据处理流程，依据地面气象观测规范及相关技术规定，对MDOS质量控制系统产生以及收集的疑误数据进行确认，以省级数据处理为核心，对错误数据和缺测数据进行修正处理，对元数据进行审核，以保障气象资料的完整、准确和可靠。本规程规定了省级和台站数据处理人员的任务、疑误数据处理原则和方法。1 疑误数据分类为便于对疑误数据处理，将疑误数据分为显性错误数据、可疑数据和缺测数据3类。显性错误数据：各类气象要素不在气候学界限值范围内的数据（见表1）。可疑数据：没有通过气候极值检查、内部一致性检查、时间和空间一致性检查等质量控制方法检查的数据。缺测数据：有观测任务，但无有效值的数据。表1 各要素气候学界限值要素最小值最大值气温-55.055.0本站气压300.0hPa 1100.0hPa海平面气压870.0hPa1100.0hPa相对湿度0%100%小时降水量0.0mm600.0mm0、5cm地温-60.080.010、15cm地温-45.060.02080cm地温-45.050.0160320cm地温-35.045.0草温-60.080.0风速(2min、10min平均)0.0 m/s75.0 m/s瞬时风速0.0 m/s150.0 m/s风向0360 （静风：PPC）极值出现时间HH-1:01(上时次01分)HH:00(本时次00分)小时蒸发量0.0mm30.0mm2 疑误信息来源与疑误数据处理依据疑误信息是指某个气象数据没有通过1个或多个数据质量控制方法检查的信息，如“某站气温没有通过空间一致性质量控制方法的检查，与周围邻近站相比偏低”即为一条疑误信息；疑误数据为具有疑误信息的观测数据或元数据。2.1 疑误信息来源疑误信息来源主要包括5部分，分别为：（1）MDOS系统的质量控制系统自动生成（2）国家级查询省级（或其他省查询，由国家级下发）（3）省级数据处理人员人工质量控制（4）台站观测人员提交（5）省级其他业务单位人员质疑查询（6）元数据疑误信息上述6部分疑误信息由MDOS系统融合后，统一提供给省级数据处理人员进行处理。在MDOS中，所需要处理的疑误信息大部分由MDOS的质量控制系统自动生成，下面介绍其质控流程。在省级气象通信系统中，首先进行文件级快速质量控制，记为QC0。数据接入MDOS后，对小时、分钟数据的自动质量控制采用2次递归方式（即2次启动）设计，分别记为QC1和QC2。日数据质量控制以及观测数据的系统偏差检测记为QC3。QC0：台站上传后立即进行的文件级质量控制。QC1：当本省同一时次数据到报率达到95%以上时启动，对所有台站进行批量质量控制。QC2：启动时间在HH+3:30，即08点的资料在11点30分进行第2次质量控制。QC3：每天20:30（北京时）启动，对日数据以及人工观测数据进行质量控制在，并进行系统偏差检测，根据检测方法逐候（逢1、6日）、旬（逢1日）启动。2.2 数据处理依据疑误数据处理依据为：（1）地面气象观测规范；（2）气象行业标准：QX-T 118-2010地面气象观测资料质量控制；（3）中国气象局监测网络司2006年下发的地面气象观测规范技术问题综合解答（第1号）。（4）气象行业标准：QX/T 37-2005气象台站历史沿革数据文件格式。3 需要处理的数据类型气象资料业务系统处理的地面数据，分为4类，即自动观测数据、人工观测数据、元数据以及统计数据。（1）自动观测数据分钟数据：气压、气温、相对湿度、风向、风速、降水量、地温（地面、浅层和深层）、草温等。小时数据：气压、气温、相对湿度、风向、风速、降水量、草温、地温（地面、浅层和深层）、自动观测能见度、辐射（总、净、散、直、反）。（2）人工观测数据云量、云状、云高、能见度、天气现象、蒸发、雪深、雪压、电线积冰、冻土、日照。（3）元数据对观测数据质量有影响的数据信息，包括观测仪器更换、台站观测环境变动、对观测数据质量有影响的备注、“纪要”、“天气气候概况”以及不正常观测记录的处理及统计方法等。（4）统计数据统计数据为通过观测值统计的日、旬、月、年值，这些数据的处理按照地面气象观测规范实施，后文不再赘述。其他数据（如每5分钟的数据）只进行文件级快速质量控制，标记质量控制码，其疑误数据不进行处理。4 疑误数据处理流程疑误数据的处理流程是通过对疑误数据的“时清”、“日清”和“月清”来实现。4.1 时清时清是指对某时次数据的完整性、准确性进行分析，对实时数据缺测、异常等情况进行处理。时清工作是日清和月清的基础，其处理对象为正点要素数据文件和逐分钟数据文件的全部要素数据。时清主要任务：（1）小时、分钟数据文件完整性处理；（2）逐时疑误数据处理；（3）元数据的审核。4.2 日清日清工作是时清工作集合，即日清应建立在时清基础上。在日末后，重点对日数据文件、元数据的缺测、疑误等情况进行处理。日清主要任务：（1）日统计值与各小时统计值矛盾处理；（2）天气现象与某要素日值矛盾处理；（3）元数据与观测数据矛盾处理。（4）元数据疑误信息。4.3 月清对月数据质量、全月元数据的完整性进行检查，完成国家站地面A、J文件生成，按规定上报。在处理风向缺失、传感器漂移等系统偏差类型的疑误信息时，要与该站历史数据、邻近站数据综合分析，如确认为系统偏差，按地面气象观测规范和相关技术规定处理。时清、日清和月清具体的时间段和时间点可根据各地的值班情况确定。对于时清并不是1小时后，该小时数据马上完成处理，而是表示该小时的数据已经处理完毕，特别是当该小时不在值班期间时。5 疑误数据处理5.1 国家级站显性错误数据处理规则对于在文件级快速质量控制时的显性错误数据，数据不做修改，标记为错误数据（质量控制码为2）。其中对小时正点数据和分钟数据在MDOS系统中按以下规则处理。5.1.1 小时正点显性错误数据的处理显性错误（包括人工确认为错误的数据）的处理原则是：如有数据可替换或修正，则进行修正；否则保留原值，将该数据的质控码记为2。正点数据为显性错误时，依次按以下顺序处理：首先用正点前后10分钟接近正点的记录（不含极值和累积值）来代替；当无分钟数据可用时，如该小时有其它同类记录，可用同类记录代替；最后当无正点前后10分钟记录和其它同类记录时，用正点前、后1小时记录值内插值来代替。如无以上三种情况可代替时，则该数据不作处理。小时极值为显性错误数据时，从实有记录中挑取。当风、降水等时间变率较大的记录为显性错误时，不作处理。5.1.2 分钟显性错误数据的处理（1）非正点的分钟数据为显性错误数据时，不作处理；（2）00分的分钟数据（风、降水记录除外），如其对应的小时正点数据正常或为其它同类记录代时，该00分数据可用小时正点数据值代替；如其对应的小时正点数据缺测或为正点前后10分钟记录代时，该00分数据不作处理。5.2 区域站显性错误数据处理规则区域站的小时和分钟为显性错误数据时，保留原始数据，不作处理。5.3 可疑数据处理规则可疑数据为没有通过各种质量控制方法方法的数据，在MDOS系统中，为表示该可疑数据的错误程度，在疑误信息的表述中有“错误”和“可疑”两种情况，以辅助数据处理人员处理数据决策时使用，本规则将其统称为“可疑数据”。对于没有通过质量控制方法检查的数据，按以下规则处理：（1）对超过气候极值的可疑数据，要分析是否符合当时的天气情况，对观测数据作可信程度审查。（2）对不符合内部一致性检查的可疑数据，要与其它站该要素进行综合分析，判断是否由于异常情况影响所致。（3）对不符合时间一致性检查和空间一致性检查的疑误数据，要与同站其它要素（降水与云、降水与天气现象、降水与能见度日照等）和其他站的同类要素进行对比分析，审核是否正常。（4）对未通过持续性检查的疑误数据，可根据观测要素特性适当延长观察和分析判断时间。（5）对正点数据中的计算值（如：海平面气压、水汽压和露点温度等）、日数据值及其相关要素的统计值等的可疑数据，要严格按照地面气象观测规范和相关技术规定，判断是否错误，如为错误数据应进行修正。（6）审核疑误数据是否由台站元数据发生改变引起。属于台站元数据发生改变引起的数据变化时，要增补台站元数据，同时审查疑误数据是否要进行修正。疑误数据经人工确认为正确数据时，质量控制码设置为0（正确数据）；疑误数据经人工确认为错误的数据，按显性错误处理方法进行。疑误数据在省级经人工审核后不能确认为正确或错误时，由省级查询台站，结合实际情况判断处理。对错误数据的处理均应备注并记入MDOS系统元数据。对变温、变压等统计值只做质控，不进行修正。如统计值有误，通过对相关的观测数据修正来实现。5.4 缺测数据的处理国家级站缺测数据的处理根据地面气象观测规范中不完整记录的处理方法执行。区域站缺测数据不进行处理（即数据修正）。6 数据处理任务布局6.1 省级数据处理任务与台站、国家级相比，省级是数据处理核心，所有疑误数据的产生和汇集均在省级，最终的确认和处理也在省级，主要包括：（1）疑误信息汇集与融合；（2）疑误数据的处理、查询与反馈。（1）疑误信息汇集与融合疑误信息除了来自MDOS的质量控制系统外，还包括国家级查询省级（含由国家级下发的其他省市的查询）、省级数据处理人员人工质量控制后登记、台站观测人员提交以及省级其他业务单位人员质疑所生成的疑误信息，MDOS系统对这些疑误信息进行汇集后，采用融合技术，对不同来源的信息进行综合处理，形成统一疑误信息，供省级数据处理人员处理。（2）疑误数据的处理、查询与反馈依据MDOS系统和流程，省级数据处理人员，对疑误信息进行处理、查询台站、处理台站的反馈等。6.2 台站数据处理任务（1）疑误信息处理与反馈台站在收到MDOS疑误信息12小时之内应完成反馈，反馈分为定时反馈和被动式反馈两种。定时反馈：在定时观测后反馈数据疑误信息。被动反馈：收到疑误信息短信后，先核对显性错误数据值，查明错误原因，根据需要检查相应观测仪器，并及时进行相关数据处理和观测仪器维护等工作。更正数据反馈：对台站本地更正过的数据要及时向省级进行反馈。（2）元数据信息登记当台站的基本信息、站网信息、观测信息、要素信息、仪器设备发生变动，或需登记备注、纪要信息时，24小时之内应登录MDOS操作平台登记该类信息。