应用气象大数据

　　2015年9月5日，《国务院关于印发促进大数据发展行动纲要的通知》正式发布，在全社会引起广泛影响。在此前后，社会上的大数据浪潮汹涌澎湃，推动着每一个行业、部门和企业。一些单位和部门急于“抢占大数据制高点”，纷纷出台了一系列政策、措施、机构和项目。气象部门也不例外，以气象大数据为名上项目、搞工程的苗头已经出现。

　　如何应用大数据，开展气象大数据工作的前提条件是什么，气象大数据如何建设数据中心，如何稳步推进气象大数据战略是气象部门决策和执行机构必须面对、厘清的问题。

　　开展气象大数据工作的前提条件

　　气象部门是一个整体，其有效运转除需要观测数据外，财务、人事、绩效、资产甚至设备状态信息等数据，都是不可或缺的，应无一遗漏地纳入气象数据的范畴。

　　现有气象数据的梳理

　　气象部门内对数据的关注点长期聚焦在气象观测数据，相应的规范标准也多以观测数据为对象，其他类别的数据则所涉甚少，甚至没有涉及。这种不平衡导致了这些其他类别数据在管理上的各自为政、规格上的无章可循、信息间的彼此隔离、质量上的参差不齐，以及使用上的困难无序和低效。

　　不少技术人士将所有气象数据纳入统一管理平台（如：Cimiss）视为气象数据治理的完成，这无疑也是片面的。事实上，如果上述诸如数据定义、数据分类/分级、数据分布、数据操作等诸多问题没有解决，气象数据没有经过科学的梳理和配置，所有气象数据在形式上的汇聚便起不到高效管理、有效应用和长期支持业务发展（包括业务变更）的作用。

　　气象数据的规划和治理

　　对气象数据的全面规划和治理是无法跨越的基础工作。气象数据规划，实质上就是气象部门的信息资源规划，是对气象部门日常运转所需要的各种信息，从采集、处理、传输到使用等生命周期各个环节的全面规划。

　　通过气象数据规划，可以梳理业务流程和管理流程，厘清信息需求、建立部门行业的信息标准和信息系统模型，并据此来继承、整合、优化、改进乃至再造业务流程及业务系统，从而稳步地推进气象大数据战略。

　　气象数据规划是整体梳理、谋划和设计，气象数据治理则是具体实施执行。所谓数据治理，就是使气象数据自产生的那一刻开始，经历的采集、传输、处理、存储、操作以及质量和安全保障等生命周期诸多环节中的每一个环节，都处在一个统一、自洽、协同的规则之中，以使得气象数据这一部门和全社会宝贵资产始终处于正确有效的管理之下。

　　贯彻气象数据治理，除先进的理念外，还需要有配套的组织架构、原则、过程和规则，以确保数据管理的各项职能得到正确的履行。

　　数据意识的逐步培育

　　提高全部门的数据意识，是开展气象大数据的基础。

　　对创新而言，所有的成功都是小概率事件，唯有每一步都追求精确方才可能达到。数据是精准文化的核心，精准靠数据来表述。没有数据意识就没有现代科技，在全气象部门培养数据与精准意识已是当务之急，科学与精确应当成为气象部门的工作信条和文化素养，是实现气象现代化最根本的基础条件。

　　必要的人才基础条件

　　气象大数据应用的开展，人才条件是决定其成败的要素之一。

　　具体地说，实施气象大数据应用，除上述几项基础工作外，在人才队伍方面还需具备以下两个基础条件：（1）建立起对应于大数据管理运营的数据管理中心的组织架构。没有一个相对完整和专业的数据管理团队，是难以发挥出大数据分析的功效的。（2）建立起一支精干的数据分析团队，并拥有一个灵活适用的数据分析技术平台。

　　此外，开展气象大数据工作，可能会遇到许多意想不到的困难，如算法和数据来源问题。所有大数据应用的数据来源都是来自于互联网的替代数据，而由于数据源非针对该应用所采集，该应用所需要的内容可能同时存在于不同的数据源之中，且存在的形态和格式各异：同样是分析舆情，腾讯微信大数据和百度大数据的分析方法可能完全不同。面对不同的数据源，需要不同的信息提取算法。合适的数据源和分析算法，是开展气象大数据应用首先需要解决的问题。气象部门缺乏相应的专业人才和团队。

　　对于气象部门而言，利用他人的数据开展大数据应用，对可能面临的困难，需要做好一定的心理准备。

　　气象大数据中心建设问题

　　开展气象大数据工作，基础设施环境（即气象大数据中心）的建设问题，是必须直面的另一个问题，因为海量数据的处理需要相当规模的存储和计算资源予以支持。

　　应是气象行业大数据中心

　　气象大数据由“行业”和“互联网”两部分来源构成。笔者认为，气象大数据中心应当是以存储管理行业大数据为主要目标，即气象大数据中心应当是气象行业大数据中心。

　　气象大数据中心在建设和使用初期，应以气象行业大数据为主要管理对象，并在气象互联网大数据的应用中尽可能避免海量数据的搬迁。与此同时，大数据中心在设计和实际操作过程中可以预留一定规模的基础资源，为在极端情况下互联网大数据的载入和处理预留一定的管理空间和能力。总地来说，管理气象行业大数据是气象大数据中心的职责。对于互联网大数据而言，大数据中心既没有义务、也应尽可能避免对其进行长时间管理。所以，气象大数据中心应当是气象行业大数据中心。

　　气象大数据中心形态与分布

　　气象行业大数据中心同时应当是气象云中心。就应用效果而言，在资源充沛且数据处于规范管理的前提下，数据的集约化程度越高，应用的效果越理想。因此，气象大数据中心应当是气象数据汇聚、规范化管理且资源十分充沛的数据中心。云计算中心是大数据中心最好的物理形态，大数据中心应以云计算中心为基础平台，这在业界已形成共识，气象大数据中心也不例外。所以，气象大数据中心应当是一个组织机构概念，逻辑上相对独立，而其实际的物理基础设施应当是气象云中心，是气象云中心上的一个具体业务应用。

　　需要进一步说明的是，对气象大数据中心的规模而言，其中的行业数据的增长规模处在气象部门掌控之中，基本上可以预估。但如果将互联网大数据的应用场景也考虑在内，预留可充分应对极端情况下互联网数据源大举载入时的支撑资源，由于数据源对象的未知性，其相应的规模是难以预先测算的，偏大则可能导致资源的长时间闲置，偏小则可能届时无法发挥支撑作用。较为可行的解决方案之一是采用专有云形式，即：选择资源规模大、公共安全措施完备、专业水平高、服务信誉好且价格相对合理的云计算中心，在其上长期租赁相应规模的基础设施资源作为气象云的基础设施，其中气象大数据中心的资源需求规模可基本参照气象行业大数据的存储管理规模来进行预估。与此同时，与该云计算中心签订相应的服务合同，承诺在气象大数据中心遇到特殊情况（如极端情况下海量互联网数据的大批载入）时，该云中心可及时扩充气象大数据中心的基础资源租赁规模，并在应用结束后收回这些临时租赁的基础资源。

　　未来的气象云中心最终将以1+2或1+3等数量有限、地理分布相对合理的形式长期存在。且专有云较之私有云而言，是更为合理的气象行业云形态。

　　尽早开展应用研究工作

　　应及早开展针对互联网大数据在气象部门各领域创新应用的研究工作。目前这项工作在气象部门除个别先行单位（如公共气象服务中心）外，基本处于空白状态。尽早进行大数据基础知识和技能的储备，对工作的顺利开展有益无损。同时，应积极筹备组建相关的专业化团队，以期尽早具备如下能力：

　　数据资源发现能力：熟悉互联网上各种数据资源以及数据交易市场的业务动态，熟悉数据资产的价值评估，可在部门用户提出数据资源需求时，及时提供互联网数据资源的咨询服务，推荐合适的数据资源，以及资源的基本情况。

　　数据获取能力：具备在正常情况下，通过正规途径，以技术手段及时获取指定数据源中所有数据的能力。

　　数据分析能力：具备在收集互联网数据的基础上，针对应用目标以及数据源的特点，提出相应的分析模型，指导并最终完成对互联网数据的整理和分析，以完成应用目标中各项研究、评估和预测的能力。

　　数据算法实现：根据分析模型及数据源特点，形成数据分析处理软件，并完成数据处理。

　　分析平台：拥有分析模型建立、处理软件生成以及分析结果可视化展现的技术平台。

　　应适时成立相应机构（如气象互联网大数据应用研究中心等），专门从事这方面的研究和应用工作。

　　稳步推进气象大数据战略

　　在积极探索创新应用的同时，应冷静分析气象大数据的特点和可能的适用范围，基本明了其能力边界，做到心中有数。既不被外界过度宣传所裹挟，也不被内部守旧力量所羁绊。积极而稳妥，慎重而不裹足不前。

　　全面认识气象大数据

　　目前国家所倡导的大数据战略，与其说是为了推行充分挖掘数据资源价值的工作方法，不如说是一种工作思维和工作方式的改进和补充，是一场全社会文化素养的改良和变革。通过对大数据不断深入的应用，持续改进全社会的生产质量、产品质量、服务质量和生活质量。

　　因此，不必过度介意气象大数据在某些特定领域内（如提高预报准确率等）作用的有限。大数据不是万能的，正如信息化不是万能的一样，不可能指望单凭推行大数据就能解决所有问题。充分利用一切可以利用的数据资源，不断创新、不断改进气象部门各项工作，倡导和发扬工匠精神，使各项工作更加科学化和精细化，就已达到了气象大数据战略的基本目标。

　　此外，气象大数据应当以应用为主导，以业务为主导，以改善各项工作为主导，更应该以技术、业务、服务和管理创新为主导。应当使全部门明了：开展气象大数据工作不等于在各地开展数据中心基础建设，更不等于在各地开展数据库建设。此外，开展气象大数据工作，应力求基础工作先行、专业团队建设先行和应用研究先行。

　　保持清醒、力戒浮躁

　　我国政府多年前便已开始倡导科学发展的理念，但目前全社会急于求成的心理依然非常普遍，似是而非且激动人心的宣传口号此起彼伏，反映出一些人的浮躁心态。气象大数据工作的开展，不宜采用运动的方式，而应该在充分营造创新氛围的前提下，由创新引导气象大数据的具体应用，循序渐进，待深入到一定程度后，再由大数据应用逐步推动创新，从而形成创新引导大数据应用，大数据应用进一步推动创新的彼此互动的良性循环局面。从过程上看，气象大数据的开展应当水到渠成，过度的宣传、强力的行政推动和盲目鲁莽的基础建设无异于揠苗助长，对大数据的应用发展有损无益。切勿被“抢占制高点”等宣传口号所蛊惑，在有些过热的大数据风潮中，保持头脑的冷静，力戒内心的浮躁，显得尤为可贵。

　　国家气象信息中心副总工程师兼科技委主任 沈文海