气候预测 | 并行计算集群

气候模拟 | 高性能数值计算

气象大数据平台 | 气象高性能计集群

随着气候预测、气候模拟、智慧气象、并行计算集群、气象大数据平台、高性能数值计算、气象高性能计算集群的发展，人类步入全新的人工智能大数据时代。为切实发挥应对气候变化基础科技支撑作用，科学认识气候系统变化的新事实、新趋势，满足国家和区域应对气候变化和绿色低碳发展的服务需求。本文使用参数非参数和机器学习方法分析印度降雨变化，给我国带来的启示进行展开讨论。

关于印度降雨研究

探索各地降雨的时空分布和降雨模式变化是水资源管理与规划、农业可持续发展等部门的基本要求。本研究利用34个气象分区的整体数据、变化点等几个方面调查了年降雨量的变异性和趋势。调查显示，印度西部各分区的年降雨量变化最高，而印度东部和北部的降雨量变化最小。

1960年后，大多数气象分区的降雨量与多年长期平均降雨量的偏差超过−500mm，而少数几个分区的降雨量则为正向偏离。因此，从详细分析中可以确定，几乎所有的分区在1970年之后都出现负趋势和高变异性。所以这些关于全国历史数据的详细信息对规划非常有益。在本研究中，所有气象分区的降雨量都是使用先进的AI模型（如人工神经网络）预测的。降雨预报的结果表明，到2030年，15%的降雨量将下降，这表明环境和生活世界都将出现令人担忧的情况。

印度的经济完全依赖于农业和工业。因此，水资源是印度经济进步的重要组成部分。由于全球气候变化对降雨模式的干扰，所以在发达国家展开了以量化降雨变化模式并相应地制定管理计划的研究。本研究提供了全年和季节性降雨的整体变化点的降雨变化趋势，自变化点以来的降雨变化率，年份明显的偏离和未来降雨等各个方面的信息，最重要的是本研究分析了印度降雨变化的原因。从技术上讲，本研究使用了几种复杂的技术，这些技术因提供高精度结果而受到全世界科学家的钦佩。

本研究中设计技术：

一、曼恩-肯德尔法

曼－肯德尔法又称Mann—Kendall 检验法，是一种气候诊断与预测技术，非参数方法。应用Mann-Kendall检验法可以判断气候序列中是否存在气候突变，如果存在，可确定出突变发生的时间。Mann-Kendall检验法也经常用于气候变化影响下的降水、干旱频次趋势检测。

上海年平均气温曼-肯德尔统计量曲线

二、概率和确定性方法

采用人工神经网络（一种流行的AI模型）来预测34个气象分区的降雨量。ANN 是一个非线性黑盒 AI 模型（工作原理类似于并行分布式信息处理系统，反映了大脑的生物结构，由简单的神经元和处理信息以在输入和输出之间建立关联的链接组成。）。与大脑的功能一样，ANN模型正在使用前馈多层感知器算法工作。该结构由三层组成，如输入层、一个或多个隐藏层和一个输出层。我们通过试错程序选择了隐藏层中的神经元数量。ANN学习基于生物神经网络的结构和功能，即封闭对存在于神经元核心中的突触链接的调整。

ANN 人工神经网络

三、Sen+MK趋势分析

Sen 斜率估计用于计算趋势值，通常与MK非参数检验结合使用。即首先计算Sen趋势值，然后使用MK方法判断趋势显著性。

四、ArcGIS 克里金法

该方法基于包含自相关（即，测量点之间的统计关系）的统计模型。因此，统计方法不仅具有产生预测表面的功能，而且能够对预测的确定性或准确性提供某种度量。

克里金法假定采样点之间的距离或方向可以反映可用于说明表面变化的空间相关性。克里金法工具可将数学函数与指定数量的点或指定半径内的所有点进行拟合以确定每个位置的输出值。克里金法是一个多步过程；包括数据的探索性统计分析、变异函数建模和创建表面，还包括研究方差表面。该方法通常用在土壤科学和地质中。

当前我国气候现状

随着全球气候变暖等问题的出现，下面从大气圈、水圈、冷冻圈、生物圈方面介绍我国气候现状。

一、大气圈

1、平均年降水量呈增加趋势，降水变化区域间差异明显。1961～2021年，平均年降水量呈增加趋势，平均每10年增加5.5毫米；2012年以来年降水量持续偏多。2021年，平均降水量较常年值偏多6.7%，其中华北地区平均降水量为1961年以来最多，而华南地区平均降水量为近十年最少。

2、高温、强降水等极端天气气候事件趋多、趋强。1961～2021年，极端强降水事件呈增多趋势；20世纪90年代后期以来，极端高温事件明显增多，登陆台风的平均强度波动增强。2021年，平均暖昼日数为1961年以来最多，云南元江（44.1℃）、四川富顺（41.5℃）等62站日最高气温突破历史极值。1961～2021年，北方地区平均沙尘日数呈减少趋势，近年来达最低值并略有回升。

1901~2021年中国地表年平均气温距平（相对1981～2010年平均值）

二、水圈

1、沿海海平面变化总体呈波动上升趋势。1980～2021年，沿海海平面上升速率为3.4毫米/年，高于同期全球平均水平。2021年，沿海海平面较1993~2011年平均值高84毫米，为1980年以来最高。

2、地表水资源量年际变化明显，近二十年青海湖水位持续回升。2021年，地表水资源量接近常年值略偏多；辽河、海河、黄河和淮河流域明显偏多，其中海河流域地表水资源量为1961年以来最多；珠江和西南诸河流域较常年值偏少。1961～2004年，青海湖水位呈显著下降趋势；2005年以来，青海湖水位连续17年回升；2021年青海湖水位达到3196.51米，已超过20世纪60年代初期的水位。

1980～2021年中国沿海海平面距平（相对于1993～2011年平均值）

三、冰冻圈

1、青藏公路沿线多年冻土呈现退化趋势。1981～2021年，青藏公路沿线多年冻土区活动层厚度呈显著增加趋势，平均每10年增厚19.6厘米；2004～2021年，活动层底部（多年冻土上限）温度呈显著上升趋势。2021年，青藏公路沿线多年冻土区平均活动层厚度为250 厘米，是有观测记录以来的最高值。

2、北极海冰范围呈显著减少趋势。1979～2021年，北极海冰范围呈一致性的下降趋势；3月和9月北极海冰范围平均每10年分别减少2.6%和12.7%。1979～2021年，南极海冰范围无显著的线性变化趋势；1979～2015年，南极海冰范围波动上升；但2016年以来海冰范围总体以偏小为主。

青藏公路沿线多年冻土区活动层厚度和活动层底部温度变化

四、生物圈

20世纪70年代以来中国沿海红树林面积总体呈先减少后增加的趋势。2020年，中国红树林总面积基本恢复至1980年水平。

1、整体的植被覆盖稳定增加，呈现变绿趋势。2000~2021年，中国年平均归一化植被指数（NDVI）呈显著上升趋势。2021年，中国平均NDVI较2001~2020年平均值上升7.9%，较2016~2020年平均值上升2.5%，为2000年以来的最高值。

2000～2021年卫星遥感（EOS/MODIS）中国年平均归一化植被指数

2、中国不同地区代表性植物春季物候期均呈提前趋势，秋季物候期年际波动较大。1963～2021年，北京站的玉兰、沈阳站的刺槐、合肥站的垂柳、桂林站的枫香树和西安站的色木槭展叶期始期平均每10年分别提早3.5天、1.5天、2.5天、3.0天和2.8天。

1963～2021年中国不同地区代表性植物展叶期始期变化

蓝海大脑气象数据解决方案

某省是我国受台风、暴雨、干旱、寒潮、大风、冰雹、冻害、龙卷风等灾害影响最严重地区之一。在气象灾害相对频发的情况下，某省气象局在服务经济社会发展中作用日益突出，提高气象观测、数据共享和精细化预报水平变得至关重要。通过与蓝海大脑合作，摆脱原有IT基础构架对于气象工作的限制，实施弹性的统一架构，实现了高水平的气象观测、预测和服务业务。

一、客户需求

由于天气预报模拟具有计算量大、通讯密集、I/O要求高和规范的模式系统化集成等特点，对高性能计算系统的计算性能有着超高的要求，具体要求表现如下：

1、计算量大

气象预报本身具有时效性，要求定时定点自动运行，无需人工干预。一般每天在固定的2-4个时段运行，每个时段2小时内运行完。因此，必须使用计算性能卓越的高性能计算系统来进行并行计算。

2、通讯密集

由于采用并行计算，因此各CPU间的通讯量很大。主要体现在WRF各计算域间的通讯及各类不同数据划分间的通讯。因此，要求本高性能计算系统在具有高性能计算的同时，兼具高性能的通讯网络。

3、I/O要求高

由于涉及大量的用户和大量的小文件读写，气象模式对整个系统的IOPS性能有较高要求，存储系统的稳定性和可用性对整个业务系统的运行至关重要，要求存储系统具有故障自愈功能。另外，考虑到气象数据的周期性访问特点，需要支持基于策略的分级存储功能。

4、模式系统集成化

从软件的处理流程上看，一般分为前处理、主模式和后处理。整个模式系统从前处理到主模式再到后处理，需要系统具有较高的稳健性，所以优秀的模式软件应用专家支持、硬件级的系统技术支持，对预报模式的良好使用也是关键。

二、解决方案

蓝海大脑依托接收的常规气象观探测资料、气象卫星资料、雷达资料、数值预报产品等多源数据，基于定量反演、机器学习、云计算、云存储、大数据分析、快速循环同化、虚拟现实等前沿技术，研发了具备多元化高性能算力、精准化短临预报、一站多源数据融合及多样化气象服务等优势的气象大数据平台，面向整个气象行业提供信息化系统顶层设计、软件研发应用、数据共享服务等，同时也向道路、航空、物流、农业等行业领域开展针对性的精准气象预报保障服务。

为满足客户需求，结合行业特点从计算节点、网络、存储、功耗、扩展、散热等方面出发，提出完善的解决方案。

1、计算节点

采用高性能英特尔酷睿系列处理器，计算节点采用双路混搭方案。四路计算节点依靠其突出的计算能力与内存容量，可在一台机器上完成中小模式的处理分析，减少资料预处理、计算、分析的时间，提高计算效率。

2、高速网络

采用高性能专用高速IB网络，将计算节点、管理节点、登录节点全线速互联，保证集群通讯网络的高性能。并将NAS存储通过万兆连入高速网络，配合集群并行文件系统，实现全部节点的数据共享。

3、存储系统

综合以往存储硬件解决方案，系统应用要求存储设备具备的特点及蓝海大脑在多年高性能计算领域的实施经验，充分满足用户现阶段使用及未来扩展需求。

4、低功耗

解决方案不仅强调整体运算效率，同时强调单位体积内的计算能力以及单位能耗可提供的计算能力。

5、可扩展

计算系统采用机架式服务器，既可保证节点内的扩展性，又可保证整个集群的横向扩展性。总体上，满足用户对未来集群的扩展需求。

6、液冷散热

蓝海大脑液冷服务器 HD210 H系列突破传统风冷散热模式，采用风冷和液冷混合散热模式——服务器内主要热源 CPU 利用液冷冷板进行冷却，其余热源仍采用风冷方式进行冷却。通过这种混合制冷方式，可大幅提升服务器散热效率，同时，降低主要热源 CPU 散热所耗电能，并增强服务器可靠性。经检测，采用液冷服务器配套基础设施解决方案的数据中心年均 PUE 值可降低至 1.2 以下。

三、用户收益

1、资源重新整合，实现更好的业务连续性

通过应用的分区分域部署，显著提高关键应用程序的性能、稳定性和容量，从而更好的保障业务连续性。

2、气象信息分发服务更高效

帮助客户建立更高效、及时的气象信息分发服务，以减轻极端天气事件对某省社会和经济结构的影响。

3、数据安全性提升，人力投入降低

整合后的架构将加强灾难恢复计划，降低管理复杂性和成本，解放气象局的团队，使其专注于更具战略性的任务。

4、运营敏捷性提升，快速响应资源请求

稳定、安全的新存储，可有效地管理和保存大量雷达数据。统一的基础架构将有助于优化运营敏捷性,使气象局能够快速响应开发团队对资源的请求。

使用参数非参数和机器学习方法分析印度降雨变化，能给我国带来什么警示？相关推荐

参数学习方法和非参数学习的区别
参数学习方法:在训练完成所有数据后得到一系列训练参数,然后根据训练参数来预测新样本的值,这时不再依赖之前的训练数据了,参数值是确定的. 而非参数学习方法是:在预测新样本值时候每次都会重新训练数据得到新 ...
提取地图中道路_非机器学习方法·从遥感影像中提取道路
本科低年级曾经做过一个提取道路线的题目. 提供的数据:老师给我们了一幅学校周边地区的影像,包括RGB+Infrared四个波段. 一开始使用的方法:当时尚青涩的我和小伙伴们一起使用KMEANS.阈值分 ...
CVPR 2023 点云系列 | Point-NN无需训练的非参数、即插即用网络
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理我们提出了一种用于 3D 点云分析的非参数网络 Point-NN,它由纯不可学习的组件组成:最远点采样 ...
机器学习非参数学习_学习非学习和机器学习
机器学习非参数学习 If you ever tried to read articles about machine learning on the internet, most likely you ...
精算模型10 非参数模型0 精算数据、非参数建模的思路概述
精算模型10 非参数模型0 精算数据.非参数建模的目标概述数据类型完整数据非完整数据数据分析目标这是精算模型的第十部分,精算的非参数统计模型,从这一部分开始我们讨论精算建模的统计方法.在讨论 ...
非参数密度估计（直方图与核密度估计）
主要讲述直方图与kernel density estimation,参考维基百科中的经典论述,从直方图和核密度估计的实现对比来说明这两种经典的非参数密度估计方法,具体的细节不做深入剖析. In sta ...
不显示参数名_非参数检验之非参数卡方检验
序曲快要临近春节了,但持续一年之久的疫情还在继续,不知是否会影响到今年的春节回家之路.今天故以杜甫的思乡诗开头. 月夜忆舍弟唐杜甫戍鼓断人行,边秋一雁声. 露从今夜白,月是故乡明. 有弟皆分散 ...
非参数贝叶斯模型概述
看这个模型很久了,可能一直深入的不够,现把自己的一点愚见不断的贴上来,一起交流,共同进步. 贝叶斯非参数模型是一种定义在无限维参数空间上的贝叶斯模型.其大概的意思是说非参数模型的大小可以随着模型内数据 ...
Mann-Whitney非参数多组比较R计算方法
检验非参数K-W检验,相比前文讲解的Mann-Whitney 检验就是这样,我们可以把它理解为"非参数检验的方差分析". K-W检验的全称为,Kruskal-Wallis检验,它 ...
R语言编写自定义函数使用Wilcoxon符号秩检验（Wilcoxon signed rank）实现多分组非参数成对检验（pairwise）、并使用p.adjust函数调整概率值
R语言编写自定义函数使用Wilcoxon符号秩检验(Wilcoxon signed rank)实现多分组非参数成对检验(Nonparametric pairwise multiple comparis ...

使用参数非参数和机器学习方法分析印度降雨变化，能给我国带来什么警示？