且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

在阿里云HPC上用容器服务一键部署和运行WRF解决方案

更新时间:2022-01-23 08:12:02

背景

众所周知,容器技术的出现深刻改变了软件交付的方式:

  • 敏捷: 秒级应用启动、轻量级隔离、细粒度资源控制、低性能损耗
  • 标准化:版本管理可追溯。
  • 可移植性: 环境无关的交付、部署方式;可用于软件生命周期中不同运行环境。
    这些能力不但影响了企业软件的开发、构建和交付模式,提高了交付效率和可靠性,也对于像WRF(Weather Research Forecast)这类大型开源气象科学预报软件产生了潜移默化的影响。美国国家大气研究中心(NCAR,也是WRF的开发方)于2016年开源了自己的容器化解决方案。 而阿里云HPC团队和容器服务团队在NCAR方案的基础上进行了改进和增强,在保持高性能的同时,方便您实现一键式的部署和运行WRF,将复杂的WRF工作变成一个高效,可控的自动化流程。

注: 为节省篇幅,会将美国国家大气研究中心统称为NCAR

痛点

美国国家大气研究中心(NCAR)容器化WRF并非无痛呻吟,作为WRF的开发方,维护者和主要使用者,对于WRF这个在工业界和学术界得到广泛使用的数值天气预测软件,NCAR面临这如下挑战:

  • 编译和执行WRF非常复杂,需要专业的知识和大量的时间准备,很久才能得到结果

    • 代码量巨大
    • 非常多的软件依赖
    • 配置容易出错,很难排查
    • 经常需要数周的准备才能将WRF运行起来并且得到结果
  • WRF本身的部署难度给基于MPI的WRF的高扩展性带来了困难
  • WRF迭代迅速,而部署构建困难导致许多公司和研究机构依然使用3.4.1版本的WRF,造成了极大的维护成本
  • 初学者抱怨搭建WRF难度过大,对于软件知识要求太高,导致入门花的时间太多
  • 研究者发现重现数值天气预报的难度极大,因为机器不同,编译器配置不同,以及复杂的配置和流程

而这些痛苦也是中国的WRF使用者遭遇到的,为了解决这个问题,阿里云容器服务给出以下解决方案:

方案

整个方案分为下面几个步骤:

  • 通过容器镜像标准化WRF的构建和配置,同时实现一次构建到处运行
    -客户可以直接使用阿里云Dockerfile,也可以对其进行改进和替换
  • 利用OSSFS上传WRF配置文件,WPS配置文件, 气象数据以及地理基础数据,

  • 利用容器服务一键式部署和WRF应用,并且将运行出的数据导出到OSS上,并可以直接下载

    • 可以通过参数配置指定运行方式
  • 利用容器服务一键式部署和运行NCL应用,将WRF运算出的结果通过NCL绘图出来

在阿里云HPC上用容器服务一键部署和运行WRF解决方案

上图所列的是通过阿里云提供高性能计算,容器服务和OSS实现一键式的从数据到计算再产生数据的全过程。

这样就可以看到气象的走势

在阿里云HPC上用容器服务一键部署和运行WRF解决方案 在阿里云HPC上用容器服务一键部署和运行WRF解决方案

总结

可以看到,利用阿里云HPC和容器服务,您除了可以获得高性能计算的洪荒之力,还可以简单的掌控这种能力,降低使用门槛,真正实现弹性的高性能计算。利用阿里云的能力,我们可以在云端快速的部署和执行气象模拟应用,让传统的WRF应用焕发新的魅力。阿里云为气象预测提供了丰富的基础设施,从弹性计算、负责均衡到对象存储,日志、监控等等。
具体来说:

  • 帮助客户构建标准化可追溯的容器镜像

    • 让客户很清楚自己在WRF上配置了什么,并且很容易复制自己的配置
    • 将系统构建过程透明化,整个架构可描述,降低运维成本,避免人员变化带来的隐患
  • 加快交付速度,缩短投产时间(从周到小时)

    • 支持WRF应用的一键式部署和执行
    • 无需提前软件依赖,几个小时内WRF就开始工作
  • 支持本地和云上构建和测试,保持一致性
  • 国际上WRF的版本演进非常迅速,紧跟国际潮流,保持更新速度
  • 多种软件及配置组合比较,最优性能选择

想了解更多容器服务内容,请访问 https://www.aliyun.com/product/containerservice

想了解如何在HPC上使用容器服务,请访问https://help.aliyun.com/document_detail/48631.html