HPC高性能计算和3D桌面云解决方案-20130612

HPC高性能计算与3D工作站统一平台方案

高性能计算及3D桌面云图形工作站

资源共享和集中管理方案规划

2013.06

HPC高性能计算与3D工作站统一平台方案

目 录

第 1 章 应用现状及需求概述 ................................................................................................... 3

1.1 高性能计算平台及图形工作站资源应用现状 ................................................................ 3

1.2 高性能计算及图形工作站资源共享和集中管理的思路 ................................................ 4

第 2 章 高性能计算及图形工作站共享平台服务层 ............................................................... 6

2.1面向高性能计算(CAE)和图形可视化(CAD)的统一架构 ............................................... 6

2.2高性能计算和图形可视化资源WEB服务平台门户 ...................................................... 7

2.3 CAD三维图形可视化平台服务 ....................................................................................... 8

2.4 CAE高性能计算平台服务 ................................................................................................ 9

第 3 章 高性能计算及图形工作站共享平台基础架构层 ..................................................... 11

3.1 高性能计算及图形工作站共享平台基础架构设计 ...................................................... 11

3.2 基础架构层方案特点 ...................................................................................................... 16

3.3 基础架构层配置概览清单和功耗估算 .......................................................................... 18

第 4 章 系统方案关键技术重点 ............................................................................................. 21

4.1远程三维可视化技术Nice DCV ..................................................................................... 21

4.2 IBM Platform高性能计算作业管理系统 ....................................................................... 22

4.3 Windows/Linux/Unix统一的并行存储平台-IBM GPFS ................................................ 26

4.4 Windows和Linux 异构集群下的用户身份统一管理 .................................................. 30

第 5 章 主要硬件产品介绍 ..................................................................................................... 33

5.1 IBM Flex System企业级机箱 ......................................................................................... 33

5.2 IBM Flex System x240 计算节点 ................................................................................... 35

5.3 IBM Flex System x440计算节点 .................................................................................... 36

5.4 IBM iDataPlex dx360M4服务器 ..................................................................................... 38

5.5 IBM System Storage DCS3700存储阵列 ........................................................................ 41

第 6 章 IBM对高性能与云计算系统的经验 ........................................................................ 46

6.1 IBM社会信誉与业绩 ...................................................................................................... 46

6.2 IBM技术研发实力 .......................................................................................................... 47

6.3 IBM Platform简介 ........................................................................................................... 51

6.4 IBM丰富的高性能计算方面的经验 .............................................................................. 52

6.5 IBM是云计算的领导者 .................................................................................................. 53

第 7 章 某大型制造企业HPC和3D桌面云POC测试截图 ............................................... 55

第 8 章 DCV rending节点负载统计分析 .............................................................................. 68

第 9 章 IBM高性能计算系统案例介绍（节选） ................................................................ 74

9.1 上海超级计算中心工程计算平台 .................................................................................. 74

9.2 中国商用飞机有限责任公司 .......................................................................................... 75

9.3 国家气象局 ...................................................................................................................... 76

9.4 中国商飞北京研究中心 .................................................................................................. 76

9.5 上海大学.......................................................................................................................... 77

9.6 中科院福建物质结构研究所 .......................................................................................... 78

HPC高性能计算与3D工作站统一平台方案

第 1 章 应用现状及需求概述

1.1 高性能计算平台及图形工作站资源应用现状

船舶、汽车、飞机等设计和制造业单位对高性能计算以及可视化的需求主要集中在整机及零部件的设计、模拟，即利用传统的CAD方法进行前后处理，将设计好的模型传到高性能计算机中进行CAE模拟。CAD过程中往往需要处理大量的模型旋转、移动等操作，需要高端的图形处理卡，而模拟过程中则对CPU计算性能和内存有很大的依赖性。传统的使用方法中，CAD设计平台与CAE计算平台往往是独立的。设计人员在本地配置具备高端图形处理卡的工作站，对设计模型在本地进行渲染，得到的结果通过网络传到远程的高性能计算机中进行求解，高性能计算机得到的结果在通过网络返回本地工作站进行后处理。

在企业规模不大，计算任务规模较小的阶段，上述过程完全能够满足企业日常计算需求。在企业规模和人员日趋扩张，设计模型的处理任务也逐渐增大后，传统工作站和高性能计算平台分离的弊端便暴露出来：

1） 数据安全性问题 人员的增多伴随而来的是数据安全性的问题，每个设计人员配备本地工作站，数据全部放在本地，导致数据安全的不确定性。设计人员有机会从本地将数据转移，本地的普通工作站硬盘也有可能因为人为因素，如断电、洒水等原因损坏。

2） 数据传输问题 在一次完整的计算过程中，数据需要在网络中进行两次转移，如果网络带宽不够或者网络不稳定，会带来工作效率的极度下降。

3） 资源浪费 每个设计人员配置独立的工作站，给管理员带来巨大的挑战，如果配置太低，有可能对某些特殊的模型不能满足需求；如果配置太高，工作站在大部分时间都处于闲置状态，造成资源的浪费。此外，面对硬件的频繁升级，工作站的维护和升级成本都是巨大的。

4） 管理混乱 由于数据和应用软件不集中，管理员需要对每个用户的终端进行管理，既要保证用户权限、应用软件版本，又要顾及用户数据安全。如果用户信息再发生频繁变动，管理员的工作量也会急剧上升。

上述问题的存在使得船舶、汽车、飞机等行业的设计和制造企业在设计计算

HPC高性能计算与3D工作站统一平台方案

中心的时候，需要对未来的发展进行更多的设计和论证，避免这些弊端的存在。

1.2 高性能计算及图形工作站资源共享和集中管理的思路

1） 数据统一存储和统一管理

传统的设计存在数据安全性问题的原因之一就是数据分散，因此新的平台在数据管理方面要进行统一，将数据集中管理、集中备份。通过配置性能较好的专业存储阵列硬件和并行文件系统软件，可以有效地提升CAD的工作效率，同时大大降低了数据损坏的概率。

2） HPC高性能计算和图形工作站的硬件统一部署

IT硬件技术发展给设计平台的IT底层硬件统一带来了切实可行的机会。X86架构服务器可以配置高性能CPU、高容量内存组建HPC高性能计算集群平台，为用户提供更高的仿真计算能力。同时，X86架构服务器还能够配置更多的PCI-E x16高速接口，以全速的方式提供显卡的数据传输通路，可以配置高端GPU图形处理卡，提供3D/2D图形处理和可视化显示服务。

3） 采用远程3D/2D处理技术

用户的客户端只需要配置一般性能的PC机就可以满足处理需求。通过企业内部网络连接起来的CAD服务器和用户客户端之间，配置专用的3D/2D远程处理软件，可以将在远程服务器端渲染好的3D/2D图形结果，传输到客户端显示。

4） 统一服务的Web门户

向所有用户提供面向HPC高性能计算平台和远程图形工作站资源的统一的WEB服务接口门户，向用户提供一个统一的接入和使用平台，向管理员提供一个统一的管理和维护。

在未来的业务发展过程中，可以无缝的进行系统扩容，增加HPC高性能计算资源，增加3D/2D图形可视化处理资源，扩充高效安全的磁盘存储空间，保证整个平台的高性能、友好性和可用性。

HPC高性能计算与3D工作站统一平台方案

HPC高性能计算与3D工作站统一平台方案

第 2 章 高性能计算及图形工作站共享平台服务层

2.1面向高性能计算(CAE)和图形可视化(CAD)的统一架构

整个方案的系统架构如图所示，本方案包括用户WEB访问、HPC计算资源管理和调度、图形可视化资源管理和调度、后端资源使用实时监控；可以随时增加的统计分析和计费等功能，提供统一的面向HPC高性能计算和图形可视化处理的整体解决方案。

1) 用户登录到统一的WEB门户在应用程序列表中选择运行HPC高性能计算仿真程序，还是运行交互式的3D/2D图形可视化应用程序；

2) 如果运行HPC高性能仿真计算程序，许可证请求被满足后，主调度服务器向HPC计算平台的服务器查询是否有可用的计算资源；如果当前资源满足需求，分配合适的CPU和内存计算资源来运行仿真计算程序；

3) 如果运行交互式的3D/2D图形可视化应用程序，许可证请求被满足后，主调度服务器继续向图形服务器查询是否有足够资源来运行应用程序，如果当前资源满足需求，则把合适的图形处理服务器资源分配给该任务；

4) 交互式的应用程序在实际分配的图形服务器上启动，使用远程服务器上的CPU、内存和显卡，并将图形Session的信息返回；

HPC高性能计算与3D工作站统一平台方案

5) 远程可视化客户终端获得远程3D图形Session的信息，然后连接到实际

的Session上，并在用户的桌面终端机上打开相应的交换窗口，实现用户交换设计；

6) 用户数据集中存储在统一的、高性能的、可随需扩展的存储平台上，可

以统一进行数据管理和定期备份；根据需求，可以增加配置物理磁带和专业备份软件，保证数据的安全性和可靠性。

2.2高性能计算和图形可视化资源WEB服务平台门户

建设工作站资源和高性能计算资源的管理与调度系统门户，由此用户可以在任何网络可达的地方，快捷地访问图形工作站和计算资源，方便地提交和监控计算密集型作业，并回收作业结果。通过开放的体系结构，便于在各种网络环境中进行有效的配置并和应用软件紧密集成。可以全面地和底层的载荷管理系统集成来进行作业调度、站点管理、数据管理及作业提交和监控。

门户系统至少包括三个主体部分：用户管理、资源管理与应用中心。

用户管理包括对用户的创建、删除、修改、查看等功能。主要维护用户的基本信息、将用户分配到用户组、为用户分配角色等。另外还包括用户登录，验证用户密码查询。

HPC高性能计算与3D工作站统一平台方案

资源管理包括计算资源管理、软件资源管理、存储资源管理和软件许可证资源管理。其中计算资源管理能够实现物理计算资源和虚拟计算资源的管理；软件资源管理完成软件资源的查找、浏览、使用的功能；存储资源管理包括对平台后台存储状态的监控，分配等功能；软件许可证资源管理实现软件许可证资源的添加、分配、浏览和更新。

2.3 CAD三维图形可视化平台服务

在本方案推荐的架构下，用户的客户端不再需要独自占用高端的图形工作站，只需在远程的CAD可视化服务器和用户客户端之间需要配置专用的3D远程处理软件，用户在进行CAD设计时，与远程的可视化服务器节点交互，远程渲染好的结果可以传输到本地的显示客户端。

系统中远程交互模式可以细分为个性化虚拟桌面环境和远程软件桌面使用两种，其中个性化虚拟桌面环境是以桌面虚拟化技术为基础，根据用户定制需求，动态构建一个用户独享的安全的仿真应用桌面使用环境，在该环境中动态安装好了用户定制的工程软件，用户可以在该虚拟桌面里进行基于各种软件的计算与分析工作。而这些虚拟桌面环境实际上运行在数据中心的高性能服务器上，这种模式为普通用户使用高性能计算提供了捷径，提高了高性能计算机的利用率。

HPC高性能计算与3D工作站统一平台方案

虚拟桌面业务环境采用桌面虚拟化技术，通过构建用户定制的桌面环境，为用户提供一个普适、高效的仿真办公虚拟环境，在该环境中用户可以建立各个专业领域的仿真模型，也可以使用高层建模工具建立系统顶层模型。用户可以如同使用本机桌面环境一样使用该环境，所不同的是这种方式允许用保存当前使用状态，并可以随时随地恢复使用状态。

虚拟桌面应用发布即用户可以将虚拟桌面中的应用程序发布到本地中，只需在本地中点击应用程序即可打开应用程序的窗口，如同在本地中安装了此应用程序一般，但又不耗占本地的CPU等资源，程序实际还是运行在远程服务器中。用户可将部署、安装、配置完毕的虚拟机发布到平台中，平台将以模板的形式对其进行管理。那么，有同样使用需求的用户就可选择此模板创建虚拟桌面，而无需再从头配置就可使用相同环境的虚拟桌面。

2.4 CAE高性能计算平台服务

在本方案推荐的架构下，通过统一的WEB服务门户或命令行接口，为用户提供面向CAE仿真的高性能计算平台服务。重要应用程序有ls-dyna、Foran、Ansys、MSC、cadds等等。

HPC计算平台主要在CAE分析过程的后期解算部分发挥作用

一般说来，CAE分析主要包括前处理、计算分析和后处理这3个过程。前

HPC高性能计算与3D工作站统一平台方案

处理主要是建立问题的几何模型、进行网格划分、建立用于计算分析的数值模型、确定模型的边界条件和初始条件等；计算分析是对所建立的数值模型进行求解，经常需要求解大型的线性方程组，这个过程是CAE分析中计算量最大、对硬件性能要求最高的部分；后处理则是以图形化的方式对所得的计算结果进行检查和处理

下图给出了采用计算机进行产品开发的流程，包括建模、前处理（模型修改和网格生成）、计算分析、交叉学科综合及后处理几个部分。其中高性能计算主要应用于计算分析部分，统称为计算机辅助工程（CAE）。下是CAE的分析过程。

Cluster结构是近年来发展势头很好的一种体系结构。这类机型的技术起点比较低，用户甚至可以自己将一些服务器或微机通过以太网连接起来，配以相应的 管理、通讯软件来搭建Cluster。但是如果要构造高性能、结构合理并具有好的RAS特性的Cluster却不是一件容易的事情。Cluster系统通常具有以下特点：

（1）系统由多个独立的服务器（在Cluster概念下称为节点）通过交换机连接在一起。每个节点拥有各自的内存，某个节点的CPU不能直接访问另外一个节点的内存；

（2）每个节点拥有独立的操作系统；

（3）需要一系列的集群软件来完成整个系统的管理与运行，包括： Cluster系统管理软件，如IBM的xCAT等；

消息传递库，如MPI、PVM等；

作业管理与调度系统，如Platform LSF；

并行文件系统，如IBM的GPFS等；

（4）支持消息传递方式的并行模式，如MPI、PVM等；

（5）只能在单个节点内部支持共享内存方式的并行模式，如OpenMP、pthreads等；

（6）性能价格比好。

HPC高性能计算与3D工作站统一平台方案

第 3 章 高性能计算及图形工作站共享平台基础架构层

3.1 高性能计算及图形工作站共享平台基础架构设计

总体而言，在CAE/CAD应用领域，相对硬件采购成本，应用软件的Licence许可成本是很高的（一般Licence许可按CPU核心数量计费，与CPU主频无关）； HPC计算平台尽量采用高主频的CPU（如2.9GHz），一定程度上提升应用程序计算性能，可以提高CAE/CAD应用软件License的投资回报率。

本方案的基础架构平台包含：

整合客户原有的计算节点服务器：

– 客户原有的12台机架式服务器，做为普通的计算节点，连接到原有的1台Mellanox 40Gb Infiniband交换机，统一整合到新HPC系统中

计算节点：

– 6台配置64GB内存的Flex x240双路刀片服务器作为标准内存计算节点 (共96core，4GB内存/core，浮点峰值运算能力约2,227.2Gflops)

– 7台配置256GB内存的Flex x440四路刀片服务器作为大内存计算节点 (共224core，8GB内存/core，浮点峰值运算能力约4,838.4Gflops) – 2台dx360 M4高密度服务器，每台配置2块Nvidia VGX K2 GPU显示模块，作为GPU可视化显示节点

(共32core，8GB内存/core，浮点峰值运算能力约691.2Gflops)

– 新增系统CPU计算核数为352core，浮点峰值运算能力约7,756.8 Gflops – 系统整体功耗，(新增部分)系统满负载运行时，总计约14Kw

功能节点：

– 2台x3550M4机架服务器分别作为管理登录和登录节点

HPC高性能计算与3D工作站统一平台方案

高性能存储系统：

– 并行存储系统配置1套IBM DCS3700光纤存储，120TB裸容量(60块

2TB 6Gb 近线SAS硬盘)，

– 配置2台IBM x3650M4服务器作为IO节点，运行IBM GPFS并行文件

系统软件，采用FC光纤全交叉互联，连接到FC光纤存储系统DCS3700，保证FC-SAN存储局域网络的冗余性。

管理网络和InfiniBand高速网络：

所有节点间通过56Gb InfiniBand高速网络连接，保证全部节点全线速通讯和I/O。管理网络采用IBM BNT G8052千兆以太网，负责集群管理和监控。

集群管理软件xCAT和Platform LSF

IBM提供的集群系统管理软件xCAT，这是一个高级的集群管理软件，允许通过一个单点控制和管理一个Linux集群系统。它在简化集群管理的同时，还使集群能够方便地实现快速扩展，从而提高了系统管理员的工作效率。

IBM® Platform LSF是易于使用但又全面的管理软件，适用于高性能科学计算集群。它包含有丰富的功能集，使您可以充分利用您的高性能科学计算环境，以便您可以专注于运行您的模拟和分析应用程序，而不是管理您的集群。

通过IBM Platform高性能计算管理套件进行管理，包含作业调度、集群管理、许可证调度、应用程序集成PAC、远程可视化DCV。

系统架构图如下：

HPC高性能计算与3D工作站统一平台方案

系统建成后，机柜摆放位置示意图：

方案描述如下：

HPC高性能计算与3D工作站统一平台方案

x240刀片计算节点：

选用IBM Flex System x240服务器作为高性能计算系统的标准内存计算节点。每个计算节点配置2颗Intel Xeon E5-2690处理器2.9GHz，每节点16个CPU内核，64GB内存。

x440刀片计算节点：

选用IBM Flex System x440服务器作为高性能计算系统的大内存计算节点。每个计算节点配置4颗Intel Xeon E5-4650处理器2.7GHz，每节点32个CPU内核，256GB内存。

IBM Flex System x440 计算节点在性能方面进行了调整，支持超大容量内存配置，支持32个物理CPU内核，可以运行对CPU和内存有更高要求的多线程并行程序。

dx360 M4 可视化显示和GPU计算节点：

配置2台 dx360 M4服务器，每台配置两路Intel Xeon E5-2680（8C/2.7GHz）处理器，128GB DDR3 RDIMM内存（8GB/内核），2块300GB 15krpmSAS硬盘，双千兆以太网接口，FDR Infiniband扩展卡。

每台dx360 M4服务器配置2块Nvidia VGX K2 GPU显示模块。

登录、存储和管理节点：

选择配置IBM x3550M4服务器作为系统登录节点，以及集群系统的管理节点。2台x3650M4用来为集群系统提供GPFS并行文件存储服务，可以充分保证系统的IO吞吐能力，且GPFS存储节点的任意1个故障都不会导致整个系统不能运行数值预报作业，或不能访问数据文件。

全线速的高速计算网络：

每台计算节点、存储节点、登录节点之间采用最新的56Gb FDR Infiniband连接，保证系统的通信性能和节点的计算性能相匹配。

采用2台刀片机箱内置FDR IB交换机，1台用户原有机架式IB交换机交叉互相连接，全线速连接所有的计算节点和存储节点，保证应用程序和I/O的高带宽低延迟要求。

管理网络：

为所有节点之间的管理和访问信息，提供千兆以太网链路，承载运行集群的

HPC高性能计算与3D工作站统一平台方案

管理、调度的网络通讯信号。

并行存储系统：

在本系统中，我们配置了IBM System Storage DCS3700，共配置60块6Gb 2TB近线SAS硬盘。System Storage DCS3700 专为空间、性能和容量为关键驱动因素的环境而设计，非常适合有着苛刻带宽要求的高性能应用。计算节点、GPFS存储节点、登录节点之间采用Infiniband连接，系统磁盘IO数据通过高速的InfiniBand链路传输。GPFS服务节点和光纤磁盘存储系统之间采用双路8Gbps光纤通道连接。这样可以同时保证性能并提供无单点故障的高可用性。

系统支撑软件:

1) 操作系统 ：

服务器节点推荐部署CentOS 64位LINUX企业级操作系统。平台支持扩展为Windows和Linux混合部署的操作系统平台，同时满足用户对Windows和Linux两种主流操作系统的需求。

2) 作业调度系统Platform LSF

方案推荐配置IBM Platform LSF高性能计算集群调度软件，能够提供丰富的任务调度策略，满足不同用户习惯的使用，和现有集群环境实现良好的集成。

针对高性能计算领域推出的集群管理系统，支持异构的、分布式Uinx/Linux，Windows计算环境，提供可靠的集群管理、负载共享、复杂的作业管理及调度功能和大规模并行计算的能力，可以有效提高大型计算任务的资源利用率，从而提高许可证本身的有效利用率。

3) 编译器和并行环境

在并行计算环境方面，提供了支持 Infiniband 高速网络的MPI并行环境，包括Open MPI和MVAPICH。

在编译器方面，Linux发布版本中包含的GCC编译器是许多用户选择使用的编译器。为了在Intel平台上获得更为优化的性能，提供来自英特尔的C++和Fortran 编译器。

4) GPFS并行文件系统

GPFS (General Parallel File System) 是 IBM 公司的一个共享文件系统，起源

HPC高性能计算与3D工作站统一平台方案

于 IBM SP 系统上使用的虚拟共享磁盘技术 ( VSD )。作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，可以将文件存储在多个节点和磁盘上，提高访问效率，你可以将其视为一个巨大

的 “虚拟磁盘"。GPFS保证在资源组

内的所有节点可以并行访问整个文件

系统。而且针对此文件系统的服务操

作，可以同时安全地在使用此文件系

统的多个节点上实现。

GPFS 允许客户共享文件，而这些

文件可能分布在不同节点的不同硬盘

上。它提供了许多标准的 UNIX 文件

系统接口，允许应用不需修改或者重新编辑就可以在其上运行。 GPFS 提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点（这些节点属于同一个节点组）上的并行应用同时访问同一个文件或者不同的文件。

GPFS并行文件系统区别于其他的集群文件系统的特点是，在多个AIX、Linux节点中，为应用提供并发的、高速的文件访问，提供突出的性能，尤其是大数据量的顺序操作，典型的GPFS应用适用于多个节点，但对单个节点也能提供有益的性能。

3.2 基础架构层方案特点

高可靠性与稳定性是关键业务用户最关心的指标之一，也决定了系统在生命周期内能真正提供多少服务能力。

本方案中的节点选用专门用于大规模高性能计算集群的IBM PureFlex System，其平均无故障时间高于通常的服务器，故可保证整个系统的平均无故障时间在合理的水平之上。

所有CPU计算节点采用全刀片系统，稳定且易于管理。PureFlex x440本来就是定位于大规模集群中所使用的节点，因此都具有高可靠性和完善的高可用性特征。因此在节点内发生的大多数故障都对用户和应用是透明的。

HPC高性能计算与3D工作站统一平台方案

计算节点、管理节点、I/O节点等均为双路电源供电，任意一条交流电源电路出现故障均不会影响整个系统运行。

本系统集群采用xCAT、CMM、IBM Platform进行部署、监控、管理、资源调度。整套系统易于管理维护，操作简便、可靠和稳定。

统一、弹性、可靠、高速的并行存储平台。方案配置了1套IBM System Storage DCS3700，2台GPFS存储节点和光纤磁盘存储系统之间采用双路8Gbps光纤通道连接，这样可以同时保证并行IO性能，并提供无单点故障的高可用性。

System Storage DCS3700 专为空间、性能和容量为关键驱动因素的环境而设计，非常适合有着苛刻带宽要求的高性能应用。计算节点、GPFS存储节点、登录节点之间采用Infiniband连接，系统磁盘IO数据通过高速的InfiniBand链路传输。

c

统一存储平台的方案特点：

(1)弹性的存储平台，可用容量、IO性能可以“按需扩展”，在不停止服务的情况下，文件系统可支持存储系统在线扩充和缩小容量，支持动态加入和移除磁盘，支持在线升级；

(2)高可靠性和高可用性，存储平台设计无单点故障，具备良好的容错和恢复功能，支持元数据和数据的复制，提供方便的用户管理和数据备份支持；

(3)支持来自FC-SAN、TCP/IP和Infiniband等多种网络的、统一的数据存取访问功能，支持多种网络同时数据存取访问功能；

(4)可以支持Windows Server与Linux、Unix混合数据存取；Linux、Unix和Windows操作系统均支持并行文件系统的Native客户端方式访问；

(5) 提供多集群模式支持，支持本地和远程的并发数据访问；

(6)支持数据分层存储和信息生命周期管理；可以根据用户设定的策略，自动、透明的在不同转速的磁盘池之间动态迁移数据，优化数据存储效率。

IBM高性能计算方案整体特点，综述如下：

HPC高性能计算与3D工作站统一平台方案

3.3 基础架构层配置概览清单和功耗估算

硬件部分：

HPC高性能计算与3D工作站统一平台方案

软件及服务：

本文来源：https://www.bwwdw.com/article/ab2i.html