浅谈虚拟化在证券行业中的应用20110830

虚拟化在证券行业的探索

浅谈虚拟化在证券行业中的应用

刘力

浙商证券有限责任公司 信息技术部，杭州

E-mail:liuli@

摘要：一个基本的虚拟化应用环境是由虚拟化软件、服务器、存储和网络构成的，本文将针对虚拟化软件、服务器、网络和存储进行简单的论述和比较，提出一个在证券行业虚拟化应用中，具有安全性、可扩展性、可管理性、可用性的基本运行组合。

关键词：虚拟化软件；服务器；网络；存储；基本运行组合

虚拟化作为一种创新、灵活的技术，因成本低廉、灵活高效、节能环保、管理便捷等诸多优势，正在被越来越多的政府和企业所接受。在未来的企业IT部署中，虚拟化必将在服务器、存储、网络、应用、数据中心、灾难恢复等诸多领域广泛普及，并发挥重大作用。 证券行业从2006年开始，进入了一个新的高速发展阶段。随着证券市场的急速扩张，新的证券业务不断推出，证券行业对于IT设备、系统、基础设施和管理的需求不断膨胀，原有的IT整体技术架构出现了一系列的问题，亟待解决，特别是由于设备和系统的增加，导致的机房空间和能耗不足、现有IT设备的资源利用率偏低、数据中心的业务连续性和灾备恢复无法满足业务需求的情况尤其突出，而虚拟化的出现正好可以解决这些难题。 一个基本的虚拟化应用环境是由虚拟化软件、服务器、网络和存储构成的（见图一）， 选择何种虚拟化软件、服务器、存储和网络，才能构成一个在证券行业虚拟化应用中，具有安全性、可扩展性、可管理性、可用性的基本运行组合，是本文着重进行探讨的主题。

图一

一、 虚拟化软件及性能综合测试

当前主流的服务器虚拟化软件有Ctrix的XenServer，微软的Hyper-V和VMWare的ESX Server，它们都具有鲜明的特点，下面我简单做一个介绍。

1. Ctrix的XenServer

Ctrix的XenServer是一款基于Xenhypervisor的开源虚拟化产品，它为客户提供了一个开放性架构，允许客户按照与自身物理和虚拟服务器环境相同的方法来进行存储管理，其管理工具CUI是其最大的亮点。同时，XenCenter是一种虚拟化图形接口管理工具，可在同一界面，管理多台的XenServer服务器。管理上，通常会先在Xen Center建

虚拟化在证券行业的探索

立一个服务器群组（Pool），然后将位于同一机房内的XenServer服务器加入。和大多数服务器半虚拟化产品相同的是，当数台XenServer服务器连接到同一台共享磁盘驱动器，且将虚拟档案放置于此的前提下，可以通过Xen-Motion这项功能，将虚拟机以手动方式在线转移到其它的XenServer服务器，从事主机的维护，或者降低硬件资源的消耗。

Ctrix的XenServer具有以下特性：

其一，XenServer是基于开源Xen系统管理程序创建的，作为一种特别高效的技术，Xen系统管理程序系统资源占用极少，同时能提供接近于原生的性能。XenServer充分利用IntelVT平台等进行硬件辅助虚拟化，提供更快速、更高效的虚拟化计算能力。

其二，将IT部门转变为业务部门。通过及时了解用户活动、系统性能和能力、以及IT服务使用情况，IT部门可以引入基于实际应用情况的成本中心计费模式，前瞻性地管理服务等级协议（SLA），预测容量规划，以及有效地整合应用与服务器。

其三，资源优化，管理员可对CPU、网络和磁盘进行细粒度控制，并可设置优先级水平，为虚拟机系统提供最佳性能。另外，最新版XenServer使用的内存更少，同时改善了虚拟基础架构的性能和扩展性。

其四，动态工作负载置备，可利用单个共享操作系统镜像，采用流技术将服务器工作负载按需分配到多个物理或虚拟服务器，这将大大降低补丁和更新管理的成本，同时大大减少操作系统和应用镜像在企业中的存储空间。

因为hypervisor最早用于Linux服务器，所以XenServer与Linux保持了高度的集成性，XenServer最大价值的体现也是围绕Linux服务器的，所以如果用户主要使用的是Linux服务器的话，尝试使用XenServer会更好一些。

2. 微软的Hyper-V

微软的服务器虚拟化软件Hyper-V是微软提出的一种系统管理程序虚拟化技术，是微软第一个采用类似VMWare和Citrix开源Xen一样的基于hypervisor的技术。Hyper-V设计的目的是为广泛的用户提供更为熟悉以及成本效益更高的虚拟化基础设施软件，这样可以降低运作成本、提高硬件利用率、优化基础设施并提高服务器的可用性。

由于Hyper-V采用Hyperisor内核架构，Hyper-V可以提供高效的分区间通信机制，并在此基础上创建高性能的虚拟I/O架构，并且充分利用Windows驱动模型来提供广泛的硬件支持。因为Hypervisor提供了硬件模拟功能，所以可以把单个服务器分割为多个CPU和内存的容器。

Hyper-V的重要特性是多处理器的虚机。Hyper-V支持4CPU的Windows Server 2008虚机和2CPU的Windows Server 2003虚机。如果服务器工作负载需要很高的性能，可以考虑用2CPU或者4CPU的Hyper-V虚机对其进行虚拟化。当然，只有当工作负载确实需要的时候，才应该使用多处理器虚机，因为拥有更多的处理器会带来一些额外的开销。

微软在Hypervisor和Windows Server 2008内核里加入了创新设计，尽可能防止出现自旋锁的长时间等待条件。如果确实存在长时间等待条件，也会有效地加以检测并对其进行处理。微软还对Hypervisor进行了特别设计，包括调度程序和内存虚拟化逻辑，以使它们在大多数临界区中都不会锁定，从而确保多处理器系统能够获得很好的延展性。

可以说，微软Hyper-V最主要的优势就是相对低廉的价格。因为Hyper-V是与Windows Server集成的，所以如果以微软产品作为系统的主要构成部分，与微软管理工具的集成度很高的话，使用Hyper-V更合适一些。

3. VMWare的ESX Server

VMWare的ESXServer是在通用环境下分区和整合系统的虚拟主机软件，同时也是

虚拟化在证券行业的探索

一个具有高级资源管理功能高效，灵活的虚拟主机平台。

VMWare的虚拟化架构分为寄居架构和裸金属架构两种。寄居架构是安装在操作系统上的应用程序，依赖于主机的操作系统对设备的支持和对物理资源的管理。裸金属架构是直接安装在服务器的硬件上，并允许多个未经修改的操作系统及其应用程序在共享物理资源的虚拟机中运行，ESXServer将处理器、内存、存储和网络资源抽象为虚拟机，在硬件和操作系统之间形成一个虚拟化层。

ESXServer将一台物理服务器划分为多个可移植的虚拟机环境。VMFS(Virtual Machine File System)则是封装ESXServer的存储载体。ESX的虚拟层级实际上包裹了硬件，ESX创建了一个硬件接口层Hardware Interface Layer，所有虚拟机如果想跟硬件通信，必须经过这个硬件接口层，完成诸如内存偏移转换的工作。这里需要强调的是，ESX的特点是完全包裹硬件，不允许程序直接访问硬件。虚拟机与主机和其他虚拟机完全隔离。如果一个虚拟机崩溃，所有其他虚拟机不会受到影响。虚拟机之间不会泄露数据，而且应用程序只能通过配置的网络连接进行通信封装。

在ESX中，虚拟机的虚拟设备驱动与ESX内核里的物理设备驱动直接相互连接。ESX虚拟机可以为其虚拟设备使用现成的(off-the-shelf)驱动。这不仅能提供高性能，还能提供更广泛的操作系统支持。然而在这个模型里，新的设备驱动必须导入到ESX内核中。为了解决I/O虚拟化的平衡问题和复杂性问题，戴尔与英特尔、AMD这样的合作伙伴以及外设硬件供应商一起，在芯片组和I/O设备中引入了虚拟化支持。

另外，VMWare ESX Server能提供完全动态的资源可测量控制，适合各种要求严格的应用程序需要，同时可以实现服务器部署整合，为企业未来成长所需扩展空间。同时VMWare ESX Server也提供存储虚拟化的能力。

除了因为兼并服务器减少设备购买及维护成本外，亦可因效能的尖峰离峰需求，以VMotion技术在各服务器之间弹性动态迁移系统平台，让IT人员完成更有效的资源调度，并获得更好的安全防护。当系统发生灾难时，可以在最短时间，迅速恢复系统的运作。

可以这么说，VMWare ESX Server适用于任何系统环境的企业级虚拟化应用，为大型机级别的架构提供了空前的性能和操作控制。ESX服务器可以使大多数能在x86上执行的操作系统都能在虚拟机上运行，而不需要进行任何修改。

4. 性能综合测试

a) 整体测试环境

测试硬件环境包含：刀片服务器6片（4颗4核CPU，32GB内存），共享的SAN存储500GB，NAS存储500GB

测试涉及操作系统：Windows Server 2003 SP2 Enterprise Edition，Windows Server 2008/R2 x32/x64，SUSE Linux 9，SUSE Linux10，RedHat OS 4 ，RedHat OS 5，Soloris 10

性能测试软件为：CPUHOG和IOMETER

网络结构图：

虚拟化在证券行业的探索

图二

虚拟化在证券行业的探索

表一

二、 虚拟化硬件平台的构建

1. 服务器

对于服务器是选择机架式还是刀片式，在虚拟化应用时，性能上其实没有太多的差别了。机架式得益于单台物理主机的高扩展性，CPU、内存和IO设备数要远远多于刀片式。机架式最多可以配置8路CPU，内存可以上TB;而刀片式服务器，一般主流的是2路和4路CPU服务器，内存一般配到256GB或512GB，考虑到虚拟机的实际应用场景，刀片机的配置和性能也完全可以满足虚拟化的要求。在具体项目的选择上，一般建议短期内小于10个物理服务器的用机架式；大于10个物理服务器的建议使用用刀片式，这样可以分别插在两个刀箱里，避免刀箱的问题引起整个环境的损坏。当然我们也可以分别找分布于两个不同刀箱的刀片来组成cluster，这样即使刀箱有问题，也不会全部出问题。对于2路和4路的选择，一般来说，对于大量的中小应用可以用2路的服务器来建虚拟资源池，对中大规模应用可以用4路服务器来建虚拟资源池。也可以在一个VC环境中，根据2路和4路的服务器来分别放在不同的Cluster里，以便运行不同规模的虚拟机。特别需要强调一点：对虚拟机来说，并不是分配越多的vCPU就越好，越多有时反而影响CPU时间分配，影响性能，一个原则够用就好。在我们实际应用过程中，刀片式相对于机架式服务器还是具有一些非常明显的优势，例如节省空间、低功耗和快速部署。

虚拟化在证券行业的探索

a) 节省空间

如果配置相同数量的服务器，刀片服务器所占用的空间只是机架式的1/4～1/2。理论上，一个42U高的标准机架可以放进42台1U（1.75寸）的机架式服务器，却可以放进4笼10U共128台刀片服务器，从而大大节省机房空间。

b) 低功耗

机架式服务器是基于传统服务器部件和架构的，功耗和发热并没有减少，只是通过更优化的散热设计来满足工作需要。刀片式服务器则克服了以上缺点，每片刀片在执行时其平均耗电量大约只有25瓦，而1U的机架式服务器为150至200瓦，刀片的能耗仅是机架式的17%左右。还是以一个42U高的标准机架为例，42台1U的机架式服务器功耗（每台按照150瓦）为6300瓦，128台刀片服务器仅为3200瓦。当然刀片服务器不只大幅降低了电费开支，还能够间接降低不间断电源（UPS）、发电机以及空调设备的硬件采购费。

c) 快速部署

快速部署的一个难点就是繁琐的线缆管理，它一直是很多数据中心管理员的恶梦。由于刀片服务器内部的各刀片间有内置的高速通讯通道和共享电源，可以省去大量网卡、网线和电源线，从而大大减少了服务器的线缆数量，使得服务器快速部署成为可能。

2. 网络

目前来说，一般的虚拟化应用单台服务器四块千兆网卡就足够了，可以分别建立两个虚拟交换机，一个交换机走管理网络，另一个交换机走生产网，当然生产网上也可以建立第二管理网络，这样避免第一管理网出现问题时，由于检测不到HA的心跳而造成HA的误动作。

如果是用iSCSI存储的，那么最好再加两个千兆网卡来单独走存储的iSCSI流量。还可以打开网络巨大帧这样的技术（需要交换机支持），使以太网的传输包达9000B，从而大大提高大数量传输的性能，或者可以用专用的iSCSI硬卡来代替普通网卡，专门处理存储iSCSI的流量，这样既可以提高性能，还能降低对物理服务器性能影响。如果服务器使用万兆网卡的话，一般两到四块就足够了，多加主要只是为了增加冗余和网段的划分，不是从性能角度出发的。

如果考虑虚拟机环境下大量虚拟服务器对数据和网络吞吐上的需求，建议使用万兆交换机，以避免网络瓶颈的出现。如果想实现虚拟网络监控、网卡端口复用、虚机自动迁移后的智能识别、FC和iSCSI存储混用等功能，那就必须购买价格相对昂贵的虚拟化交换机。

3. 存储

对存储的传输网来说，一般小规模用iSCSI存储是比较经济实用的方案，但是达到一定规模或是运行大数据量的数据库系统，一般建议用FC存储会更加合适。因为从传输角度来讲，FC和IP不能只比较带宽，更重要的是FC所独有的Buff－Credit技术，可以同时传输多个数据包（一般是8～16，可以设置成32～64）；而IP由于协议本身设计的问题，它只能同时传输一个数据包，只有前一个数据包收到，并出确认包后，才可以发出第二个包。在设备背板交换容量上来讲，FC交换机一般都能达端口全线速交换的，而IP交换机远远达不到这个交换率，千兆网络的利用大于60％就已经非常不错了。

对于存储的选择最主要的是选择合适档次的存储型号，最大的误区是购买高性能的机头，却配置了很少的硬盘，甚至是很少的SATA盘。首先，机头所标IOPS是一个理论值，大多数品牌宣称的都是Cache到前端端口的IOPS值，就算是满配最好的硬盘，也只能测到与标称值相近的数值，而一般用户永远不会达到这样的硬盘数。而且高性能机头中配备的大Cache也只是解决瞬间响应的问题，当数据流大到开始产生Cache－Flash

虚拟化在证券行业的探索

的时候，性能就会显著下降。当存储把Cache里数据不断地写入后端硬盘时，硬盘的性能和数量才是决定整体存储性能的关键因素。在虚拟化环境里，有大量的虚拟机存放在后台存储上，它们同时会有数量巨大的随机IO进行读写，而这些IO Size数其实并不大，所以对存储的要求是能够提供比较高的IOPS数，并且IO响应时间越短越好。存储能够尽快完成各个虚拟机的随机IO请求，以便进行下一次的读写，而增加硬盘数量，分担IO的读写正是解决这个问题最根本的办法。如果在预算不是很宽裕的情况下，可以选择低一到两个档次的机头，把省下来的预算购买更多数量的硬盘，从而获得较优的性能，当然在一般情况下增加cache数也能提高存储性能，只是没有增加硬盘来得明显而已。

在虚拟化存储硬盘的选择上，建议使用FC或SAS。目前SAS占主流，SAS硬盘在盘技术上与FC盘相当，在传输层上SAS 二代比4G FC还要快，SAS总线也优于FC结构，所以SAS成为主流也是必然的。当然在一些较大虚拟化环境或是有多数据库环境下， IO的响应时间会比较敏感，这时候SSD固态盘会带来意想不到的好处，因为SSD的随机读写IOPS是SAS硬盘和FC等传统机械盘的几十或几百倍，寻道速度也比机械盘快得多，所以SSD可以大幅提升存储性能。当然SSD固态盘成本比较高，如果不能承受全固态盘的情况下，也可以采用部分SSD盘存放数据库等对IO要求高的应用，或者应用分层存储方式，让IO要求不一样的应用运行在最适合的数据存储上；或者采用某些厂商提供的SSD盘作为超大容量读写CACHE的方案，同样可以大幅提升存储性能。这里特别需要强调的是，在虚拟化环境下不建议用SATA盘来运行虚拟机。因为SATA盘的随机读写能力实在太差，如果仅仅是作为小规模备份，考虑到SATA盘单位容量比较便宜，倒是一个不错的选择。

对于某些对IO量要求很大，而对响应时间要求不大的应用，如FTP服务器或是多媒体服务，图片服务器等，建议采用虚拟机只运行操作系统本身，而把大量数据通过Cifs，NFS或iSCSI这样的协议存放在NAS上，从而大大减轻存储压力，提升数据的整合比。

另外，现在各大厂商都推出了与虚拟化技术紧密结合的虚拟化存储产品，这些存储在数据分层、存储介质混用、存储聚合、网络RAID、多站点容灾、自动精简配置、数据快照与复制上都有不俗的表现，具有非常高的性价比。

三、 应用案例

近几年以来，证券行业正在进入大规模的转型阶段，证券交易品种和证券新兴业务如雨后春笋般不断涌现，证券公司的经营模式也从通道商向服务商转变，各种业务和管理系统纷纷上线；而证券监管部门对于信息系统安全运行的要求也越来越严格，证券公司的系统和数据必须实现本地和异地的实时备份和切换，所以证券公司必然要面对大幅增加的设备和运维投入，数据中心空间和电力的短缺，设备快速部署和全面管理等难题。

为了解决这些棘手的问题，我公司从2010年开始对虚拟机技术进行调研和论证，在充分考虑了虚拟化软件、服务器、网络和存储的技术细节以及证券行业实际业务需要的情况下，对未来虚拟机应用资源进行了合理规划和分配，并制定了详细的计划、管理制度和流程。截止到2011年8月，经过了将近一年的正式运行，已经部署完成了50台虚拟机和9套业务系统，包括所有的银证转帐平台、用友财务系统、CRM系统的中间件和采集机、荐股通，CISP数据报送、策略交易、清算控制、新意备份和信息隔离墙系统，整个虚拟机实际应用环境（见表三）运行良好，

虚拟化在证券行业的探索

表三

根据我们实际采样结果显示，：

每台物理主机的CPU利用率：最高5%，最低2%，平均4%

内存利用率：最高45%，最低5%，平均25%

磁盘I/O：平均2MBps ,最高60MBps；平均滞后延时<3毫秒，峰值45毫秒 网络数据流量平均10MBps，最高峰值30MBps

这套虚拟机应用环境的主要特点是：服务器、网络和存储不存在单点故障；2个刀箱充分满足VMWare的HA实时切换需要；网络采用了全万兆设计，从根本上解决了大量虚拟机和数据库应用对网络带宽的压力问题；存储选择了互为镜像的iSCSI虚拟化存储，确保了数据安全；整个虚拟机应用环境具有高扩展性和可用性，可以在不影响系统运行的情况下快速完成更新、部署和扩容。

四、 结论

综上所述，我们认为现阶段证券行业虚拟化主要集中在服务器虚拟化和非核心交易系统的虚拟化应用上，所以满足安全性、可扩展性、可管理性和可用性要求的虚拟化应用基本运行组合必须具备以下几个特征：

服务器虚拟化为主的应用，建议使用VMWare

服务器、网络和存储中不存在单点故障

规划使用超过10台物理服务器或考虑节省空间和功耗的应用，推荐使用刀片

服务器

服务器建议选择4路CPU以上、128G内存、4块以上网卡的服务器

网络推荐全万兆交换

建议采用虚拟化iSCSI存储

表四

当然我们在虚拟化应用的过程中，也意识到虚拟化的大规模使用必然会再系统技术架构和管理制度上带来一系列的安全问题。从我们实际使用的情况来看，虚拟化在技术上增加了一个层次，同时也引进了新的被攻击机会，所以有一些问题特别需要关注，并尽快加以解决：

增加了安全边界的复杂度和安全维护的风险

安全策略在某些情况下可能无法及时被执行，例如某些变更操作需要在虚拟机

映像激活状态下才能够完成

虚拟机的防病毒策略

存储资源共享可能造成的数据泄露

虚拟化在证券行业的探索

虚拟机之间的通信安全

单一虚拟化软件存在的系统风险 虚拟化专业人才的匮乏

本文来源：https://www.bwwdw.com/article/azuj.html