智网技术白皮书

更新时间:2024-06-27 20:31:01 阅读量: 综合文库 文档下载

说明:文章内容仅供预览,部分内容可能不全。下载后的文档,内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的,是否完整无缺。

业务应急系统

技术白皮书

BES V8.0

2013年8月

业务应急系统技术白皮书 BES 版本:8.0

版权所有?北京智网科技股份有限公司 2012-2013 2013.08

业务应急系统 技术白皮书

目 录

1 前言 ....................................................... 1 2 容灾基础 ................................................... 3 2.1 容灾指标 ................................................ 3

2.1.1 恢复点目标(RPO) ................................... 3 2.1.2 恢复时间目标(RTO) ................................. 4 2.2 容灾与备份的关系 ........................................ 4 2.3 容灾的等级 .............................................. 4 3 业务应急系统 ............................................... 6 3.1 系统简介 ................................................ 6 3.2 系统构成 ................................................ 6 4 业务应急系统主要功能和特点 ................................. 8 4.1 主要功能 ................................................ 8

4.1.1 支持对操作系统及数据在线复制,支持定时多版本 ........ 8 4.1.2 支持对数据进行连续数据保护,可进行任意时间点恢复 .... 8 4.1.3 同时对多台服务器进行热备切换 ........................ 9 4.1.4 同时对多台服务器进行业务级容灾应急 .................. 9 4.1.5 自动化容灾功能 ..................................... 10

第i页

业务应急系统 技术白皮书

4.1.6 对多台服务器自动恢复 ............................... 11 4.1.7 便利的容灾演练功能 ................................. 11 4.1.8 业务持续性管理功能 ................................. 12 4.2 主要特点 ............................................... 12

4.2.1 秒级业务恢复的解决方案 ............................. 12 4.2.2 秒级RPO的解决方案 ................................. 12 4.2.3 全面备份的解决方案 ................................. 13 4.2.4 便于对容灾系统进行演练验证 ......................... 13 4.2.5 兼顾技术和管理的解决方案 ........................... 14 4.2.6 易于扩展的一体化容灾解决方案 ....................... 14 4.2.7 独特的虚拟化双机热备技术 ........................... 15 4.2.8 智慧的自动化容灾技术 ............................... 15 4.2.9 采用COW快照技术 ................................... 15 4.2.10 易用易维护 ........................................ 15 5 业务应急系统工作原理 ...................................... 17 5.1 备份 ................................................... 17 5.2 应急 ................................................... 18

5.2.1 网络启动应急 ....................................... 19 5.2.2 FC启动应急 ........................................ 20 5.2.2 虚拟机启动应急 ..................................... 21 5.3 本地恢复 ............................................... 22

第ii页

业务应急系统 技术白皮书

5.4 虚拟化双机热备 ......................................... 23 6 业务应急系统主要技术参数和规格 ............................ 25 6.1 技术参数 ............................................... 25

6.1.1 主要容灾指标 ....................................... 25 6.1.2 支持的操作系统 ..................................... 25 6.1.3 支持的数据库 ....................................... 26 6.1.4 存储容量及扩展 ..................................... 26 6.2 规格型号 ............................................... 26 7 业务应急系统的部署方式 .................................... 28

第iii页

业务应急系统 技术白皮书

1 前言

随着计算机应用的迅速普及和互联网的广泛应用,各类信息系统安全持续运营问题日益突出,诸如病毒感染破坏、黑客攻击、误操作破坏、硬盘故障、人为破坏等安全问题,往往造成系统失常、文件损坏、文件丢失事故,更有甚者会引起数十台至数百台主机系统崩溃,乃至所有系统信息和用户数据丢失等严重后果!一旦发生数十台甚至数百台主机系统和环境的重装,则短时间内难以恢复运营, 而停止运营会造成比较重大的、有时是不可挽回和难以估量的损失。

根据调查,信息系统可能遭遇的各类灾难中,有9%是硬件级别的故障,例如:主板、RAID控制器、网卡、电源、内置/外置存储等设施出现问题,还有高达91%的灾难成因是“软”错误,例如:数据误删除、黑客/病毒攻击、系统崩溃、打补丁造成不稳定等等。磁带备份、基于磁盘的备份、Cluster/HA等传统的数据保护机制对于上述灾难都只能提供有限的保护。

信息系统是日常业务工作正常运行的关键要素,具有十分重要的作用。因此有必要针对信息系统目前的运行模式加以调整,增加相应的保护措施,以防止上述问题的出现。

为保证业务连续正常运行,很多安全手段被采用。传统的安全保障体系,大多基于防火墙、IDS、防病毒等技术构建单纯的防御体系,存在着较大的缺陷,如:对未知的攻击难于防范;对已知病毒采用对比法进行处理,清除病毒导致系统不可预见风险,对未知病毒无法及时应对。传统的

第1页

业务应急系统 技术白皮书

保护模式成本高,恢复时间长,难以满足业务连续性的要求,因此,必须采用新的保护手段弥补上述缺陷。

综上,我们开发出“业务应急系统”。集数据存储、数据复制、网络启动、虚拟化容灾、连续数据保护等多项技术,为业务系统提供从系统到应用到数据的全方位保护和快速恢复。

智网业务应急系统(以下简称BES),是一套保障业务持续性的容灾方案,可保证在业务系统发生灾难后,仍可迅速恢复对外提供服务。

保护系统和数据,瞬间恢复业务系统运行

第2页

业务应急系统 技术白皮书

2 容灾基础

随着信息化的不断推进,业务对IT系统的依赖度越来越高,IT系统的持续运行,以及IT系统中数据的安全性,已经是对IT运维风险控制产生重大影响。而容灾正是这样一门技术和方案,它可提供一个防止IT系统遭受各种灾难影响破坏的保护系统,为IT系统的持续运行和数据安全提供一道保护屏障。

2.1 容灾指标

衡量容灾方案有两个主要技术指标:恢复点目标(RPO)和恢复时间目标(RTO),其中 RPO用于衡量容灾方案可导致数据的丢失量,RTO用于衡量容灾方案的灾难恢复时间。RPO与RTO越小,系统的可用性就越高,容灾方案就越具有优势。

2.1.1 恢复点目标(RPO)

RPO(Recovery Point Objective),是以时间为单位,即在灾难发生时,系统和数据必须恢复到的时间点要求。RPO标志系统能够容忍的最大数据丢失量。系统容忍丢失的数据量越小,RPO的值越小。

第3页

业务应急系统 技术白皮书

2.1.2 恢复时间目标(RTO)

RTO(Recovery Time Objective),是以时间为单位,即在灾难发生后,业务系统功能从停止到必须恢复的时间要求。RTO标志系统能够容忍的服务停止的最长时间。系统服务的紧迫性要求越高,RTO的值越小。

2.2 容灾与备份的关系

备份是指用户为应用系统产生的重要数据复制多份拷贝,以提高数据的安全性,而容灾则是为应用系统提供一份或多份相同的容灾系统,以提高系统的可持续性。因此,备份与容灾所关注的对象有所不同,备份关注数据的安全,是数据保护,容灾关注业务应用的安全,是系统保护。备份最多表现为通过备份软件将数据保存到备份介质上;容灾则表现为通过高可用方案将两个系统站点连接起来。

2.3 容灾的等级

容灾从保护范围上来划分,可以分为两个级别,分别是数据级别和业务级别。

数据级别容灾的关注点是数据,即灾难发生后可以确保用户原有的数据不会丢失或者遭到破坏。其中,较低级别的数据容灾方案仅需利用备份

第4页

业务应急系统 技术白皮书

软件实现数据异地备份,达到数据级别容灾的效果;而较高级的数据容灾方案则是依靠数据复制工具,例如卷复制软件,或者存储系统的硬件控制器,实现数据的远程复制。

业务级别容灾是在数据级容灾的基础上,把业务系统也复制一份到容灾站点。业务级别容灾能提供可持续的业务服务,让用户业务的服务请求能够透明地继续运行,而感受不到灾难的发生,保证信息系统提供的服务完整、可靠、安全。

第5页

业务应急系统 技术白皮书

3 业务应急系统 3.1 系统简介

智网业务应急系统是一套一体化的应急容灾备份设备,旨在为用户提供集备份、应急、容灾、存储为一体的创新型解决方案。它可满足从x86服务器到小型机,从Windows到Linux和Unix等服务器环境的集中备份;通过容灾及虚拟化技术来满足各种容灾及虚拟化应用需求,支持自动或手动进行业务应急容灾接管、支持数据自动同步;设备采用IP SAN和FC SAN多种存储架构相结合的方式,可以满足用户各种应用环境的部署需求。

智网业务应急系统中可配置具有持续数据保护(CDP)技术的数据保护模块,可实现业务数据的实时复制,并且内置虚拟化平台,构成完整的业务级容灾方案。

3.2 系统构成

业务应急系统主要包括下图所示模块:

第6页

业务应急系统 技术白皮书

可选组件CDP网络启动FC启动虚拟化基础软件BES基础软件BES硬件硬件平台外置存储(可选)

第7页

业务应急系统 技术白皮书

4 业务应急系统主要功能和特点 4.1 主要功能

4.1.1 支持对操作系统及数据在线复制,支持定时多版本

业务应急系统可以在业务系统正常运行时,对操作系统、应用软件以及数据进行全方位的复制,并形成多时间点、多版本的历史快照。

? 支持全量和差异量复制; ? 灵活的快照时间策略; ? 可对任何指定的目录进行复制。

复制的链路,根据业务和数据量,可以采用网络复制和存储网络(FC)两种链路进行复制。

4.1.2 支持对数据进行连续数据保护,可进行任意时间点恢复

智网业务应急系统可内置连续数据保护(CDP)模块,可以连续复制生产服务器上的数据变化,并将变化的数据实时复制到BES的容灾存储上,形成连续时间点快照。

当灾难发生时,可以选择任意时间点的快照形成副本,并切换给生产服务器或容灾服务器使用,业务数据近乎无丢失。

第8页

业务应急系统 技术白皮书

4.1.3 同时对多台服务器进行热备切换

业务应急系统内置虚拟机热备功能,不需要专门的双机软件,即可实现生产服务器的双机热备功能。

业务应急系统对于设定了热备功能的被保护生产服务器,在内置虚拟化平台上使用该生产服务器的系统盘副本启动一个的虚拟机,并处于断网状态。一旦生产服务器发生宕机,业务应急系统会检测到并将对应的虚拟机连通网络,配合连续数据保护功能,可将最新的数据挂载到该虚拟机上,使虚拟机可以接替故障的生产服务器提供服务,整个切换时间约为数十秒。

4.1.4 同时对多台服务器进行业务级容灾应急

一套业务应急系统可以同时对多个生产服务器进行保护。如果多个生产服务器上的业务同时出现故障,一套业务应急系统可同时应急顶替多个业务系统工作,并由系统管理员选择在业务相对空闲时将故障业务系统恢复到正常状态。

对多个业务系统应急恢复时,仍然可以通过快照版本回滚功能,选择最合适的版本做应急和恢复使用。

应急的接替时间,约等于原业务系统重新启动的时间,一般可在几分钟内完成。应急接替的方式包括:

第9页

业务应急系统 技术白皮书

? 网络启动应急:通过网络启动的方式,由业务应急系统保存的故

障服务器磁盘镜像,替代故障服务器本身的硬盘,有故障服务器启动该镜像上的系统,启动完成后,可恢复该服务器的业务功能。 ? 虚拟机应急:业务应急系统自身带有虚拟化平台,当业务服务器

整机宕机无法启动时,可由业务应急系统上的虚拟机系统启动该服务器的应急磁盘镜像,完全替代故障服务器,实现该业务的恢复。

? 光纤启动应急:通过存储网络部署的业务应急系统,可以在业务

服务器故障时,通过光纤来启动保存在业务应急系统上的应急磁盘镜像,在数分钟内恢复业务的功能。

4.1.5 自动化容灾功能

业务应急系统拥有自动监测生产服务器运行状态的功能,可在生产服务器发生故障时,按照预定的策略,BES可自动启动虚拟机应急或虚拟机双机热备接替故障的生产服务器。

自动监测的方式包括:可设定频率的生产服务器心跳监测、PING轮询、应用仿真探测等多种方式,组合使用时可极大地提高故障检测的准确性,确保自动化容灾的可靠性。

第10页

业务应急系统 技术白皮书

4.1.6 对多台服务器自动恢复

自动恢复,是业务应急系统内置的一整套快照版本选择和恢复流程功能。一旦遇到应用系统出现故障时,由业务应急系统顶替业务系统运行。当故障服务器具备恢复条件时,在业务应急系统的后台,设定恢复策略,包括恢复的目标卷、快照版本,设置完成后启用策略,自动执行恢复操作。

4.1.7 便利的容灾演练功能

业务应急系统能够非常方便地对所保护的系统进行容灾演练,以检验灾难的恢复能力,并对备份的数据是否能够有效恢复使用进行验证。

进行容灾演练时,仅需将业务应急系统脱离业务系统的网络环境,构建一个用于演练的简单网络环境,即可进行演练。

容灾演练有两种方式供选择:

? 虚拟化演练方式:将所有的被保护业务服务器进行虚拟机应急,

只需要配置相应的验证终端,即可完成演练。

? 网络或光纤启动演练方式:需要配属相应的服务器和验证终端,

在所有演练服务器上进行网络或光纤启动应急,即可完成演练。

第11页

业务应急系统 技术白皮书

4.1.8 业务持续性管理功能

业务应急系统可内置业务持续性管理功能模块,可以实现对业务系统应急预案、应急流程、风险评估等的管理,帮助用户规范应急管理的流程,对潜在的灾难危险加以辨别并进行分析,以确定其对信息系统运行造成的威胁,并建立一个完善的持续管理计划,来防止或减少灾难事件给信息系统运行带来的损失。

4.2 主要特点

4.2.1 秒级业务恢复的解决方案

业务应急系统不仅仅可以实现传统备份软件所实现的备份和恢复功能,而且借助自身独特的快照和副本存储方式、虚拟化双机热备功能以及自动化容灾功能,可以在数十秒内恢复因信息系统灾难而停止的业务的功能,确保业务系统同时具备高可用和快速的灾难恢复能力,使业务的连续性得以保障。

4.2.2 秒级RPO的解决方案

业务应急系统可实现数据的连续数据保护,确保业务数据近乎“0”丢失,可在业务系统发生灾难时,将数据恢复至灾难前的瞬间。

第12页

业务应急系统 技术白皮书

4.2.3 全面备份的解决方案

业务应急系统不仅仅备份业务系统的数据,而且备份包括业务服务器操作系统以及业务运行的完整软件环境,包括:

? 操作系统; ? 数据库系统; ? 中间件系统; ? 各种应用系统等。

4.2.4 便于对容灾系统进行演练验证

备份的数据是否可恢复,是灾备系统有效性的重点,灾难恢复演练作为业务连续性管理的一个重要环节,通常具有操作复杂、资源占用较大的问题,成功进行一次演练的难度很高。

使用业务应急系统,可以大大降低演练的技术难度,只需要部署一个简单的演练环境,就可以使用业务应急系统中虚拟机应急的功能,极短的时间就可以将所有的业务系统运行起来,从而实现检验容灾备份的可用性、灾难恢复应急预案的可执行性等演练目的,从而使业务系统在发生灾难后进行恢复得以保障。

第13页

业务应急系统 技术白皮书

4.2.5 兼顾技术和管理的解决方案

BCM(Business Continuity Management,“业务持续管理”),对潜在的灾难危险加以辨别并进行分析,以确定其对信息系统运行造成的威胁,并建立一个完善的持续管理计划来防止或减少灾难事件给信息系统运行带来的损失。

业务应急系统内置的业务持续性管理模块,可以帮助用户规范其应急流程,制定并管理应急预案,并且可以帮助用户不断分析、挖掘信息系统的风险点,进而完善其应急预案和应急流程。

4.2.6 易于扩展的一体化容灾解决方案

业务应急系统采用软、硬件一体化设计,可方便地进行“交钥匙”方式业务功能交付,部署、管理便利。

业务应急系统采用模块化设计,可根据需要灵活选择相应的功能模块,同时,当应用环境变化时,可以方便地进行升级扩展:包括存储容量的扩展、应急方式的扩展、保护服务器数量的扩容等,可有效地保护用户的初期投资。

第14页

业务应急系统 技术白皮书

4.2.7 独特的虚拟化双机热备技术

智网科技研发的虚拟化双机热备技术,使用户可以不借助双机软件,即可同时获得双机热备功能和容灾备份功能,使得业务系统的RTO指标得到质的飞跃,大大提高了用户业务系统的业务连续性保障能力。

4.2.8 智慧的自动化容灾技术

智网科技研发的融合有心跳监测、网络连通性监测和业务级仿真监测的自动化监测和响应技术,使得用户业务系统无人值守的运维成为可能,并实现了RTO趋近于“0”的容灾指标。

4.2.9 采用COW快照技术

智网业务应急系统的快照采用COW快照技术,所生成的每一个快照都不需要进行全量与增量的合并即可独立使用,快照所占用的存储仅为变化量部分,配合重复数据删除技术,可大大降低容灾存储的容量需求,显著降低总体拥有成本。

4.2.10 易用易维护

第15页

业务应急系统 技术白皮书

业务应急系统的操作管理采用全中文的WebUI,不需要安装任何管理软件,任何具有网络互通能力的终端都可以方便地通过浏览器登陆业务应急系统管理程序,进行操作和管理。

业务应急系统的管理系统充分考虑了使用者的使用感受,将复杂的业务逻辑内置于系统中,使用者仅需点击几次鼠标即可使用业务应急系统的功能,同时,业务应急系统还设置了“一键应急”、“一键恢复”等“一键”功能和自动化容灾功能,可以在紧急情况下有效减少业务容灾的响应时间。

第16页

业务应急系统 技术白皮书

5 业务应急系统工作原理 5.1 备份

在业务应急系统部署完成后,将为每台生产服务器分配一组容灾存储,配合安装在生产服务器上的客户端软件,根据预先设定的策略,自动对各服务器的操作系统、应用软件、数据及数据库实施动态差异量在线复制,复制后在BES系统上生成用于应急、容灾的快照,供应急、容灾、恢复时选用。

BESVM快照··· ···生产服务器生产服务器

在线复制的方式,包括对系统卷和数据卷的定时在线复制,并生成定时快照,快照的间隔可依据不同磁盘卷的容灾要求分别定义。对于重要的数据,可通过CDP模块实现实时复制,并生成连续快照,可实现关键数

第17页

业务应急系统 技术白皮书

据的“0”丢失。

定时快照系统卷定时复制BESVM数据卷定时复制数据卷实时复制连续快照快照时间生产服务器

5.2 应急

当生产服务器发生灾难宕机时,可根据故障状况,选择以不同的方式应急,在数分钟内恢复生产服务器业务,保障业务的持续性。

应急时,BES系统会默认以最新的容灾快照副本提供应急使用,根据应急时的需要,可以选择任意一个容灾快照使用。

应急的方式及其适用状态如下表所示:

第18页

业务应急系统 技术白皮书

应急方式 故障类型 操作系统崩溃 应用软件故障 数据错误或误删数据 本机硬盘损坏 服务器整机损坏

网络启动应急 √ √ √ √ FC启动应急 √ √ √ √ 虚拟机应急 √ √ √ √ √ 5.2.1 网络启动应急

生产服务器故障时,将故障服务器重新启动,选择从网络启动,此时,BES会将容灾副本以网络磁盘(iSCSI磁盘)形式挂载到生产服务器上,生产服务器可以正常启动该网络磁盘上的操作系统及其上的所有应用和服务,启动完成后,业务系统恢复正常功能。

第19页

业务应急系统 技术白皮书

BESVM快照··· ···生产服务器生产服务器

5.2.2 FC启动应急

生产服务器故障时,将故障服务器重新启动,选择从FC HBA启动,此时,BES会将容灾副本以SAN磁盘形式挂载到生产服务器上,生产服务器可以正常启动该SAN磁盘上的操作系统及其上的所有应用和服务,启动完成后,业务系统恢复正常功能。

第20页

BESVM快照业务应急系统 技术白皮书

SAN网络··· ···生产服务器生产服务器以太网 5.2.2 虚拟机启动应急

生产服务器故障时,使用BES管理器中提供的虚拟机应急功能,BES会将容灾副本以自身集成的虚拟化平台启动,启动时不需要进行任何P2V的操作,可以正常启动该容灾副本上的操作系统及其上的所有应用和服务,启动完成后,业务系统恢复正常功能。

第21页

业务应急系统 技术白皮书

BESVM快照以太网··· ···生产服务器生产服务器

5.3 本地恢复

当实施网络启动操作系统、应用软件并恢复业务功能后,可在系统I/O比较少的时间(如深夜),使用BES的恢复功能,自动或手动对各服务器原有的磁盘进行恢复操作;将存放在网络存储里的可用的操作系统、应用软件、数据及数据库恢复(回写)到本地盘,该操作支持对数十台服务器的自动恢复,非常便于运营管理。

当完成对本地盘的全部系统和数据的恢复后,根据需要只需重启系统,并选择本地启动即可将运营切换到本地盘上。

第22页

业务应急系统 技术白皮书

BESVM快照以太网··· ···生产服务器生产服务器

5.4 虚拟化双机热备

当设置了生产服务器虚拟化双机热备后,BES将启动一个基于容灾快照副本的虚拟机,并关闭相应的服务,断开该虚拟机的网络连接,使之处于待机状态,同时打开对该生产服务器的自动化监测功能。

一旦生产服务器发生灾难而宕机时,自动化监测系统将检测到服务中断,此时将发送报警,同时将最新的数据容灾快照副本挂载到虚拟机上,启动相应的服务并连通网络,可以在数十秒内完成容灾接替,恢复宕机生产服务器的功能。

第23页

业务应急系统 技术白皮书

BESOSBESOSVM快照OSDataOSDataVM快照Data以太网以太网··· ······ ···生产服务器生产服务器生产服务器生产服务器

第24页

业务应急系统 技术白皮书

6 业务应急系统主要技术参数和规格 6.1 技术参数 6.1.1 主要容灾指标

? RTO ≈ 0; ? RPO ≈ 0。

6.1.2 支持的操作系统

业务应急系统支持以下操作系统:

? Microsoft Windows 2000/2003/2008 Server; ? Microsoft Windows XP; ? Linux; ? IBM AIX; ? HP-UX;

? 国产操作系统:麒麟。

第25页

业务应急系统 技术白皮书

6.1.3 支持的数据库

业务应急系统支持以下数据库系统: ? Microsoft SQL Server; ? Oracle; ? MySQL; ? Sybase; ? DB2;

? 国产数据库:GBase。

6.1.4 存储容量及扩展

业务应急系统的存储容量: ? 集成存储:4TB~48TB;

? 扩展存储:支持FC SAN、iSCSI SAN、DAS等方式的存储容量

扩展,扩展容量无上限。

6.2 规格型号

业务应急系统为软硬件一体化产品,主要规格:

第26页

业务应急系统 技术白皮书

? 标准19英寸机架式设备; ? 高度:2U/3U/5U; ? 电源:AC220V,550W; ? 网卡:2个1000Base-T;

? 内置存储:4TB~48TB(可选),业务应急系统内置存储与被保

护主机的磁盘容量按照4:1的磁盘容量进行配置。 ? 存储支持:Raid 0、1、5、6;

? 存储扩展:可选配SCSI或FC外置存储系统,需选配相应扩展

卡;

? 快照版本数:16~2048个;

? 支持协议:iSCSI、iSCSI Boot、sBoot、sPXE; ? 管理:WebUI;

? 应急启动方式:PXE、iSCSI、FC、虚拟机。

第27页

业务应急系统 技术白皮书

7 业务应急系统的部署方式

根据容灾需求的不同,业务应急系统可选择多种不同的方式部署,包括:

? 直接接入原有生产网络,在被保护的生产服务器上安装客户端软

件,构建本地备份容灾系统。这种部署方式不改变生产网络结构,部署简单易管理,但在复制时,会占用生产网络带宽。

BESVM快照··· ···生产服务器生产服务器

? 构建业务容灾专网,在被保护的生产服务器上安装客户端软件,

构建本地备份容灾系统。这种部署方式为使用生产服务器空闲网

第28页

业务应急系统 技术白皮书

卡组建专网,需网络管理部门配合实施,但不会占用生产网络带宽,保障生产网络的畅通。

BESVM快照容灾专网··· ···生产服务器生产网络生产服务器

? 通过SAN网络部署,在被保护的生产服务器上安装客户端软件,

构建本地备份容灾系统。这种部署方式业务应急系统通过SAN网络和以太网两个链路与被保护的生产服务器互联,控制命令通过以太网传输,数据复制通过存储网络传输,生产网络带宽占用极少,但在不具备SAN网络的环境中部署需另建SAN网络。

第29页

业务应急系统 技术白皮书

BESVM快照SAN网络··· ···生产服务器生产网络生产服务器

第30页

本文来源:https://www.bwwdw.com/article/imr3.html

Top