云计算基础知识整理

1. 云计算是对（ D ）技术的发展与运用

A. 并行计算 B网格计算 C分布式计算 D三个选项都是

2. IBM在2007年11月退出了“改进游戏规则”的 （ A ）计算平台，为客户带来即买即用的云计算平台。 A. 蓝云 B. 蓝天 C. ARUZE D. EC2 3. 微软于2008年10月推出云计算操作系统是（ C ） A. Google App Engine B. 蓝云 C. Azure D. EC2 4. 2008年，（ A ）先后在无锡和北京建立了两个云计算中心 A. IBM B. Google C. Amazon D. 微软

5. 将平台作为服务的云计算服务类型是（ B ） A. IaaS B.PaaS C.SaaS D.三个选项都不是 6. 将基础设施作为服务的云计算服务类型是（ A ） A. IaaS B.PaaS C.SaaS D.三个选项都不是

7. IaaS计算实现机制中，系统管理模块的核心功能是（ A ）

A. 负载均衡 B 监视节点的运行状态 C应用API D. 节点环境配置

8. 云计算体系结构的（ C ）负责资源管理、任务管理用户管理和安全管理等工作 A.物理资源层 B. 资源池层 C. 管理中间件层 D. SOA构建层 9. 云计算按照服务类型大致可分为以下类（ A、B、C ） A.IaaS B. PaaS C. SaaS D.效用计算

10. 下列不属于Google云计算平台技术架构的是（ D ）

A. 并行数据处理MapReduce B.分布式锁Chubby C. 结构化数据表BigTable D.弹性云计算EC2

11. 在目前GFS集群中，每个集群包含（ B ）个存储节点 A.几百个 B. 几千个 C.几十个 D.几十万个

12. 下列选项中，哪条不是GFS选择在用户态下实现的原因（ D ） A.调试简单 B.不影响数据块服务器的稳定性 C. 降低实现难度，提高通用性 D. 容易扩展 13. GFS中主服务器节点存储的元数据包含这些信息（ BCD ）

A.文件副本的位置信息 B.命名空间 C. Chunk与文件名的映射 D. Chunk副本的位置信息 14. 单一主服务器（Master）解决性能瓶颈的方法是（ ABCD ） A.减少其在数据存储中的参与程度 B. 不适用Master读取数据 C.客户端缓存元数据 D. 采用大尺寸的数据块

15. （ B ）是Google提出的用于处理海量数据的并行编程模式和大规模数据集的并行运算的软件架构。 A. GFS B.MapReduce C.Chubby D.BitTable 16. Mapreduce适用于 （ D ）

A. 任意应用程序 B. 任意可在windows servet2008上运行的程序 C.可以串行处理的应用程序 D. 可以并行处理的应用程序

17. MapReduce通常把输入文件按照（ C ）MB来划分 A. 16 B32 C64 D128

18. 与传统的分布式程序设计相比，Mapreduce封装了 （ ABCD ）等细节，还提供了一个简单而强大的接口。

A. 并行处理 B. 容错处理 C. 本地化计算 D. 负载均衡 19. （ D ）是Google的分布式数据存储于管理系统 A. GFS B. MapReduce C. Chubby D.Bigtable

20. 在Bigtable中，（ A ）主要用来存储子表数据以及一些日志文件 A. GFS B. Chubby C.SSTable D.MapReduce 21. Google APP Engine使用的数据库是 （ C ）

A. 改进的SQLServer B. Orack C. Date store D. 亚马逊的SimpleDB

22. Google APP Engine目前支持的编程语言有 （ AD ） A. Python语言 B. C++语言 C. 汇编语言 D. JAVA语言

23. 亚马逊AWS采用 （ A ）虚拟化技术 A. 未使用 B. Hyper-V C. Vmware D. Xen 24. 亚马逊将区域分为（ AC ） A地理区域 B不可用区域 C可用区域 D隔离区域 25. 下面选项属于Amazon提供的云计算服务是（ ABC ）

A.弹性云计算EC2 B简单存储服务S3 c简单队列服务SQS D.Net服务 26. 不属于弹性计算云EC2包含的IP地址的是（ C ）

A. 公共IP地址 B. 私有IP地址 C.隧道IP地址 D. 弹性IP地址

27. 在EC2的安全与容错机制中，一个用户目前最多可以创建 （ B ）安全组。 A. 50 B. 100 C. 150 D. 200

28. EC2常用的API包含下列哪些类型的操作（ ABCD ） A.AMI B. 安全组 C实例 D弹性IP地址

29. S3的基本存储单元是（ B ） A.服务 B.对象 C.卷 D. 组 30. S3采用的专门安全措施是（ AB ）

A.身份认证 B.访问控制列表 C防火墙 D防木马病毒技术

31. 在云计算系统中，提供“云端”服务模式是（ D ） 公司的云计算服务平台。 A. IBM B. GOOGLE C. Amaxon D. 微软

32. 下列四种云计算方案中，服务间的耦合度最高的是 （ C ）

A. 亚马逊AWS B. 微软AZURE C. Google APP Engine D. IBM的“蓝云” 33. 云格可以完成的服务有 （ ABCD ）

A. 数据处理服务 B. 格处理服务 C. 高性能计算服务 D. 协作服务 34. 亚马逊AWS提供的云计算服务类型是（ D ） A. IaaS B.PaaS C.SaaS D.三个选项都是

35. Google文件系统将整个系统的节点分为（ ABC ）的角色 A.客户端 B.主服务器 C.数据块服务器 D.监测服务器 36. Google文件系统具有（ ABD ）特点

A.采用中心服务器模式 B不缓存数据 C.采用边缘服务器模式 D在用户态下实现 37. Google不缓存数据的原因是 （ ABCD ）

A. OFS的文件操作大部门是流式读写； B. 维护缓存与实际数据之间的一致性太复杂 C. 不存在大量的重复读写 D. 数据块服务器上的数据存取使用本地文件系统

38.从研究现状上看，下面不属于云计算特点的是（ C ） A. 超大规模 B. 虚拟化 C.私有化 D. 高可靠性

39.与网络计算相比，不属于云计算特征的是（ B ）

A.资源高度共享 B.适合紧耦合科学计算 C. 支持虚拟机 D. 适用于商业领域

一，填空题 （30分）

云计算是以 公开 的标准和 服务 为基础，以 互联网 为中心，提供安全、快速、便捷的数据存储和网络计算服务，让互联网这片\云\成为每一个网民的数据中心和计算中心。 对提供者而言，云计算可以三种部署模式，即 公有云 、 私有云 和混合云 。 当前，几乎所有的知名IT 提供商、互联网提供商，甚至电信运营商都在向云计算进军，都在提供相关的云服务。但归纳起来，当前云提供者可以分为三大类，即 SaaS提供商、PaaS 和IaaS 提供商。

5. 云计算（Cloud Computing）：一种利用 大规模低成本 运算单元通过IP

网络连接，以提供各种计算和存储服务的IT技术。 二，选择题 (可多选)（50分）

1．云计算的特点？( ABCDE)A．大规模 B. 平滑扩展C资源共享 D. 动态分配 E. 跨地域 2．宝德存储云解决方案价值有哪些？( ABCD ) A. 海量小文件的高效管理 B. PB级的存储空间和线行扩展能力 C. 可动态提升的性能 D. 数据高可靠性

3.目前，选用开源的虚拟化产品组建虚拟化平台，构建基于硬件的虚拟化层，可以选用（ BCD ）A .Xen B.VMware C. Hyper-v D. Citrix

4．在云计算中，虚拟层主要包括（ ABC ）A.服务器虚拟化 B.存储虚拟化C.网络虚拟化 D.桌面虚拟化

7.未来云计算服务面向那些客户？（ ABCDE ）A.个人 B.企业C.政府 D.教育E.研究所 8.云安全主要的考虑的关键技术有哪些？（ ABC ）A.数据安全 B.应用安全 C.虚拟化安全 D.服务器安全

由于云计算分为IaaS、PaaS和SaaS三种类型，不同的厂家又提供了不同的解决方案，目前还没有一个统一的技术体系结构，对读者了解云计算的原理构成了障碍。为此，本文综合不同厂家的方案，构造了一个供商榷的云计算体系结构。这个体系结构如图3所示，它概括了不同解决方案的主要特征，每一种方案或许只实现了其中部分功能，或许也还有部分相对次要功能尚未概括进来。

图3 云计算技术体系结构

云计算技术体系结构分为4层：物理资源层、资源池层、管理中间件层和SOA构建层，如图3所示。物理资源层包括计算机、存储器、网络设施、数据库和软件等；资源池层是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低能耗；管理中间件负责对云计算的资源进行

管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务；SOA构建层将云计算能力封装成标准的Web Services服务，并纳入到SOA体系进行管理和使用，包括服务注册、查找、访问和构建服务工作流等。管理中间件和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。

云计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生命期管理等等；用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。

基于上述体系结构，本文以IaaS云计算为例，简述云计算的实现机制，如图4所示。 用户交互接口向应用以Web Services方式提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的运行状态，并完成用户使用节点情况的统计。执行过程并不复杂：用户交互接口允许用户从目录中选取并调用一个服务。该请求传递给系统管理模块后，它将为用户分配恰当的资源，然后调用配置工具来为用户准备运行环境。

Hadoop HDFS特性简介

一、设计思想

1、硬件失效是“常态事件“，而非“偶然事件”。HDFS可能是有上千的机器组成（文档中描述的Yahoo!一个Hadoop集群有4096个节点），任何一个组件都有可能一直失效，因此数据的健壮性错误检测和快速、自动的恢复是HDFS的核心架构目标。

2、 流式数据访问。运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数据集。HDFS的设计中更多的考虑到了数据批处理，而不是用户交互处理。比之数据访问的低延迟问题，更关键的在于数据并发访问的高吞吐量。POSIX标准设置的很多硬性约束对HDFS应用系统不是必需的。为了提高数据的吞吐量，在一些关键方面对 POSIX的语义做了一些修改。

3、 HDFS应用对文件要求的是write-one-read-many访问模型。一个文件经过创建、写，关闭之后就不需要改变。这一假设简化了数据一致性问题，使高吞吐量的数据访问成为可能。典型的如MapReduce框架，或者一个web crawler应用都很适合这个模型。

4、移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就越高效，这在数据达到海量级别的时候更是如此。将计算移动到数据附近，比之将数据移动到应用所在显然更好，HDFS提供给应用这样的接口。 5、在异构的软硬件平台间的可移植性。

二、Namenode和Datanode的划分

一个HDFS集群有一个Namenode和一定数目的Datanode组成。

Namenode是一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问。 Datanode在集群中会有多个，一般是一个节点存在一个，负责管理其自身节点上它们附带的存储。在内部，一个大文件其分成一个或多个block，这些block存储在Datanode集合里。Namenode执行文件系统的namespace相关操作，例如打开、关闭、重命名文件和目录，同时决定了block到具体Datanode节点的映射。Datanode在Namenode的指挥下进行block的创建、删除和复制。

单一节点的Namenode大大简化了系统的架构。Namenode负责保管和管理所有的HDFS元数据，因而在请求Namenode得到文件的位置后就不需要通过Namenode参与而直接从Datanode进行。

为了提高Namenode的性能，所有文件的namespace数据都在内存中维护，所以就天生存在了由于内存大小的限制导致一个HDFS集群的提供服务的文件数量的上限。

根据目前的文档，一个元数据（一个HDFS文件块儿）占用200Bytes，如果是页面抓取的小文件，那么32GB内存能承载1.5亿左右的文件存储（有待精确详细测试）。

三、文件系统操作和namespace的关系

HDFS支持传统的层次型文件组织，与大多数其他文件系统类似，用户可以创建目录，并在其间创建、删除、移动和重命名文件。HDFS不支持user quotas和访问权限，也不支持链接（link)，不过当前的架构并不排除实现这些特性。Namenode维护文件系统的namespace，任何对文件系统namespace和文件属性的修改都将被Namenode记录下来。应用可以设置HDFS保存的文件的副本数目，文件副本的数目称为文件的 replication因子，这个信息也是由Namenode保存。

四、数据复制

HDFS被设计成在一个大集群中可以跨机器地可靠地存储海量的文件。它将每个文件存储成block序列，除了最后一个block，所有的block都是同样的大小。文件的所有block为了容错都会被复制。每个文件的block大小和replication因子都是可配置的。Replication因子可以在文件创建的时候配置，以后也可以改变。HDFS中的文件是write-one，并且严格要求在任何时候只有一个writer。Namenode全权管理block的复制，它周期性地从集群中的每个Datanode接收心跳包和一个Blockreport。心跳包的接收表示该Datanode节点正常工作，而Blockreport包括了该Datanode上所有的block组成的列表。

1、副本的存放，副本的存放是HDFS可靠性和性能的关键。庞大的HDFS实例一般运行在多个机架的计算机形成的集群上，不同机架间的两台机器的通讯需要通过交换机，显然通常情况下，同一个机架内的两个节点间的带宽会比不同机架间的两台机器的带宽大。

在大多数情况下，replication因子是3，HDFS的存放策略是将一个副本存放在本地机架上的节点，一个副本放在同一机架上的另一个节点，最后一个副本放在不同机架上的一个节点。机架的错误远远比节点的错误少，这个策略不会影响到数据的可靠性和有效性。三分之一的副本在一个节点上，三分之二在一个机架上，其他保存在剩下的机架中，这一策略改进了写的性能。

2、副本的选择，为了降低整体的带宽消耗和读延时，HDFS会尽量让reader读最近的副本。如果在reader的同一个机架上有一个副本，那么就读该副本。如果一个HDFS集群跨越多个数据中心，那么reader也将首先尝试读本地数据中心的副本。

本文来源：https://www.bwwdw.com/article/jtqv.html