hadoop题库作业

1. 以下哪一项不属于Hadoop可以运行的模式___C___。 A. 单机（本地）模式 B. 伪分布式模式 C. 互联模式 D. 分布式模式

2. Hadoop的作者是下面哪一位__B____。 A. Martin Fowler B. Doug cutting C. Kent Beck D. Grace Hopper

3. 下列哪个程序通常与NameNode在同一个节点启动__D___。 A. TaskTracker B. DataNode

C. SecondaryNameNode D. Jobtracker

4. HDFS 默认 Block Size的大小是___B___。 A.32MB B.64MB C.128MB D.256M

5. 下列哪项通常是集群的最主要瓶颈____C__。 A. CPU B. 网络 C. 磁盘IO D. 内存

6. 下列关于MapReduce说法不正确的是_____C_。 A. MapReduce是一种计算框架

B. MapReduce来源于google的学术论文 C. MapReduce程序只能用java语言编写

D. MapReduce隐藏了并行计算的细节，方便使用

8. H

1. 以下哪一项不属于Hadoop可以运行的模式___C___。 A. 单机（本地）模式 B. 伪分布式模式 C. 互联模式 D. 分布式模式

2. Hadoop的作者是下面哪一位__B____。 A. Martin Fowler B. Doug cutting C. Kent Beck D. Grace Hopper

3. 下列哪个程序通常与NameNode在同一个节点启动__D___。 A. TaskTracker B. DataNode

C. SecondaryNameNode D. Jobtracker

4. HDFS 默认 Block Size的大小是___B___。 A.32MB B.64MB C.128MB D.256M

5. 下列哪项通常是集群的最主要瓶颈____C__。 A. CPU B. 网络 C. 磁盘IO D. 内存

6. 下列关于MapReduce说法不正确的是_____C_。 A. MapReduce是一种计算框架

B. MapReduce来源于google的学术论文 C. MapReduce程序只能用java语言编写

D. MapReduce隐藏了并行计算的细节，方便使用

8. H

1、集群部署介绍

1.1 Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以

搭建hadoop2.6.0开发环境

前言：因为没有实体机做测试，要学习hadoop搭建环境，在本地笔记本做3台linux虚拟机是个蛮不错的选择。安装一个VMware，准备3台一样的linux虚拟机. Linux虚拟机ISO：

虚拟机平台服务器版本：

PS：关于软件，软件描述如下所示：

本地笔记本：T420，8G内存，64位操作系统，配置如下：

1.安装虚拟机

1.1安装VMware-workstation，一路下一步即可，导入Centos，使用ISO方式搭建linux虚拟机

2.安装linux虚拟机

2.1安装VMware-workstation完成后，选择新建虚拟机，导入Centos，使用ISO方式搭建linux虚拟机

选择路径

选择多核

选择2G内存

选择桥连接的方式

选择磁盘I/O方式

创建全新的虚拟机

选择磁盘类型

虚拟机文件存储方式

设置虚拟机文件存放路径

完成打开，报错如下：

Could not prepare the install disc at E:\\software\\wmware\\CentOS-6.5-x86_64-bin-DVD1.iso. Make sure that you are usin

Hadoop就业面试宝典

1.0 简要描述如何安装配置apache的一个开源hadoop，只描述即可，无需列出具体步骤，

列出具体步骤更好。 答：1使用root账户登录

2 修改IP

3 修改host主机名

4 配置SSH免密码登录 5 关闭防火墙 6 安装JDK

7 解压hadoop安装包

8 配置hadoop的核心文件 hadoop-env.sh，core-site.xml , mapred-site.xml ， hdfs-site.xml 9 配置hadoop环境变量

10 格式化 hadoop namenode-format 11 启动节点 start-all.sh

2.0 请；列出正常的hadoop集群中hadoop都分别需要启动 哪些进程，他们的作用分别都是什么，请尽量列的详细一些。 答：namenode：管理集群，存储数据的原信息，并管理记录datanode中的文件信息。

Secondname:可以做冷备，对一定范围内数据做快照性备份。 Datanode:存储数据

Jobtracker :管理任务，并将任务分配给 tasktracker。 Tasktracker: 执行JobTracker分配的任务。

3.0请写出以下的s

Hadoop的安装部署

对于云计算的概念，世界知名的几大IT厂商都推出了各自的云计算平台，比如Amazon的AWS、微软的Azure和IBM的蓝云等，但他们都是商业平台，不适合广大对云计算有兴趣的研究者，而Hadoop是google云计算的开源实现，并且是完全免费的。Hadoop是一个分布式系统基础架构，是Apache下的一个项目，由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。其中，HDFS和MapReduce是两个最基础最重要的成员。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为分布式计算存储提供了底层支持。

MapReduce从它名字上来看就大致可以看出个缘由，两个动词Map和Redu

Hadoop的安装部署

对于云计算的概念，世界知名的几大IT厂商都推出了各自的云计算平台，比如Amazon的AWS、微软的Azure和IBM的蓝云等，但他们都是商业平台，不适合广大对云计算有兴趣的研究者，而Hadoop是google云计算的开源实现，并且是完全免费的。Hadoop是一个分布式系统基础架构，是Apache下的一个项目，由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。其中，HDFS和MapReduce是两个最基础最重要的成员。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为分布式计算存储提供了底层支持。

MapReduce从它名字上来看就大致可以看出个缘由，两个动词Map和Redu

centos6.4 下搭建hadoop平台

Hadoop平台搭建方案

centos6.4 下搭建hadoop平台

一、Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任 务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交 时，JobTracker接收到提交作业和配置信息之后，就

这里我们搭建一个由三台机器组成的集群：

172.16.77.15 aboutyun/123456 master 172.16.77.16 aboutyun/123456 slave1 172.16.77.17 aboutyun/123456 slave1 1.1 上面各列分别为IP、user/passwd、hostname

1.2 Hostname可以在/etc/hostname中修改，hostname，hosts的修改详细可以看ubuntu修改hostname

对于三台机器都需要修改：

下面是master的修改：通过命令 01.vi /etc/hosts

02.复制代码然后对你里面的内容修改： 下面修改hostname 01.vi /etc/hostname

复制代码修改为master即可

上面hosts基本都一样，只不过hostname有所差别。 2、打通master到slave节点的SSH无密码登陆

这里面打通无密码登录，很多新手遇到了问题，这里安装的时候，具体的操作，可以查阅其他资料：

Hadoop伪分布安装过程：Hadoop单机环境搭建指南（ubuntu）

CentOS6.

h a d o o p—集群维护手

册

a6007cd97d192279168884868762caaedd33ba4dwork Information Technology Company.2020YEAR

Hadoop部分

启动命令：start-all.sh

停止命令：stop-all.sh

Hadoop运行

增加集群的存储量/节点

如果只增加集群的存储量，建议增加Hadoop datanode节点。

步骤：

1、停掉集群包括Hadoop和hbase，当然也可以不停掉，直接在hadoop namenode的配置文件Slave里添加新节点的host，别忘了在host文件里也要添加新添加的host名。

2、执行bin/start-all.sh启动集群

3、以下选择一种

1)如果不手动作平衡，插入的数据将会放在新添加的节点上。以趋于平衡。

2)如果手动平衡，则 start-balancer.sh和调用bin/sHadoop balancer命令相

似，也可加参数 -threshold 5（threshold 是平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长）。在使用start-balancer.sh时，如果在hdfs-site.xml里面没有配置dfs.bal