java连接hadoop集群

Java操作Hadoop集群文件的步骤

2016年7月19日22:31:26 Huangxin[永州职业技术学院]

大家可以到百度搜索【数据堂】，里面有很多各种行业的大数据文件

0．配置Eclipse。先把Linux里面的/usr/hadoop/lib里面的jar包。和/usr/hadoop里面的jar包全部拷贝到Windows里面的Eclipse里面（选中java工程名，然后Ctrl+V），然后选中所有的jar包右键—>【构建路径】-?【配置构建路径】

1. 关闭 linux的防火墙 Chkconfig iptables off

2. 修改linux里面的master 主机里面的 /usr/hadoop/conf里面的hdfs-site.xml文件

在里面添加一个属性 dfs.permissions

false

意思就是不检查权限。 然后在hadoop集群里面，重启集群（先stop-all.sh然后start-all.sh）关闭安全模式(hadoop dfsadmin –safemode leave) 3. 在Eclipse里面编写程序操作hadoop集群里面的文件。 ① 取文件

步骤：A:获取到HDFS配置文件

Configuratio

Java操作Hadoop集群文件的步骤

2016年7月19日22:31:26 Huangxin[永州职业技术学院]

大家可以到百度搜索【数据堂】，里面有很多各种行业的大数据文件

0．配置Eclipse。先把Linux里面的/usr/hadoop/lib里面的jar包。和/usr/hadoop里面的jar包全部拷贝到Windows里面的Eclipse里面（选中java工程名，然后Ctrl+V），然后选中所有的jar包右键—>【构建路径】-?【配置构建路径】

1. 关闭 linux的防火墙 Chkconfig iptables off

2. 修改linux里面的master 主机里面的 /usr/hadoop/conf里面的hdfs-site.xml文件

在里面添加一个属性 dfs.permissions

false

意思就是不检查权限。 然后在hadoop集群里面，重启集群（先stop-all.sh然后start-all.sh）关闭安全模式(hadoop dfsadmin –safemode leave) 3. 在Eclipse里面编写程序操作hadoop集群里面的文件。 ① 取文件

步骤：A:获取到HDFS配置文件

Configuratio

这里我们搭建一个由三台机器组成的集群：

172.16.77.15 aboutyun/123456 master 172.16.77.16 aboutyun/123456 slave1 172.16.77.17 aboutyun/123456 slave1 1.1 上面各列分别为IP、user/passwd、hostname

1.2 Hostname可以在/etc/hostname中修改，hostname，hosts的修改详细可以看ubuntu修改hostname

对于三台机器都需要修改：

下面是master的修改：通过命令 01.vi /etc/hosts

02.复制代码然后对你里面的内容修改： 下面修改hostname 01.vi /etc/hostname

复制代码修改为master即可

上面hosts基本都一样，只不过hostname有所差别。 2、打通master到slave节点的SSH无密码登陆

这里面打通无密码登录，很多新手遇到了问题，这里安装的时候，具体的操作，可以查阅其他资料：

Hadoop伪分布安装过程：Hadoop单机环境搭建指南（ubuntu）

CentOS6.

h a d o o p—集群维护手

册

a6007cd97d192279168884868762caaedd33ba4dwork Information Technology Company.2020YEAR

Hadoop部分

启动命令：start-all.sh

停止命令：stop-all.sh

Hadoop运行

增加集群的存储量/节点

如果只增加集群的存储量，建议增加Hadoop datanode节点。

步骤：

1、停掉集群包括Hadoop和hbase，当然也可以不停掉，直接在hadoop namenode的配置文件Slave里添加新节点的host，别忘了在host文件里也要添加新添加的host名。

2、执行bin/start-all.sh启动集群

3、以下选择一种

1)如果不手动作平衡，插入的数据将会放在新添加的节点上。以趋于平衡。

2)如果手动平衡，则 start-balancer.sh和调用bin/sHadoop balancer命令相

似，也可加参数 -threshold 5（threshold 是平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长）。在使用start-balancer.sh时，如果在hdfs-site.xml里面没有配置dfs.bal

1、集群部署介绍

1.1 Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以

HADOOP集群自动化安装手册

1 .AMBARI简介

来自Apache官方文档官网地址：http://ambari.apache.org/

Apache Ambari项目的目的是通过开发软件来配置、监控和管理hadoop集群，以使hadoop的管理更加简单。Ambari提供了一个基于它自身RESTful的api实现的直观的、简单易用的web界面。

AMBARI现在支持的组件包括以下几个：

HDFS, MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig, Sqoop 1. Ambari允许系统管理员进行以下操作：

? 提供一个hadoop集群

Ambari提供了一个循序渐进的导向来安装hadoop服务到任意数量的主机 Ambari处理集群的hadoop服务配置。 ? 管理一个hadoop集群

Ambari提供了一个中央管理器来管理整个集群的hadoop的服务的开启、停止和重新配置

? 监控一个hadoop集群

Ambari提供了一个面板实时监控hadoop集群的健康和状态 Ambari通过Ganglia来收集指标

Ambari通过Nagios来进行系统预警，当你需要注意的时候给你

HADOOP集群自动化安装手册

1 .AMBARI简介

来自Apache官方文档官网地址：http://ambari.apache.org/

Apache Ambari项目的目的是通过开发软件来配置、监控和管理hadoop集群，以使hadoop的管理更加简单。Ambari提供了一个基于它自身RESTful的api实现的直观的、简单易用的web界面。

AMBARI现在支持的组件包括以下几个：

HDFS, MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig, Sqoop 1. Ambari允许系统管理员进行以下操作：

? 提供一个hadoop集群

Ambari提供了一个循序渐进的导向来安装hadoop服务到任意数量的主机 Ambari处理集群的hadoop服务配置。 ? 管理一个hadoop集群

Ambari提供了一个中央管理器来管理整个集群的hadoop的服务的开启、停止和重新配置

? 监控一个hadoop集群

Ambari提供了一个面板实时监控hadoop集群的健康和状态 Ambari通过Ganglia来收集指标

Ambari通过Nagios来进行系统预警，当你需要注意的时候给你

Hadoop技术已经在互联网领域得到广泛的应用,同时也得到了学术界的普遍关注。该文介绍了Hadoop作为基础数据处理平台仍然存在的问题,阐明了Hadoop性能优化技术研究的必然性,并介绍了当前Hadoop优化的三个主要思路：从应用程序角度进行优化、对Hadoop系统参数进行优化和对Hadoop作业调度算法进行优化。Hadoop集群优化对于提高系统性能和执行效率具有重大的意义。

I S 1 0 -3 4 S N 0 9 0 4

E ma: f@ c c e e — i ky c c . t n l j n .ht/www. z .e .n t/ p: dn sn tc Te: 6—5—5 0 3 56 9 4 l+8 51 69 96 90 6

C m ue K o l g n e h o g o p tr n we ea dT c n l y电脑知识与技术 d oVo .,No2 Au u t 01 . 1 7 .2, g s 2 1

Hdo a o p集群性能优化技术研究辛欣.飞大刘(安工业大学，西陕西西安 7 0 3 ) 10 2

摘要： do Ha o p技术已经在 I联网领域得到广泛的应用，时也得到了学术界的普遍关注。文介绍了 Ha

Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0安装

安装hadoop2.6+HA

?

1.准备一台CentOS6.4系统

?

2.环境CentOS6.4 共5台 机器名ip地址安装软件运行进程

master1 192.168.3.141 hadoop、Zookeeper、hbase NN、RM、DFSZKFC、journalNode、HMaster、QuorumPeerMain

master2 192.168.3.142 hadoop、Zookeeper、hbase NN、RM、DFSZKFC、journalNode、HRegionServer、QuorumPeerMain

slave1 192.168.3.143 hadoop、Zookeeper、hbase DN、NM、journalNode、HRegionServer、QuorumPeerMain

slave2 192.168.3.144 hadoop、Zookeeper、hbase DN、NM、journalNode、HRegionServer、QuorumPeerMain

slave3 192.168.3.145 hadoop、Zookeepe

一、下载SQLite数据库的JDBC：http://www.zentus.com/sqlitejdbc/ 二、将下载到的包解压后得到jar包放到%JAVA_HOME%\\lib下，并且将其添加到ClassPath系统环境变量中。一定要保证在类路径ClassPath中有该jar包，并且保证在JAVA库路径JAVA Library Path中有本地库Native Library（\\workspace\\\应用\下最好也要加入该jar包）。\作为JDBC的驱动程序类名。连接JDBC的URL格式为jdbc:sqlite:/path。这里的path为指定到SQLite数据库文件的路径，例如： jdbc:sqlite://dirA/dirB/dbfile

jdbc:sqlite://DRIVE:/dirA/dirB/dbfile

jdbc:sqlite://COMPUTERNAME/shareA/dirB/dbfile 三、下面是使用SQLite的两段代码以供参考： 代码段1：

1 import java.sql.*; 2 import org.sqlite.JDBC; 3

4 public class SQLiteTest {

5