zookeeper

北大青鸟中关村

hadoop的pig与zookeeper总结

1.安装Pig 将pig添加到环境变量当中 2.pig使用 首先将数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table trade_detail --target-dir '/sqoop/td' sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table user_info --target-dir '/sqoop/ui' td = load '/sqoop/td' using PigStorage(',') as (id:long, account:chararray, income:double, expenses:double, time:chararray); ui = load '/sqoop/ui' using PigStorage(','

简介ZooKeeper的功能

ZooKeeper 典型的应用场景

Zookeeper 从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应，从而实现集群中类似 Master/Slave 管理模式，关于 Zookeeper 的详细架构等内部细节可以阅读 Zookeeper 的源码

下面详细介绍这些典型的应用场景，也就是 Zookeeper 到底能帮我们解决那些问题？ 统一命名服务（Name Service）

分布式应用中，通常需要有一套完整的命名规则，既能够产生唯一的名称又便于人识别和记住，通常情况下用树形的名称结构是一个理想的选择，树形的名称结构是一个有层次的目录结构，既对人友好又不会重复。说到这里你可能想到了 JNDI，没错 Zookeeper 的 Name Service 与 JNDI 能够完成的功能是差不多的，它们都是将有层次的目录结构关联到一定资源上，但是 Zookeeper 的 Name Service 更加是广泛意义上的关联，也许你并不需要将名称关联到

本文环境如下：

操作系统：CentOS 6 32位 ZooKeeper版本：3.4.8

0. 环境需求

Zookeeper需要JDK1.6以上版本的Java环境 可以参考：

CentOS 6使用rpm方式安装JDK8

1. 下载软件包

到ZooKeeper官网上http://zookeeper.apache.org/下载软件包,例如：

wget \r-3.4.8.tar.gz\

tar -xzvf zookeeper-3.4.8.tar.gz mv zookeeper-3.4.8 /opt

? ? ? ? ? ? 1 2 3 1 2 3 2. 单机模式 2.1 修改配置文件 cd /opt/zookeeper-3.4.8/conf/ cp zoo_sample.cfg zoo.cfg vi zoo.cfg

? ? ? ? ? ? 1 2 3 1 2 3 Zookeeper提供了一份默认的配置文件，复制为zoo.cfg打开后，我们需要修改数据存放的路径： dataDir=/opt/zookeeper-3.4.8/data

? ? 1 1 2.2 运行Zookeeper

cd /opt/zookeeper-3.4.8/bin/ ./zkS

本文环境如下：

操作系统：CentOS 6 32位 ZooKeeper版本：3.4.8

0. 环境需求

Zookeeper需要JDK1.6以上版本的Java环境 可以参考：

CentOS 6使用rpm方式安装JDK8

1. 下载软件包

到ZooKeeper官网上http://zookeeper.apache.org/下载软件包,例如：

wget \r-3.4.8.tar.gz\

tar -xzvf zookeeper-3.4.8.tar.gz mv zookeeper-3.4.8 /opt

? ? ? ? ? ? 1 2 3 1 2 3 2. 单机模式 2.1 修改配置文件 cd /opt/zookeeper-3.4.8/conf/ cp zoo_sample.cfg zoo.cfg vi zoo.cfg

? ? ? ? ? ? 1 2 3 1 2 3 Zookeeper提供了一份默认的配置文件，复制为zoo.cfg打开后，我们需要修改数据存放的路径： dataDir=/opt/zookeeper-3.4.8/data

? ? 1 1 2.2 运行Zookeeper

cd /opt/zookeeper-3.4.8/bin/ ./zkS

基于ZooKeeper的分布式Session实现

1． 认识ZooKeeper

ZooKeeper—— “动物园管理员”。动物园里当然有好多的动物，游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物，而不是像走在原始丛林里，心惊胆颤的被动 物所观赏。为了让各种不同的动物呆在它们应该呆的地方，而不是相互串门，或是相互厮杀，就需要动物园管理员按照动物的各种习性加以分类和管理，这样我们才 能更加放心安全的观赏动物。回到我们企业级应用系统中，随着信息化水平的不断提高，我们的企业级系统变得越来越庞大臃肿，性能急剧下降，客户抱怨频频。拆 分系统是目前我们可选择的解决系统可伸缩性和性能问题的唯一行之有效的方法。但是拆分系统同时也带来了系统的复杂性——各子系统不是孤立存在的，它们彼此 之间需要协作和交互，这就是我们常说的分布式系统。各个子系统就好比动物园里的动物，为了使各个子系统能正常为用户提供统一的服务，必须需要一种机制来进 行协调——这就是ZooKeeper——动物园管理员。

关于ZooKeeper更正式的介绍——ZooKeeper是一个为分布式应用程序提供高性能协调服务的工具集合。它可以应用在一些需要提供统一协调服务的case中，例如命名

利用Zookeeper技术 Mysql容灾切换

一、 ZooKeeper介绍

1. 简介

ZooKeeper 是一个为分布式应用所设计的分布的、开源的协调服务。分布式的应用可以建立在同步、配置管理、分组和命名等服务的更高级别的实现的基础之上。 ZooKeeper 意欲设计一个易于编程的环境，它的文件系统使用我们所熟悉的目录树结构。ZooKeeper使用Java所编写，但是支持Java和C两种编程语言。 2. ZooKeeper总体结构

3. ZooKeeper集群由一组Server节点组成，这一组Server节点中存在一个角色为

Leader的节点，其他节点都为Follower。当客户端Client连接到ZooKeeper集群，并且执行写请求时，这些请求会被发送到Leader节点上，然后Leader节点上数据变更会同步到集群中其他的Follower节点。

4. Leader节点在接收到数据变更请求后，首先将变更写入本地磁盘，以作恢复之用。当

所有的写请求持久化到磁盘以后，才会将变更应用到内存中。

5. ZooKeeper使用了一种自定义的原子消息协议，在消息层的这种原子特性，保证了整

个协调系统中的节点数据或状态的一致性。Follower基于这种消

基于ZooKeeper的分布式Session实现

1． 认识ZooKeeper

ZooKeeper—— “动物园管理员”。动物园里当然有好多的动物，游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物，而不是像走在原始丛林里，心惊胆颤的被动 物所观赏。为了让各种不同的动物呆在它们应该呆的地方，而不是相互串门，或是相互厮杀，就需要动物园管理员按照动物的各种习性加以分类和管理，这样我们才 能更加放心安全的观赏动物。回到我们企业级应用系统中，随着信息化水平的不断提高，我们的企业级系统变得越来越庞大臃肿，性能急剧下降，客户抱怨频频。拆 分系统是目前我们可选择的解决系统可伸缩性和性能问题的唯一行之有效的方法。但是拆分系统同时也带来了系统的复杂性——各子系统不是孤立存在的，它们彼此 之间需要协作和交互，这就是我们常说的分布式系统。各个子系统就好比动物园里的动物，为了使各个子系统能正常为用户提供统一的服务，必须需要一种机制来进 行协调——这就是ZooKeeper——动物园管理员。

关于ZooKeeper更正式的介绍——ZooKeeper是一个为分布式应用程序提供高性能协调服务的工具集合。它可以应用在一些需要提供统一协调服务的case中，例如命名

Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0安装

安装hadoop2.6+HA

?

1.准备一台CentOS6.4系统

?

2.环境CentOS6.4 共5台 机器名ip地址安装软件运行进程

master1 192.168.3.141 hadoop、Zookeeper、hbase NN、RM、DFSZKFC、journalNode、HMaster、QuorumPeerMain

master2 192.168.3.142 hadoop、Zookeeper、hbase NN、RM、DFSZKFC、journalNode、HRegionServer、QuorumPeerMain

slave1 192.168.3.143 hadoop、Zookeeper、hbase DN、NM、journalNode、HRegionServer、QuorumPeerMain

slave2 192.168.3.144 hadoop、Zookeeper、hbase DN、NM、journalNode、HRegionServer、QuorumPeerMain

slave3 192.168.3.145 hadoop、Zookeepe