Codis搭建与使用 - 图文
更新时间:2024-05-01 16:23:01 阅读量: 综合文库 文档下载
- redis codis推荐度:
- 相关推荐
Codis 高可用负载均衡群集的搭建与使用
声明
此篇文章,涉及到东西比较多,文章比较长,适合耐心的童鞋们阅读,生产环境部署可参考此篇文章。
Codis 并不太适合 key 少,但是 value 特别大的应用, 而且你的 key 越少, value 越大,最后就会退化成单个 redis 的模型 (性能还不如 raw redis),所以 Codis 更适合海量 Key, value比较小 (<= 1 MB) 的应用。 codis-proxy 提供连接集群redis服务的入口
codis-redis-group 实现redis读写的水平扩展,高性能
codis-redis 实现redis实例服务,通过codis-ha实现服务的高可用
实验环境
网络拓扑图
群集架构图
机器与应用列表
System version: CentOS 6.5
IP: 192.168.43.130 hostname: vmware-130
apps: keepalived+haproxyMaster,zookeeper_1,codis_proxy_1, codis_config, codis_server_master,slave
IP: 192.168.43.131 hostname: vmware-131
apps: zookeeper_2, codis_proxy_2, codis_server_master,slave
IP: 192.168.43.132 hostname: vmware-132 apps: keepalived
+
haproxy
Backup,
zookeeper_3,
codis_proxy_3, codis_server_master,slave
VIP: 192.168.43.100 Port: 45001
备注:由于是虚拟测试环境,非生产环境,所以一台机器跑多个应用,如应用于生产环境,只需把应用分开部署到相应机器上即可。
一、初始化CentOS系统
1. 使用镜像站点配置好的yum安装源配置文件
cd /etc/yum.repos.d/
/bin/mv CentOS-Base.repo CentOS-Base.repo.bak wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
接下来执行如下命令,检测yum是否正常 yum clean all #清空yum缓存 yum makecache #建立yum缓存
然后使用如下命令将系统更新到最新
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY* #导入签名KEY到RPM yum upgrade -y
#更新系统内核到最新
2. 关闭不必要的服务
for sun in `chkconfig --list|grep 3:on|awk '{print $1}'`;do chkconfig --level 3 $sun off;done for sun in `chkconfig --list|grep 5:on|awk '{print $1}'`;do chkconfig --level 5 $sun off;done for sun in crond rsyslog sshd network;do chkconfig --level 3 $sun on;done for sun in crond rsyslog sshd network;do chkconfig --level 5 $sun on;done
3. 安装依赖包
yum install -y gcc make g++ gcc-c++ automake lrzsz openssl-devel zlib-* bzip2-* readline* zlib-* bzip2-*
4. 创建软件存放目录
mkdir /data/packages
5. 软件包版本以及下载地址:
jdk1.8.0_45 zookeeper-3.4.6 go1.4.2 pcre-8.37 haproxy-1.4.22 keepalived-1.4.26
cd /data/packages
wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz wget http://golangtc.com/static/go/go1.4.2.linux-amd64.tar.gz
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.37.tar.gz wget http://www.keepalived.org/software/keepalived-1.2.16.tar.gz
通过浏览器自行下载:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html http://www.haproxy.org/download/1.4/src/haproxy-1.4.26.tar.gz 6. 重启系统
[root@vmware-130 ~]# init 6
二、部署Zookeeper群集
1.配置hosts文件 ( zookeeper节点机器上配置 )
[root@vmware-130 ~]# vim /etc/hosts 192.168.43.130 vmware-130 192.168.43.131 vmware-131 192.168.43.132 vmware-132
2.安装java 坏境 ( zookeeper节点机器上配置 )
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 packages ]# tar zxvf jdk-8u45-linux-x64.tar.gz -C /usr/local [root@vmware-130 packages ]# cd /usr/local
[root@vmware-130 local ]# ln -s jdk1.8.0_45 java
3. 安装Zookeeper ( zookeeper节点机器上配置 )
cd /data/packages
tar zxvf zookeeper-3.4.6.tar.gz -C /usr/local ln -s zookeeper-3.4.6 zookeeper cd /usr/local/zookeeper/
4.设置环境变量 ( zookeeper节点机器上配置 )
vim /etc/profile
JAVA_HOME=/usr/local/java JRE_HOME=$JAVA_HOME/jre
ZOOKEEPER_HOME=/usr/local/zookeeper JAVA_FONTS=/usr/local/java/jre/lib/fonts CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME
#生效环境变量 source /etc/profile
5. 修改zookeeper配置文件 ( zookeeper节点机器上配置 )
vi /usr/local/zookeeper/conf/zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 clientPort=2181
autopurge.snapRetainCount=500 autopurge.purgeInterval=24 dataDir=/data/zookeeper/data dataLogDir=/data/zookeeper/logs
server.1=192.168.43.130:2888:3888 server.2=192.168.43.131:2888:3888 server.3=192.168.43.132:2888:3888
#创建数据目录和日志目录 ( zookeeper节点机器上配置 ) mkdir -p /data/zookeeper/data mkdir -p /data/zookeeper/logs
6. 在zookeeper节点机器上创建myid文件,节点对应id
在43.130机器上创建myid,并设置为1与配置文件zoo.cfg里面server.1对应。 echo \
在43.131机器上创建myid,并设置为1与配置文件zoo.cfg里面server.2对应。 echo \
在43.132机器上创建myid,并设置为1与配置文件zoo.cfg里面server.3对应。 echo \
7. 启动zookeeper服务, 以vmware-130为例:
[root@vmware-130 ~]# zkServer.sh start JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Starting zookeeper ... STARTED
8.检查zookeeper所有节点状态
[root@vmware-130 ~]# zkServer.sh status JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Mode: follower
[root@vmware-131 ~]# zkServer.sh status JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Mode: follower
[root@vmware-132 ~]# zkServer.sh status JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Mode: leader
三、部署Codis群集
1. 安装 go 语言环境 ( 所有codis机器上配置 )
/data/packages
tar zxvf go1.4.2.linux-amd64.tar.gz -C /usr/local
2. 添加GO环境变量,其他环境变量不变。
vim /etc/profile GOROOT=/usr/local/go GOPATH=/usr/local/codis
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$GOROOT/bin export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME GOROOT GOPATH
source /etc/profile
3. 安装codis ( 所有codis机器上配置 )
yum install -y git
go get github.com/wandoulabs/codis cd $GOPATH/src/github.com/wandoulabs/codis
#执行编译测试脚本,编译go和reids。 ./bootstrap.sh make gotest
# 将编译好后,把bin目录和一些脚本复制过去/usr/local/codis目录下:
mkdir -p /usr/local/codis/{logs,conf,scripts} #创建codis日志,配置文件,脚本目录
mkdir -p /data/codis_server/{logs,conf,data} #创建codis_server 日志,配置文件,数据目录
cp -rf bin /usr/local/codis/ #复制bin目录到自定义的安装目录
cp sample/config.ini /usr/local/codis/conf/ #复制模板配置文件到安装目录
cp sample/redis_conf/6381.conf /data/codis_server/conf/ #复制codis_server配置文件到配置目录
cp -rf /usr/local/codis/src/github.com/wandoulabs/codis/sample/usage.md /usr/local/codis/scripts/ #复制模板启动流程文件到脚本目录下
4. 配置codis_proxy_1 ( vmware-130 机器上配置)
cd /usr/local/codis vim config.ini
zk=vmware-130:2181,vmware-131:2181,vmware-132:2181
product=codis proxy_id=codis_proxy_1 net_timeout=5
dashboard_addr=192.168.43.130:18087 coordinator=zookeeper
配置codis_proxy_1 ( vmware-131 机器上配置) cd /usr/local/codis vim config.ini
zk=vmware-130:2181,vmware-131:2181,vmware-132:2181
product=codis proxy_id=codis_proxy_2 net_timeout=5
dashboard_addr=192.168.43.130:18087 coordinator=zookeeper
配置codis_proxy_1 ( vmware-132 机器上配置) cd /usr/local/codis vim config.ini
zk=vmware-130:2181,vmware-131:2181,vmware-132:2181
product=codis proxy_id=codis_proxy_3 net_timeout=5
dashboard_addr=192.168.43.130:18087 coordinator=zookeeper
5. 修改配置文件,启动codis-servercodis-server机器上 )
cd /data/codis_server/conf/ mv 6381.conf 6379.conf vim 6379.conf
修改如下参数: (生产环境,参数适当进行调整) daemonize yes
pidfile /var/run/redis_6379.pid port 6379
logfile \save 900 1 save 300 10 save 60 10000 dbfilename 6379.rdb
服务. ( 所有 dir /data/codis_server/data
复制6380配置文件 cp 6379.conf 6380.conf
sed -i 's/6379/6380/g' 6380.conf
添加内核参数
echo \/etc/sysctl.conf sysctl -p
启动codis-server服务 ( 所有codis-server机器上 )
/usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf /usr/local/codis/bin/codis-server /data/codis_server/conf/6380.conf
6. 查看一下启动流程:( 以vmware-130机器为例 )
[root@vmware-130 ~]# cat /usr/local/codis/scripts/usage.md 0. start zookeeper //启动zookeeper服务 1. change config items in config.ini //修改codis配置文件 2. ./start_dashboard.sh //启动 dashboard 3. ./start_redis.sh //启动redis实例
4. ./add_group.sh //添加redis组,一个redis组只能有一个master 5. ./initslot.sh //初始化槽 6. ./start_proxy.sh //启动codis_proxy 7. ./set_proxy_online.sh //上线proxy项目
8. open browser to http://localhost:18087/admin //访问管理界面
这只是一个参考,有些顺序不是必须的,但启动dashboard前,必须启动zookeeper服务,这是必须的,后面有很多操作,都可以在管理页面完成,例如添加/删除组、数据分片、添
加/删除redis实例等
7. 创建dashboard启动脚本。可参考
/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 只需在一台机器上启动即可。43.130上启动 )
[root@vmware-130 ~]# vim /usr/local/codis/scripts/start_dashboard.sh #!/bin/sh
CODIS_HOME=/usr/local/codis
nohup $CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/dashboard.log dashboard --addr=:18087 --http-log=$CODIS_HOME/logs/requests.log &>/dev/null &
启动dashboard
[root@vmware-130 ~]# cd /usr/local/codis/scripts/ [root@vmware-130 scripts ]# sh start_dashboard.sh
8. 创建初始化槽脚本,可参考
/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 在任一台机器上机器上配置,此环境在43.130机器上配置 )
[root@vmware-130 ~]# vim /usr/local/codis/scripts/initslot.sh #!/bin/sh
CODIS_HOME=/usr/local/codis echo \
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini slot init -f echo \
执行初始化槽脚本:
[root@vmware-130 ~]# cd /usr/local/codis/scripts [root@vmware-130 scripts ]# sh initslot.sh
9. 配置codis-server,启动codis-server master , slave 实例 ,以上步骤已经启动,不在描述。
10. 通过管理页面添加组ID,为组添加主从实例,一个组里只能有一个master,设置slot分片数据等。
http://192.168.43.130:18087(最好用Firefox浏览器或者谷歌浏览器,别的浏览器比较坑爹!!!) 如下图所示:
接下来,依次添加 Server Group 1,2,3 ( 共添加3组 )
添加好后,图为下:
接下来添加codis-server实例包括master ,slave
全部添加完成后,如下图所示:
为组分配Slot(槽)范围 group_1 0 - 511 group_2 512 - 1023
group_3 暂时不分配,以下测试中,用来迁移其他组使用。
如下图操作所示:group_1 ( 0 - 511 )
添加成功后,页面会显示success窗口,如下图所示。
如下图操作所示:group_2 ( 512 - 1023 )
添加成功后,页面会显示success窗口,如下图所示。
查看整个Slots分布情况: 选择 Slots Status 或者 右上角那个 Slots 都可以看到分布情况。
11. 配置codis-ha服务,主从自动切换。( 随便找个节点机器上配置即可,此环境中在43.131机器上配置 )
[root@vmware-131 ~]# go get github.com/ngaut/codis-ha [root@vmware-131 ~]# cd /usr/local/codis/src/github.com/ngaut
[root@vmware-131 ~]# cp -r codis-ha /usr/local/ [root@vmware-131 ~]# cd /usr/local/codis-ha [root@vmware-131 codis-ha ]# go build
创建启动脚本,启动codis-ha服务
[root@vmware-131 ~]# vim /usr/local/codis-ha/start_codis_ha.sh #!/bin/sh
./codis-ha --codis-config=192.168.43.130:18087 -log-level=\--productName=vmware-Codis &> ./logs/codis-ha.log &
创建日志目录
[root@vmware-131 ~]# mkdir /usr/local/codis-ha/logs [root@vmware-131 ~]# cd /usr/local/codis-ha/ [root@vmware-131 codis-ha ]# sh start_codis_ha.sh
12. 修改start_proxy.sh,启动codis-proxy服务 ( 以130机器配置为例,其余codis-proxy只需修改下名称即可。)
[root@vmware-130 scripts]# vim /usr/local/codis/scripts/start_proxy.sh #!/bin/sh
CODIS_HOME=/usr/local/codis
echo \down codis_proxy_1...\
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy offline codis_proxy_1 echo \
echo \new codis_proxy_1...\
nohup $CODIS_HOME/bin/codis-proxy --log-level error -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/codis_proxy_1.log --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 & echo \echo \3s\
sleep 3
tail -n 30 $CODIS_HOME/logs/codis_proxy_1.log
[root@vmware-130 scripts]# vim /usr/local/codis/scripts/set_proxy_online.sh #!/bin/sh
CODIS_HOME=/usr/local/codis echo \codis_proxy_1 online\
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy online codis_proxy_1 echo \
启动codis-proxy ./start_proxy.sh
上线codis_proxy_1 ./set_proxy_online.sh
备注:其他codis_proxy只需修改start_proxy.sh和set_proxy_online.sh启动脚本里面的codis_proxy_1名称即可。
13. 通过redis-cli客户端直接访问codis-proxy,写入数据,看组里面的master和slave 是否同步。
[root@vmware-130 scripts]# redis-cli -p 19000 127.0.0.1:19000> set mike liweizhong OK
127.0.0.1:19000> set benet lwz OK
127.0.0.1:19000> exit [root@vmware-130 scripts]# 通过管理界面看到如下图所示:
codis-server master,slave 同步数据正常,slots槽分片数据正常。
接下来在通过codis-proxy去取数据看看。
[root@vmware-130 scripts]# redis-cli -p 19000 127.0.0.1:19000> get mike \
127.0.0.1:19000> get benet \
127.0.0.1:19000> exit [root@vmware-130 scripts]#
以下用shell简单的写了个插入redis数据脚本,此脚本会插入20W个key,每运行一次,需要调整INSTANCE_NAME参数里面的数字,才可重新插入新数据。仅供测试使用: [root@vmware-132 scripts]# cat redis-key.sh #!/bin/bash
REDISCLI=\-h 192.168.43.131 -p 19000 -n 0 SET\ID=1
while [ $ID -le 50000 ] do
INSTANCE_NAME=\
UUID=`cat /proc/sys/kernel/random/uuid` CREATED=`date \%H:%M:%S\
$REDISCLI vm_instance:$ID:instance_name \ $REDISCLI vm_instance:$ID:uuid \ $REDISCLI vm_instance:$ID:created \ $REDISCLI vm_instance:$INSTANCE_NAME:id \ ID=`expr $ID + 1` done 执行插入脚本
[root@vmware-132 scripts]# sh redis-key.sh 通过管理界面,我们可以看到如下图所示:
数据插完后,最终如下图所示:
四、部署Keepalived + haproxy 高可用负载均衡
安装haproxy、keepalived (43.130、43.132 机器上操作)
1.查看系统内核是否支持 tproxy [root@vmware-130 /boot/config-`uname -r`
CONFIG_NETFILTER_TPROXY=m
CONFIG_NETFILTER_XT_TARGET_TPROXY=m 内核为2.6.32-220.el6.x86_64,支持TPROXY; 2.源码安装pcre-8.01
[root@vmware-130 ~]# rpm -qa|grep pcre pcre-7.8-6.el6.x86_64 pcre-devel-7.8-6.el6.x86_64
系统已经rpm形式安装了pcre,但安装haproxy时,提示找不到pcre的库文件,看了haproxy的Makefile文件,指定pcre的为/usr/local下,故再源码安装一个pcre-8.01,如下(如果不重新安装,可以改makefile文件或把库文件软链到makefile文件指定的路径)
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 ~]# tar -zxf pcre-8.37.tar.gz && cd pcre-8.37 [root@vmware-130 pcre-8.36 ]# ./configure --disable-shared --with-pic [root@vmware-130 pcre-8.36 ]# make && make install
~]# grep TPROXY
3.安装 haproxy-1.4.22
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 ~]# tar xf haproxy-1.4.26.tar.gz [root@vmware-130 ~]# cd haproxy-1.4.26
[root@vmware-130 haproxy-1.4.26 ]# make TARGET=linux26 CPU=x86_64 USE_STATIC_PCRE=1 USE_LINUX_TPROXY=1
[root@vmware-130 haproxy-1.4.26 ]# make install target=linux26 [root@vmware-130 haproxy-1.4.26 ]# mkdir -p /usr/local/haproxy/sbin [root@vmware-130 haproxy-1.4.26 ]# mkdir -p /data/haproxy/{conf,run,logs} [root@vmware-130 haproxy-1.4.26 ]# ln -s /usr/local/sbin/haproxy /usr/local/haproxy/sbin
4. 创建haproxy启动脚本
[root@vmware-130 ~]# vim /etc/init.d/haproxy #!/bin/sh # haproxy
# chkconfig: 35 85 15
# description: HAProxy is a free, very fast and reliable solution # offering high availability, load balancing, and \\ # proxying for TCP and HTTP-based applications # processname: haproxy
# config: /data/haproxy/conf/haproxy.cfg # pidfile: /data/haproxy/run/haproxy.pid
# Source function library. . /etc/rc.d/init.d/functions
# Source networking configuration. . /etc/sysconfig/network
# Check that networking is up. [ \= \] && exit 0
\\ config=\exec=\prog=$(basename $exec)
[ -e /etc/sysconfig/$prog ] && . /etc/sysconfig/$prog
lockfile=/var/lock/subsys/haproxy
check() {
$exec -c -V -f $config }
start() {
$exec -c -q -f $config if [ $? -ne 0 ]; then
echo \in configuration file, check with $prog eck.\
return 1 fi
echo -n $\$prog: \
# start it up here, usually something like \$exec\ daemon $exec -D -f $config -p /data/haproxy/run/$prog.pid retval=$? echo
[ $retval -eq 0 ] && touch $lockfile return $retval }
stop() {
echo -n $\$prog: \
# stop it here, often \$prog\ killproc $prog
ch retval=$? echo
[ $retval -eq 0 ] && rm -f $lockfile return $retval }
restart() {
$exec -c -q -f $config if [ $? -ne 0 ]; then
echo \in configuration file, check with eck.\
return 1 fi stop start }
reload() {
$exec -c -q -f $config if [ $? -ne 0 ]; then
echo \in configuration file, check with eck.\
return 1 fi
echo -n $\$prog: \
$exec -D -f $config -p /data/haproxy/run/$prog.pid -sf ata/haproxy/run/$prog.pid) retval=$? echo
return $retval }
force_reload() {
$prog ch$prog ch$(cat /d restart }
fdr_status() { status $prog }
case \in
start|stop|restart|reload) $1 ;; force-reload) force_reload ;; checkconfig) check ;; status)
fdr_status ;;
condrestart|try-restart)
[ ! -f $lockfile ] || restart ;; *)
echo $\$0 {start|stop|status|checkconfig|restart|try-restart|reload|force-reload}\ exit 2 esac
备注:此脚本stop的时候有问题,有待解决。
#添加haproxy服务
[root@vmware-130 ~]# echo \
[root@vmware-130 ~]# sysctl -p
[root@vmware-130 ~]# chmod 755 /etc/init.d/haproxy [root@vmware-130 ~]# chkconfig --add haproxy [root@vmware-130 ~]# chkconfig haproxy on
5.安装keepalived
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 ~]# tar zxvf keepalived-1.2.16.tar.gz [root@vmware-130 ~]# cd keepalived-1.2.16
[root@vmware-130 keepalived-1.2.16 ]# ./configure
--with-kernel-dir=/usr/src/kernels/2.6.32-504.16.2.el6.x86_64/
\\\\若/usr/src/kernels/目录下为空,那么安装kernel-headers和kernel-devel包 yum install -y kernel-header kernel-devel
[root@vmware-130 keepalived-1.2.16 ]# make && make install
6.配置keepalived,添加keepalived 服务
[root@vmware-130 ~]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ [root@vmware-130 ~]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/ [root@vmware-130 ~]# mkdir -p /data/keepalived/{conf,scripts} [root@vmware-130 ~]# cp /usr/local/sbin/keepalived /usr/sbin/ [root@vmware-130 ~]# chkconfig --add keepalived [root@vmware-130 ~]# chkconfig keepalived on
7. 配置haproxy.cfg配置文件( 43.130, 43.132 配置,haproxy.cfg配置文件完全一样 )
[root@vmware-130 ~]# vim /usr/local/haproxy/conf/haproxy.cfg ########### 全局配置 ######### global
log 127.0.0.1 local0 err chroot /usr/local/haproxy
daemon nbproc 1 group nobody user nobody
pidfile /usr/local/haproxy/run/haproxy.pid ulimit-n 65536 #spread-checks 5m #stats timeout 5m #stats maxconn 100
######## 默认配置 ############ defaults
mode tcp #默认的模式mode { tcp|http|health },tcp是4层,http是7层,health只会返回OK
retries 3 #两次连接失败就认为是服务器不可用,也可以通过后面设置
option redispatch #当serverId对应的服务器挂掉后,强制定向到其他健康的服务器
option abortonclose #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
maxconn 32000 #默认的最大连接数 timeout connect 5000ms #连接超时 timeout client 30000ms #客户端超时 timeout server 30000ms #服务器超时 #timeout check 2000 #心跳检测超时
log 127.0.0.1 local3 err #[err warning info debug]
######## proxy 配置################# listen proxy_status bind 0.0.0.0:45001 mode tcp
balance roundrobin
server codis_proxy_1 192.168.43.130:19000 weight 1 maxconn 10000 check inter 10s
server codis_proxy_2 192.168.43.131:19000 weight 1 maxconn 10000 check inter 10s
server codis_proxy_3 192.168.43.132:19000 weight 1 maxconn 10000 check inter 10s
######## 统计页面配置 ######## listen admin_stats
bind 0.0.0.0:8099 #监听端口
mode http #http的7层模式 option httplog #采用http日志格式 #log 127.0.0.1 local0 err maxconn 10
stats refresh 30s #统计页面自动刷新时间 stats uri /stats #统计页面url
stats realm XingCloud\\ Haproxy #统计页面密码框上提示文本 stats auth admin:admin #统计页面用户名和密码设置
stats hide-version #隐藏统计页面上HAProxy的版本信息 stats admin if TRUE
8. 配置keepalived.conf配置文件 ( 43.130 上配置,43.132备用配置主要修改参数已经标注 )
[root@vmware-130 ~]# vim /data/keepalived/conf/keepalived.conf ! Configuration File for keepalived
global_defs {
notification_email { lwz_benet@163.com }
notification_email_from lwz_benet@163.com
smtp_connect_timeout 30 smtp_server 127.0.0.1 router_id HAProxy_DEVEL }
vrrp_script chk_haproxy {
script \-0 haproxy\ interval 2 }
vrrp_instance HAProxy_HA { state BACKUP interface eth0 virtual_router_id 80 priority 100 #备用为90 advert_int 2
nopreempt #设置不强占,防止业务来回切换。
authentication { auth_type PASS
auth_pass KJj23576hYgu23IP }
track_interface { eth0 }
virtual_ipaddress { 192.168.43.100 }
track_script { chk_haproxy }
#状态通知
notify_master \master\ notify_backup \backup\ notify_fault \fault\ }
\\\\拷贝主上面的keepalived.conf到从上,只需修改priority值参数即可。
创建/data/keepalived/scripts/mail_notify.py邮件通知程序: 详细请访问:http://liweizhong.blog.51cto.com/1383716/1639917 \\\\最后修改下通知信息为英文,中文内容可能会投递失败。
# 配置haproxy日志
[root@vmware-130 ~]# vim /etc/rsyslog.d/haproxy.conf $ModLoad imudp $UDPServerRun 514
local3.* /data/haproxy/logs/haproxy.log local0.* /data/haproxy/logs/haproxy.log
[root@vmware-130 ~]# vim /etc/sysconfig/rsyslog SYSLOGD_OPTIONS=\
[root@vmware-130 ~]# service rsyslog restart
9. 启动haproxy、keepalived服务。(先启动两个haproxy服务,然后在依次启动master、backup上的keepalived服务)
[root@vmware-130 ~]# service haproxy start ( 先启动 haproxy 服务 )
[root@vmware-130 ~]# service keepalived start
10. 测试redis-cli客户端访问
[root@vmware-130 ~]# redis-cli -h 192.168.43.130 -p 45001
备注:redis-cli 命令,codis里面是没有的,我是安装redis服务的,只是用codis而已。
到这里,整个架构已经全部部署完成啦!!!
五、Codis 群集架构故障测试
备注:由于本环境在本地虚拟机上部署,占不涉及到性能测试。codis性能测试可使用redis-benchmark工具
1.停止任意zookeeper节点,检查codis-proxy,dashboard是否正常.
[root@vmware-132 scripts]# zkServer.sh status JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader \\\\目前此节点提供服务
[root@vmware-132 scripts]# zkServer.sh stop \\\\停止此服务,模拟leader挂掉。
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Stopping zookeeper ... STOPPED
检查zookeeper其他节点是否重新选取 leader。 [root@vmware-131 ~]# zkServer.sh status JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader \\\\可以看到,vmware-131已经选举为leader.
[root@vmware-130 ~]# zkServer.sh status JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Mode: follower
redis客户端是否能正常访问到codis-proxy。
[root@vmware-130 logs]# redis-cli -h 192.168.43.100 -p 45001 192.168.43.100:45001> get mike \
192.168.43.100:45001> get benet \
192.168.43.100:45001> get id \
192.168.43.100:45001> exit [root@vmware-130 logs]#
dashboard管理界面是否正常。
打开浏览器,访问 http://192.168.43.130:18087/admin/
2.停止group master,检查group slave是否自动切换主
接下来,我们开始来模拟vmware-130机器上的codis-server master 6379端口挂掉
停止codis-master后,检查codis-ha日志输出如下信息:
打开管理界面,查看到如下信息:
客户端写入新数据,切换后的主是否有新key增加。
[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001 192.168.43.100:45001> set abc 123 OK
192.168.43.100:45001> set def 456 OK
192.168.43.100:45001> get abc \
192.168.43.100:45001> get def \
192.168.43.100:45001> exit 打开管理界面,查看到keys增加两个。
接下来我们恢复vmware-130 codis-server 6379
[root@vmware-130 ~]# /usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf
[root@vmware-130 ~]# ps -ef |grep codis-server
root 2121 1 0 Apr30 ? 00:02:15 /usr/local/codis/bin/codis-server *:6380 root 7470 1 21 16:58 ? 00:00:00 /usr/local/codis/bin/codis-server *:6379
root 7476 1662 0 16:58 pts/0 00:00:00 grep codis-server
这时,我们在管理界面看到如下情况:
备注:当master挂掉时候,redis-ha检测到自动将slave切换为master,但是master恢复后,仍为offline,需要将其删除在添加,就可以成为slave.
按备注那样,我们需要将原来的master 6379先删除,然后再次添加。操作完成后,如下图所示:
3.通过dashboard管理界面添加codis-server组,在线迁移、扩展等。
添加新组,添加master,slave . \\\\此步省略,之前已经添加好group_3
通过Migrate Slot(s)选项,我们来迁移group_1组到group_3组: 为了模拟迁移是否会影响到业务,我在一台机器开启插入数据脚本,
[root@vmware-132 scripts]# sh redis-key.sh \\\\脚本里面连接codis群集请修改为虚拟IP.
现在又客户端在实时插入数据,接下来通过管理界面操作步骤如下:
目前客户端在不断插入新数据,后端我们又在迁移组数据,那么我们现在在来get数据看看是否正常。
[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001 192.168.43.100:45001> get abc \
192.168.43.100:45001> get benet \
192.168.43.100:45001> get mike \
192.168.43.100:45001> get id \
192.168.43.100:45001> exit
可以看到后端在迁移数据,对业务访问不受影响。这点非常赞。
迁移完成后,如下图所示:
正在阅读:
Codis搭建与使用 - 图文05-01
生产技术部2008年上半年工作总结暨下半年工作计划07-29
妇产科制度01-24
大学生信用卡问题及原因分析07-05
2003—2004学年《管理学》第二学期期末试卷及参考答案(选修课)03-02
2013人教版语文一年级上册总复习试题09-06
红拂夜奔经典读后感10篇12-12
201X版八年级物理上册 5.3直线运动教案 (新版)苏科版04-28
中国人民解放军各集团军编制战斗序列大全05-02
- 多层物业服务方案
- (审判实务)习惯法与少数民族地区民间纠纷解决问题(孙 潋)
- 人教版新课标六年级下册语文全册教案
- 词语打卡
- photoshop实习报告
- 钢结构设计原理综合测试2
- 2014年期末练习题
- 高中数学中的逆向思维解题方法探讨
- 名师原创 全国通用2014-2015学年高二寒假作业 政治(一)Word版
- 北航《建筑结构检测鉴定与加固》在线作业三
- XX县卫生监督所工程建设项目可行性研究报告
- 小学四年级观察作文经典评语
- 浅谈110KV变电站电气一次设计-程泉焱(1)
- 安全员考试题库
- 国家电网公司变电运维管理规定(试行)
- 义务教育课程标准稿征求意见提纲
- 教学秘书面试技巧
- 钢结构工程施工组织设计
- 水利工程概论论文
- 09届九年级数学第四次模拟试卷
- 搭建
- 图文
- 使用
- Codis