Greenplum - Linux安装文档

安装Greenplum(1) 1

评估存储能力 实验环境

系统设置（所有节点） 课程目标 2

计算可用的空间

步骤1：初始存储能力=硬盘大小*硬盘数

步骤2：配置RAID10，格式化磁盘空间=(初始存储能力*0.9)/2 步骤3：可用磁盘空间=格式化磁盘空间*0.7 步骤4：用户数据使用空间 使用镜像：(2*用户数据)+用户数据/3=可用磁盘空间 不使用镜像：用户数据+用户数据/3=可用磁盘空间 计算用户数据大小

平均来说，实际占用磁盘空间大小=用户数据*1.4 页面开销：32KB页面需要20 bytes

行开销：每行24 bytes，'append-only'表需要4bytes 索引开销： B-tree:唯一值*(数据类型大小+24 bytes) Bitmap:(唯一值*行数*1bit*压缩比率/8)+(唯一值*32)

评估存储能力 3

为元数据和日志计算空间需求 系统元数据：20M

预写日志(WAL)：WAL被拆分成多个64M的文件，WAL文件数最多为

2*checkpoint_segments+1，checkpoint_segments默认值为8。也就意味着每个实例需要1088MB的WAL空间

GP数据库日志文件：日志轮转 性能监控数据 评估存储能力 4

硬件环境

VMware虚拟机软件8.0

三台Linux虚拟机：Red Hat Enterprise Linux Server release 5.2 数据库：greenplum-db-4.2.2.4-build-1-CE-RHEL5-i386 虚拟机配置

实验环境

节点 mdw Sdw2 Sdw3 IP 内存 硬盘 8G 8G 8G 192.168.4.108 400M 192.168. 4.110 400M 192.168. 4.111 400M

5

系统参数 共享内存 网络 用户限制

修改或添加/etc/sysctl.conf 三个节点全部都作如下设置： xfs_mount_options = rw,noatime,inode64,allocsize=16m kernel.shmmax = 500000000 kernel.shmmni = 4096

kernel.shmall = 4000000000

kernel.sem = 250 512000 100 2048 kernel.sysrq = 1

kernel.core_uses_pid = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.msgmni = 2048

net.ipv4.tcp_syncookies = 1 net.ipv4.ip_forward = 0

net.ipv4.conf.default.accept_source_route = 0 net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_max_syn_backlog = 4096 net.ipv4.conf.all.arp_filter = 1

net.ipv4.ip_local_port_range = 1025 65535 net.core.netdev_max_backlog = 10000 vm.overcommit_memory = 2

配置/etc/security/limits.conf文件 * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072

设置磁盘访问I/O调度策略

# echo deadline > /sys/block/sda/queue/scheduler

# echo deadline > /sys/block/fd0/queue/scheduler # echo deadline > /sys/block/hdc/queue/scheduler

[root@mdw ~]# cat /sys/block/sda/queue/scheduler noop anticipatory deadline [cfq]

[root@mdw ~]# echo deadline > /sys/block/sda/queue/scheduler [root@mdw ~]#

[root@mdw ~]# cat /sys/block/sda/queue/scheduler noop anticipatory [deadline] cfq

[root@sdw1 ~]# echo deadline > /sys/block/sda/queue/scheduler [root@sdw1 ~]# cat /sys/block/sda/queue/scheduler noop anticipatory [deadline] cfq [root@sdw1 ~]#

[root@sdw2 ~]# echo deadline > /sys/block/sda/queue/scheduler [root@sdw2 ~]# cat /sys/block/sda/queue/scheduler noop anticipatory [deadline] cfq [root@sdw2 ~]#

系统设置（所有节点） 3

设置预读块的值为16384 # /sbin/blockdev --getra /dev/sda # /sbin/blockdev --setra 16384 /dev/sda # /sbin/blockdev --setra 16384 /dev/sda1 # /sbin/blockdev --setra 16384 /dev/sda2 # /sbin/blockdev --setra 16384 /dev/sda3

[root@mdw ~]# blockdev --getra /dev/sda （所有节点都照此设置） 256

[root@mdw ~]# df -h

Filesystem Size Used Avail Use% Mounted on /dev/sda2 6.8G 2.1G 4.3G 33% /

/dev/sda1 289M 16M 259M 6% /boot tmpfs 197M 0 197M 0% /dev/shm [root@mdw ~]#

[root@mdw ~]# fdisk -l

Disk /dev/sda: 8589 MB, 8589934592 bytes 255 heads, 63 sectors/track, 1044 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System /dev/sda1 * 1 38 305203+ 83 Linux

/dev/sda2 39 943 7269412+ 83 Linux

/dev/sda3 944 1044 811282+ 82 Linux swap / Solaris [root@mdw ~]# blockdev --setra 16384 /dev/sda [root@mdw ~]# blockdev --setra 16384 /dev/sda1 [root@mdw ~]# blockdev --setra 16384 /dev/sda2 [root@mdw ~]# blockdev --setra 16384 /dev/sda3 [root@mdw ~]# [root@mdw ~]#

[root@mdw ~]# blockdev --getra /dev/sda 16384

[root@mdw ~]#

修改/etc/hosts，添加如下内容 192.168.4.108 mdw 192.l68.4.109 sdw1 192.168.4.110 sdw2

[root@mdw ~]# cat /etc/hosts

# Do not remove the following line, or various programs # that require network functionality will fail.

127.0.0.1 localhost.localdomain localhost mdw ::1 localhost6.localdomain6 localhost6

192.168.4.108 mdw 192.l68.4.109 sdw1 192.168.4.110 sdw2 192.168.4.111 sdw3

[root@mdw ~]# hostname mdw

[root@sdw1 ~]# cat /etc/hosts

# Do not remove the following line, or various programs # that require network functionality will fail.

127.0.0.1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6

192.168.4.108 mdw 192.l68.4.109 sdw1 192.168.4.110 sdw2

[root@sdw1 ~]# hostname sdw1

[root@sdw1 ~]# ping sdw2

PING sdw2 (192.168.4.110) 56(84) bytes of data.

64 bytes from sdw2 (192.168.4.110): icmp_seq=1 ttl=64 time=2.35 ms

[root@sdw2 ~]# cat /etc/hosts

# Do not remove the following line, or various programs # that require network functionality will fail.

127.0.0.1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6

192.168.4.108 mdw 192.l68.4.109 sdw1 192.168.4.110 sdw2

[root@sdw2 ~]# hostname sdw2

[root@sdw2 ~]# ping mdw

PING mdw (192.168.4.108) 56(84) bytes of data.

64 bytes from mdw (192.168.4.108): icmp_seq=1 ttl=64 time=0.910 ms 64 bytes from mdw (192.168.4.108): icmp_seq=2 ttl=64 time=0.257 ms 4

在Master节点上安装Greenplum软件

准备介质 下载地址：http://gopivotal.com/products/pivotal-greenplum-database

Redhat关闭SELinux和防火墙的办法

Redhat使用了SELinux来增强安全，关闭的办法为： 1. 永久有效

修改 /etc/selinux/config 文件中的 SELINUX=\为 disabled ，然后重启。 2. 即时生效 setenforce 0

关闭防火墙的方法为： 1. 永久性生效

开启：chkconfig iptables on 关闭：chkconfig iptables off 2. 即时生效，重启后失效 开启：service iptables start

本文来源：https://www.bwwdw.com/article/5vzf.html