linux集群搭建

Flume集群搭建 一：Flume简介

Flume是一个分布式的、高可用的海量日志收集、聚合和传输日志收集系统，支持在日志系统中定制各类数据发送方（如：Kafka，HDFS等），便于收集数据。

Flume提供了丰富的日志源收集类型，有：Console、RPC、Text、Tail、Syslog、Exec等数据源的收集。

Agent层：

对于Agent这一层来说，每个机器部署一个Agent，可以水平扩展，不受限制。一个方面，Agent收集日志的能力受限于机器的性能，正常情况下一个Agent可以为单机提供足够服务。另一方面，如果机器比较多，可能受限于后端Collector提供的服务，但Agent到Collector是有Load Balance机制，使得Collector可以线性扩展提高能力。

Collector层：

对于Collector这一层，Agent到Collector是有Load Balance机制，并且Collector提供无差别服务，所以可以线性扩展。其性能主要受限于Store层提供的能力。

Store层：

对于Store这一层来说，Hdfs和Kafka都是分布式系统，可以做到线性扩展。Bypass属于临时的应用，只对应于某一类日

Hadoop +HA高可靠集群+Hbase+Zookeeper 环境搭建手册

什么是HA见附件。

集群环境：

Ubuntu15.04 64位操作系统,通过VMWARE虚拟3个节点： master1：192.168.8.101 master2：192.168.8.102 slave1：192.168.8.201

由于只有3个节点,所以master1,master2为nodedate,master2为standby zookeeper，datanode，hbase三个节点都部署 机器名 ip地址 安装软件 运行的进程 master1 192.168.8.101 jdk,hadoop, NameNode,DataNode, hbase,zookeeper hbase Hmaster, hbase HRegionServer QuorumPeerMain,zkfc JournalNode, ResourceManager master2 192.168.8.102 jdk,hadoop, NameNode,DataNode, hbase,zookeeper hbase HRegionServer QuorumPeerMain,zkfc Journa

精通Spark集群搭建与测试

1. 安装 VMwareWorkstation 软件 推荐官方下载最新版，下载地址：

https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-1210-WIN&productId=524&rPId=9763

2. 运行VMwareWorkstation，新建4台虚拟机，并安装Ubuntu操作系统 Ubuntu下载地址:http://www.ubuntu.org.cn/download/alternative-downloads

需要配置虚拟机使之能够上网，在这里我们采用网络地址转换即NAT的方式，与宿主机共享IP上网：

按照下图指定Ubuntu的iso文件，然后点击?power on this virtual machine?,然后按照提示一步步走下去即可完成操作系统的安装。

注1：可以先装好一台机器，然后通过VMware的克隆功能生成另外两台。

注2：安装完系统后，为了能从宿主机与虚拟机互相COPY文件，也为了能使虚拟机全屏显示，推荐安装VMwareTools.方法如下：

a. tar -xzvf VMwareTools-9.6.0-1294

Linux集群配置文档（中文配置文档）

RHCS+Oracle配置实战图解（1）

在RHCS中，最难理解的是Fence机制，下面的配置过程将首先以\手动Fence\为例进行讲解，以更深入地描述Fence在集群运行过程中的运行步骤及作用，最后再换成真实的Fence设备。需要注意的是，虽然通过\手动Fence\可以完整地配置RHCS，但在生产环境中不推荐这样做，因为一旦出现硬件级故障的话，\手动Fence\需要管理员通过人工干预方式进行系统切换。

1. 安装红帽集群套件RHCS 安装RHCS主要有以下3个途径：

通过RHEL5 AP高级平台版介质进行安装，并在安装过程中输入通过rhn.redhat.com网站激活后得到的Install Number，选中相应的\集群)\组件。

通过RHCSS(Red Hat Cluster Solution Suite，红帽集群解决方案套件)的安装光盘进行安装，RHCSS的好处是已经附带了多种流行数据库的支持接口，并可以提供磁盘镜像(Mirro)及企业系统备份功能。

注意：

购买RHCSS订阅时就已经包括了上门安装服务，会有专人为客户进行生产环境下的安装配置。

通过RHEL5 AP高级平台版介质进行手动安装，将

Linux下搭建lamp环境

武齐广 具体步骤

你首先把安装包传到Linux里

tar zxvf mysql-5.0.45.tar.gz ls

cd mysql-5.0.45 ls

vi INSTALL-SOURCE 打开安装说明 里面有详细的安装说明

useradd mysql

passwd mysql mysql mysql

cd mysql-5.0.45

./configure --prefix=/opt/mysql5 这一步是配置 配置完毕你可以看到 thank you for choosing MySQL! make

make install

cp support-files/my-medium.cnf /etc/my.cnf

cd /opt/mysql5/ ll

chown -r mysql:mysql . 注意后面有一个点

bin/mysql_install_db --user=mysql 初始化数据库

chown -R root . 注意后面有一个点

chown -R mysql

龙源期刊网 http://www.qikan.com.cn

AlteraCycloneV的Linux系统的搭建

作者：徐波

来源：《科技资讯》2014年第34期

摘 要：Altera Cyclone V SoC FPGA 在一个基于ARM的用户可定制芯片系统（SoC），集成了分立处理器（HPS）、FPGA和数字信号处理（DSP）功能。本文主要介绍Altera Cyclone V SoC FPGA的Embedded Linux System搭建，集FPGA和ARM两大优势于一体，让系统设计更加先进、灵活。

关键字：FPGA ARM SoC Linux

中图分类号：G64 文献标识码：A 文章编号：1672-3791（2014）12（a）-0015-01 1 Linux系统搭建

Altera Cyclone V SoC FPGA的Embedded Linux System搭建是一个十分复杂的过程，包含如下几个部分。

1.1 Linux系统搭建工具

（1）Quartus II，创建、编辑和编译FPGA硬件设计。

（2）So

Linux SFTP环境的搭建测试

在某些环境中，系统管理员想要允许极少数用户在可以传输文件到Linux机器中，但是不允许使用 SSH。要实现这一目的，我们可以使用SFTP，并为其构建chroot环境。 SFTP & chroot背景：

SFTP是指SSH文件传输协议（SSH File Transfer protocol）或安全文件传输协议（Secure File Transfer Protocol），它提供了可信数据流下的文件访问、文件传输以及文件管理功能。当我们为SFTP配置chroot环境后，只有被许可的用户可以访问，并被限制到他们的家目录中，换言之：被许可的用户将处于牢笼环境中，在此环境中它们甚至不能切换它们的目录。 在本文中，我们将配置RHEL 6.X 和 CentOS 6.X中的SFTP Chroot环境。我们开启一个用户帐号‘Jack’，该用户将被允许在Linux机器上传输文件，但没有ssh访问权限。 步骤：1 创建组

[root@localhost ~]# groupadd sftp_users

步骤：2 分配附属组(sftp_users)给用户

如果用户在系统上不存在，使用以下命令创建（ LCTT 译注：这里给用户指定了一个

启动、重启、关闭FTP服务器(root用户)：service vsftpd start/restart/stop

开机自动启动ftp服务器：

1. chkconfig vsftpd on

2. 把service vsftpd start加入/etc/rc.local即可

配置文件：vi /etc/vsftpd/vsftpd.conf

最基本的相关设置

? ? ? ? ? ? ? ? ? ? ?

listen=yes --打开ftp服务，开启匿名服务（只允许匿名用户列表ftp根目录，可以下载；根ftp目录在:/var/ftp/）

pam_service_name=vsftpd --太恶心了。即使你不用seliunx，也得加上这句话，这让vsftpd的身份认证方式！！！

listen_port=21 --监听ftp端口

listen_address=x.x.x.x --监听某个ip或地址

idle_session_timeout=600 --空闲会话断开前的经过的秒数

connect_timeout=60 --网络连接超时秒数

accept_timeout=60 --用户连接到服务器后排队等候超时

max_client

Linux环境下ClearCase搭建手册 1 安装Linux操作系统及系统优化

1.1 安装操作系统

Clearcase 默认安装到/opt 和 /var，因此安装时要考虑为这两个系统目录建立分区

1.2 操作系统调优（可选）

? 使系统在模式3下运行。

vi /etc/inittab

3 - Full multiuser mode id:3:initdefault:

close tty3-6 关闭后四个终端 3:2345:respawn:/sbin/mingetty tty3 4:2345:respawn:/sbin/mingetty tty4 5:2345:respawn:/sbin/mingetty tty5 6:2345:respawn:/sbin/mingetty tty6

? 升级成ReiserFS文件系统（根据情况可选）

我们使用ReiserFS主要为了管理vob中的小文件，增加访问速度。

ReiserFS是一个非常优秀的文件系统。也是最早用于Linux的日志文件系统之一。 ReiserFS的开发者非常有魄力，整个文件系统完全是从头设计的。目前，ReiserFS可轻松管理上百G的文件系统，这在企业级应用中非常重要

目 录

摘 要 ......................................................................................................... 2

致 谢 ......................................................................................................... 4

第一章 前 言 ........................................................................................ 5

1.1 背景 ................................................................................................................................... 5

1.2 具体需求 ....................................................