spark集群环境搭建过程

精通Spark集群搭建与测试

1. 安装 VMwareWorkstation 软件 推荐官方下载最新版，下载地址：

https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-1210-WIN&productId=524&rPId=9763

2. 运行VMwareWorkstation，新建4台虚拟机，并安装Ubuntu操作系统 Ubuntu下载地址:http://www.ubuntu.org.cn/download/alternative-downloads

需要配置虚拟机使之能够上网，在这里我们采用网络地址转换即NAT的方式，与宿主机共享IP上网：

按照下图指定Ubuntu的iso文件，然后点击?power on this virtual machine?,然后按照提示一步步走下去即可完成操作系统的安装。

注1：可以先装好一台机器，然后通过VMware的克隆功能生成另外两台。

注2：安装完系统后，为了能从宿主机与虚拟机互相COPY文件，也为了能使虚拟机全屏显示，推荐安装VMwareTools.方法如下：

a. tar -xzvf VMwareTools-9.6.0-1294

Flume集群搭建 一：Flume简介

Flume是一个分布式的、高可用的海量日志收集、聚合和传输日志收集系统，支持在日志系统中定制各类数据发送方（如：Kafka，HDFS等），便于收集数据。

Flume提供了丰富的日志源收集类型，有：Console、RPC、Text、Tail、Syslog、Exec等数据源的收集。

Agent层：

对于Agent这一层来说，每个机器部署一个Agent，可以水平扩展，不受限制。一个方面，Agent收集日志的能力受限于机器的性能，正常情况下一个Agent可以为单机提供足够服务。另一方面，如果机器比较多，可能受限于后端Collector提供的服务，但Agent到Collector是有Load Balance机制，使得Collector可以线性扩展提高能力。

Collector层：

对于Collector这一层，Agent到Collector是有Load Balance机制，并且Collector提供无差别服务，所以可以线性扩展。其性能主要受限于Store层提供的能力。

Store层：

对于Store这一层来说，Hdfs和Kafka都是分布式系统，可以做到线性扩展。Bypass属于临时的应用，只对应于某一类日

Hadoop +HA高可靠集群+Hbase+Zookeeper 环境搭建手册

什么是HA见附件。

集群环境：

Ubuntu15.04 64位操作系统,通过VMWARE虚拟3个节点： master1：192.168.8.101 master2：192.168.8.102 slave1：192.168.8.201

由于只有3个节点,所以master1,master2为nodedate,master2为standby zookeeper，datanode，hbase三个节点都部署 机器名 ip地址 安装软件 运行的进程 master1 192.168.8.101 jdk,hadoop, NameNode,DataNode, hbase,zookeeper hbase Hmaster, hbase HRegionServer QuorumPeerMain,zkfc JournalNode, ResourceManager master2 192.168.8.102 jdk,hadoop, NameNode,DataNode, hbase,zookeeper hbase HRegionServer QuorumPeerMain,zkfc Journa

题目：Hadoop完全分布式环境下的网盘项目 姓名：王宏磊 学号：201500800546专业:软件工程 班级：15-01班 手机：17863087272 姓名：苗纯源学号：201500800524专业:软件工程 班级：15-01班 手机：17863085895 项目 起评分 流畅性 美观性 回答问题 安装步骤 编程风格 要求 达到题目基本要求 程序运行过程完整流畅，能清楚说明问题 程序界面美观舒适 能正确回答老师就代码和程序设计的问题 清晰明了 程序书写正规，程序注释完整规范 满分 50 10 10 10 10 10 总评 实际得分 Part1、安装说明

一、虚拟机和linux系统的安装

我们选择的虚拟机是VMware Workstation Pro14.0，linux系统的版本是CentOS-6.6-x86_64-bin-DVD1.iso

(1) 安装虚拟机，运行VMware Workstation Pro14.0，选择合适的安装路径，从网

上找到该版本虚拟机的注册码，输入后一直点下一步直到安装完成即可。

1 / 53

(2) 安装linux系统，打开虚拟机，点击文件->新建虚拟机，选择自定义

在VMware虚拟机上搭建2003集群环境

一、 简单介绍Windows2003服务器集群及相关术语

它是一组协同工作并运行Microsoft群集服务（MSCS）的独立服务器。其为资源和应用程序提供高可用性、故障恢复、可伸缩性和可管理性。

服务器群集无法保证无间断运作，但是确实能够为多数关键任务应用程序提供足够的可用性。群集服务可以对应用程序和资源进行监控，并能够自动识别和恢复众多故障状况。这为在群集中管理工作负荷提供了灵活性。另外，还提高了整个系统的可用性。

一般地，利用服务器群集技术可实现DHCP、文件共享、后台打印、MS SQL Server、Exchang Server等服务的可靠性。 支持服务器群集技术的Windows2003版本

Windows Server2003企业版（Enterprise Edition） Windows Server2003 Datacenter Edition

资源组 是指群集服务作为一个逻辑单元进行管理的资源集合。 通过将逻辑上相关的资源分成资源组，可以非常容易地管理应用资源和群集实体。对资源组执行群集服务操作时，操作对于该组内包含的各个资源都有效。通常来说，创建资源组的目的是为了将特定应用程序服务

题目：Hadoop完全分布式环境下的网盘项目 姓名：王宏磊 学号：201500800546专业:软件工程 班级：15-01班 手机：17863087272 姓名：苗纯源学号：201500800524专业:软件工程 班级：15-01班 手机：17863085895 项目 起评分 流畅性 美观性 回答问题 安装步骤 编程风格 要求 达到题目基本要求 程序运行过程完整流畅，能清楚说明问题 程序界面美观舒适 能正确回答老师就代码和程序设计的问题 清晰明了 程序书写正规，程序注释完整规范 满分 50 10 10 10 10 10 总评 实际得分 Part1、安装说明

一、虚拟机和linux系统的安装

我们选择的虚拟机是VMware Workstation Pro14.0，linux系统的版本是CentOS-6.6-x86_64-bin-DVD1.iso

(1) 安装虚拟机，运行VMware Workstation Pro14.0，选择合适的安装路径，从网

上找到该版本虚拟机的注册码，输入后一直点下一步直到安装完成即可。

1 / 53

(2) 安装linux系统，打开虚拟机，点击文件->新建虚拟机，选择自定义

因工作需要研究了RAC整个部署过程，从零到完成，客服了许许多多的问题，请教了很多人，感谢大家的指导，因为有你们我才能完成这次的实验。 Oracle11g_asm_grid_openfile搭建集群环境

任聪QQ 786399919

目录

第一章. 第一节. 第二节. 第二章. 第一节. 第二节. 第三节. 第四节. 一、 第三章. 第一节. 第二节. 一、 二、 第三节. 第四节. 一、 二、 三、 第四章. 第五节. 第一节. 第二节. 一、 二、 第五章. 第一节. 一、 二、 三、 第二节. 一、

Author:rencongEmail:rencong@inspur.com

Oracle群集基础知识 .............................................................................................. 4 Oracle集群体系结构 .............................................................................................. 4 RAC 的负

Linux Red Hat 6.4下 Nginx + Mysql + PHP

服务器环境搭建

系统平台：RHEL 6.4 Nginx版本：nginx-1.1.8 Mysql版本：5.1.59 PHP版本：php-5.2.17

安装准备

在安装Linux操作系统时添加如下几个包，不然无法使用源码安装

关于依赖包的问题：

用 rpm -qa | grep 依赖包名

查看是否安装了改该包，然后安装其相应的devel文件即可 比如：

#rpm -qa | grep libxxx libxxx-1.0.0.el6.x86_64 其devel包的名字为

libxxx-devel-1.0.0.el6.x86_64

1.安装libiconv

#tar zxvf libiconv-1.13.tar.gz #cd libiconv-1.13/

#./configure --prefix=/usr/local #make

#make install cd ../

2.安装libmcrypt 实现加密功能的库

# tar zxvf libmcrypt-2.5.8.tar.gz # cd libmcrypt-2.5.8/ # ./configure # m

三层搭建过程

第一步打开vs，然后点击新建—---项目—----其它项目类型-------空白解决方案。如下图！ （备注右上角是你建立的版本是3.5 的还是2.0的，这里选择的是3.5的）

注意1：名称可以重命名，这个地方我命名的是Test_Example。 注意2：存放位置自己选择一个新路径，便于以后的查找。

然后点击确认按钮提交：

这样出现一个下图的空白解决方案。

第二步：我们建立一个数据访问层：首先如上图中选中空白解决方案，然后右键----添加-----

然后选择新建项目-----选择类库。（备注下右上角是你建立的版本是3.5 的还是2.0的）

同理重命名Test_Dal,路径不需要修改。 点击确认 如下图

空白处多了一个Test_Dal

第三步：建立一个Test_Bll 业务逻辑层同理上面的Test_Dal的建立。如下图

然后确认提交：这样就建立了数据层 和 业务逻辑层。

第三步：我们这个地方以新建一个web网站为例子讲解说明，至于windows窗体应用程序的例子是一样得。

（1） 右键解决方案---添加----新建项目---选择Web---Asp.net web 应用程序如下图：

（2） 确认提交然后出现下图

Java开发环境的搭建包括三个部分： 1、JDK下载、安装及配置 2、MySql的下载、安装及配置

3、应用服务器（App Server）的下载、安装及配置

一、 JDK下载、安装及配置：

JDK是整个Java的核心，包括了Java运行环境（Java Runtime Envirnment）,一堆Java工具和Java基础的类库（rt.jar）。

第一步：下载

JDK的一个常用版本J2SE(Java2 SDK Standard Edition)可以从Sun的Java网站上下载到：http://java.sun.com/j2se/downloads.html，我们建议下载最新版本的。当前最新版本为:J2SE 5.0 JDK。

第二步：安装

下载好的JDK是一个可执行安装程序，执行安装即可。安装完成在安装目录下会有jdk1.5.0和jre1.5.0两个文件夹。

第三步：设置环境变量

打开“我的电脑 -> 属性 -> 高级 -> 环境变量 -> 系统变量”，设置以下三个变量：

JAVA_HOME= 如：我的为：E:/Program Files/Java/jdk1.5.0 CLASSPATH=.

Path=<原Path>;如：我的为：