spark和hadoop的安装实验报告

Spark报告

金航

1510122526

Spark实验报告

一、

环境搭建

1、下载scala2.11.4版本 下载地址为：http://www.scala-lang.org/download/2.11.4.html 2、解压和安装：

解压 ： tar -xvf scala-2.11.4.tgz 安装 ： mv scala-2.11.4 ~/opt/

3、编辑 ~/.bash_profile文件 增加SCALA_HOME环境变量配置，

export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37 export

CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

export SCALA_HOME=/home/spark/opt/scala-2.11.4 export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin 立即生效source ~/.bash_profile

Spark报告

金航

1510122526

Spark实验报告

一、

环境搭建

1、下载scala2.11.4版本 下载地址为：http://www.scala-lang.org/download/2.11.4.html 2、解压和安装：

解压 ： tar -xvf scala-2.11.4.tgz 安装 ： mv scala-2.11.4 ~/opt/

3、编辑 ~/.bash_profile文件 增加SCALA_HOME环境变量配置，

export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37 export

CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

export SCALA_HOME=/home/spark/opt/scala-2.11.4 export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin 立即生效source ~/.bash_profile

Hadoop的安装部署

对于云计算的概念，世界知名的几大IT厂商都推出了各自的云计算平台，比如Amazon的AWS、微软的Azure和IBM的蓝云等，但他们都是商业平台，不适合广大对云计算有兴趣的研究者，而Hadoop是google云计算的开源实现，并且是完全免费的。Hadoop是一个分布式系统基础架构，是Apache下的一个项目，由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。其中，HDFS和MapReduce是两个最基础最重要的成员。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为分布式计算存储提供了底层支持。

MapReduce从它名字上来看就大致可以看出个缘由，两个动词Map和Redu

Hadoop的安装部署

对于云计算的概念，世界知名的几大IT厂商都推出了各自的云计算平台，比如Amazon的AWS、微软的Azure和IBM的蓝云等，但他们都是商业平台，不适合广大对云计算有兴趣的研究者，而Hadoop是google云计算的开源实现，并且是完全免费的。Hadoop是一个分布式系统基础架构，是Apache下的一个项目，由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。其中，HDFS和MapReduce是两个最基础最重要的成员。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为分布式计算存储提供了底层支持。

MapReduce从它名字上来看就大致可以看出个缘由，两个动词Map和Redu

L

河南工业大学 嵌入式系统 实验报告 实验步骤： 专业 班级 姓名 学号 数据记录及结果处理: 同组者姓名 完成日期 成绩评定 问题讨论： 实验题目： 实验目的： （1）了解ADS1.2的安装过程与懂得使用并正确运行出结果。 （2）进一步熟悉ADS1.2软件的操作过程 实验环境： Windows XP ,ADS1.2 实验步骤： 1、首先解压ads1.2setup.zip, 然后双击此文件夹下的SETUP.EXE,程序开始安装. 2、单击”NEXT”进入下一步: 单击”YES”继续: 3、默认的目标文件夹为C:\\Progam File\\ARM\\ADSv1_2(也可以单击Browse自定义目标文件夹 单击”Next”进入下一步: 单击”Next”进入下一步: 5、选择需要关联文件格式，即复制框内最后一个打勾: “Next”后开始复制文件: 复制完成后在”ARM License Wizard”窗口单击“下一步”继续： 6、Choose Ac

L

河南工业大学 嵌入式系统 实验报告 实验步骤： 专业 班级 姓名 学号 数据记录及结果处理: 同组者姓名 完成日期 成绩评定 问题讨论： 实验题目： 实验目的： （1）了解ADS1.2的安装过程与懂得使用并正确运行出结果。 （2）进一步熟悉ADS1.2软件的操作过程 实验环境： Windows XP ,ADS1.2 实验步骤： 1、首先解压ads1.2setup.zip, 然后双击此文件夹下的SETUP.EXE,程序开始安装. 2、单击”NEXT”进入下一步: 单击”YES”继续: 3、默认的目标文件夹为C:\\Progam File\\ARM\\ADSv1_2(也可以单击Browse自定义目标文件夹 单击”Next”进入下一步: 单击”Next”进入下一步: 5、选择需要关联文件格式，即复制框内最后一个打勾: “Next”后开始复制文件: 复制完成后在”ARM License Wizard”窗口单击“下一步”继续： 6、Choose Ac

搭建hadoop2.6.0开发环境

前言：因为没有实体机做测试，要学习hadoop搭建环境，在本地笔记本做3台linux虚拟机是个蛮不错的选择。安装一个VMware，准备3台一样的linux虚拟机. Linux虚拟机ISO：

虚拟机平台服务器版本：

PS：关于软件，软件描述如下所示：

本地笔记本：T420，8G内存，64位操作系统，配置如下：

1.安装虚拟机

1.1安装VMware-workstation，一路下一步即可，导入Centos，使用ISO方式搭建linux虚拟机

2.安装linux虚拟机

2.1安装VMware-workstation完成后，选择新建虚拟机，导入Centos，使用ISO方式搭建linux虚拟机

选择路径

选择多核

选择2G内存

选择桥连接的方式

选择磁盘I/O方式

创建全新的虚拟机

选择磁盘类型

虚拟机文件存储方式

设置虚拟机文件存放路径

完成打开，报错如下：

Could not prepare the install disc at E:\\software\\wmware\\CentOS-6.5-x86_64-bin-DVD1.iso. Make sure that you are usin

《长度和密度的测量》实验报告单

姓名： 学号： 实验时间：

一. 长度的测量 实验目的：(1)知道测量的意义。知道长度和体积的单位及其常用单位。 ⑵熟悉刻度尺上的刻度和测量范围。

(3)学会正确使用刻度尺，学会记录长度测量的结果，学会选择不同的测量仪器 或方法去测量各种物体的长度。

实验内容：

1. 测量书本的长度。

《科学》书本的长度 = ___________ cm;书本的宽度 = _____________ c m ； 书本

的高度 = ____________ cm ； 一张纸的厚度 = ___________ cm 。

2. 测量曲线的长度。

上面曲线的长度= cm 。

二、 质量的测量。

实验目的：学会使用托盘天平的方法。能用托盘天平称量指定物品的质量。 实验内容：

测量以下物品的质量：

烧杯的质量 = ____________ g ;自带的笔的质量 = ____________ g ;橡胶塞的质 量= ____________ g o

三、 容积的测量。

实验目的：理解什么是容积。学会容积的测量方法。能用量筒测量指定容器的容 积。

实验内容：

测量下列容器的容积：

小烧杯的容积 =____________ mL ; 锥形瓶的容积 = __________ 四、

1、集群部署介绍

1.1 Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以

实 验 报 告 专业 班级 学号 姓名 课程名称 数据库应用与开发 学年2014 -2014学期1 /2 √ 课程类别 专业必修 √ 限选 任选 实践 实验时间2014 年5月29日 实验名称 索引和视图 实验目的和要求 在建立的实验数据库的基础上，掌握索引、统计信息和视图等数据对象的基本概念和基本操作并完成索引和视图的创建。 实验软硬件要求 软件：SQL Server 2005 硬件：PC机 实验内容、方法和步骤 （见附页） 实验结果 （见附页） 小结 通过本次实验，我掌握了索引、统计信息和视图等数据对象的基本概念和熟悉了各种基本操作。 评定成绩： 批阅教师： 年 月 日

7-1编程在 teaching 数据库中的 student 表的 sname 列上创建唯一索引IDX_sname。

USE teaching GO

CREATE UNIQUE INDEX IDX_sname ON student(sname)

7-2 编程在teaching数据库中的stud