spark

Spark报告

金航

1510122526

Spark实验报告

一、

环境搭建

1、下载scala2.11.4版本 下载地址为：http://www.scala-lang.org/download/2.11.4.html 2、解压和安装：

解压 ： tar -xvf scala-2.11.4.tgz 安装 ： mv scala-2.11.4 ~/opt/

3、编辑 ~/.bash_profile文件 增加SCALA_HOME环境变量配置，

export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37 export

CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

export SCALA_HOME=/home/spark/opt/scala-2.11.4 export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin 立即生效source ~/.bash_profile

Spark报告

金航

1510122526

Spark实验报告

一、

环境搭建

1、下载scala2.11.4版本 下载地址为：http://www.scala-lang.org/download/2.11.4.html 2、解压和安装：

解压 ： tar -xvf scala-2.11.4.tgz 安装 ： mv scala-2.11.4 ~/opt/

3、编辑 ~/.bash_profile文件 增加SCALA_HOME环境变量配置，

export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37 export

CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

export SCALA_HOME=/home/spark/opt/scala-2.11.4 export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin 立即生效source ~/.bash_profile

●Spark是AMP LAB贡献到Apache社区的开源项目，是AMP大数据栈的基础组件。

●AMP：ALGORITHMS MACHINES PEOPLE，加州大学伯克利分校一个致力于机器学习和

云计算的组织。

●AMP LAB：AMP实验室，从事大数据方面的研究。

●迭代计算：是数值计算中一类典型方法，其基本思想是逐次逼近，先取一个粗糙的近

似值，然后用同一个递推公式，反复校正此初值，直至达到预定精度要求为止。

1

MR：MapReduce，和Spark一样是计算框架。

2

●Scala是一门函数式的面向对象语言，Spark核心代码由Scala语言实现。Scala中的trait相

当于java中的interface。

●即席查询：用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生

成相应的统计报表。

●Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库

表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。

●Pregel：主要绘制大量网上信息之间关系的“图形数据库”。

●亚秒：接近秒的时间延迟。

●Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核。

3

●即席查询：用户根

精通Spark集群搭建与测试

1. 安装 VMwareWorkstation 软件 推荐官方下载最新版，下载地址：

https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-1210-WIN&productId=524&rPId=9763

2. 运行VMwareWorkstation，新建4台虚拟机，并安装Ubuntu操作系统 Ubuntu下载地址:http://www.ubuntu.org.cn/download/alternative-downloads

需要配置虚拟机使之能够上网，在这里我们采用网络地址转换即NAT的方式，与宿主机共享IP上网：

按照下图指定Ubuntu的iso文件，然后点击?power on this virtual machine?,然后按照提示一步步走下去即可完成操作系统的安装。

注1：可以先装好一台机器，然后通过VMware的克隆功能生成另外两台。

注2：安装完系统后，为了能从宿主机与虚拟机互相COPY文件，也为了能使虚拟机全屏显示，推荐安装VMwareTools.方法如下：

a. tar -xzvf VMwareTools-9.6.0-1294

Spark整合kafka0.10.0新特性(一)

Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)整合kafka0.10.0新特性（API都在实验中）。

The Spark Streaming integration for Kafka 0.10和kafka0.8的Direct Stream approach非常相似，并行度Kafka分区和Spark分区的比例1:1，并且可以访问Kafka的偏移和元数据。然而，新的整合方案使用的是new Kafka consumer API 而不是 simple API，所以在使用过程中需要注意区别，这个版本的整合现在正处于experimental，因此API可能随着时间会有变化。 Linking

For Scala/Java applications using SBT/Maven project definitions, link your streaming application with the following artifact (see Linking sectionin the

第一章 Graphx

参考：http://book.51cto.com/art/201408/450049.htmSpark+GraphX大规模图计算和图挖掘（V3.0）

本章旨在介绍图计算、Spark GraphX和梳理GraphX学习时的关键知识结构。

1.1 分布式计算

1.1.1 分布式图计算框架的目的

将对于巨型图的各种操作包装为简单的接口，让分布式存储、并行计算等复杂问题对上层透明，从而使复杂网络和图算法的工程师，更加聚焦在图相关的模型设计和使用上，而不用关心底层的分布式细节。

需要解决两个通用问题：图存储模式和图计算模式。 1.1.2 图存储模式

巨型图的存储总体上有边分割和点分割两种存储方式。2013年，GraphLab2.0将其存储方式由边分割变为点分割，在性能上取得重大提升，目前基本上被业界广泛接受并使用。

1.1.2.1 边分割

每个顶点都存储一次，但有的边会被打断分到两台机器上。这样做的好处是节省存储空间；坏处是对图进行基于边的计算时，对于一条两个顶点被分到不同机器上的边来说，要跨机器通信传输数据，内网通信流量大。

1.1.2.2 点分割

每条边只存储一次，都只会出现在一台机器上。邻居多的点会被复制到多台机器上，增加了

DOI:10.1002/adem.201000300

Spark Plasma Sintered Hydroxyapatite/Graphite Nanosheet and Hydroxyapatite/Multiwalled Carbon Nanotube Composites:Mechanical and in Vitro Cellular Properties**

By Jiangtao Zhu,Hoi Man Wong,Kelvin Wai Kwok Yeung and Sie Chin Tjong*

Recently,the demand for load-bearing implants is ever increasing due to a large number of patients suffering from bone cancer,traf?c accident,trauma,and ageing globally.The development of advanced biomaterials that mimic the properties of human bones is considered of techno

DOI:10.3969/j.issn.1006-6403.2015.01.004

基于Spark的用户上网WAP日志分析[龚静]

摘要

在移动互联网时代，越来越活跃的用户手机上网行为带来了流量的迅猛发展。对电信运营商而言，用户上网日志包含了大量用户个性化需求、喜好信息，对其进行分析和挖掘，能更好的了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求，搭建基于 X86的 Hadoop平台，引入大数据处理技术的方式，实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择。文章主要以用户 WAP日志为例，详细阐述如何利用大数据技术处理海量的非结构化数据，进而挖掘和分析用户上网行为。

关键词：大数据分布式 Hadoop Spark通信热点

龚静中国移动通信集团南方基地IT工程师，主要研究方向为业务支撑系统中的大数据应用。

1

引言随着4G时代的来临、智能终端的普及、移动互联业务

WAP日志作为新型数据源引入经营分析系统，使其越来越具备大数据平台的特征，主要包括如下： (1)数据规模方面：WAP日志的条数和数据量已经超过了语音详单，且还处在不断增长的趋势。 (2)数据类型方面：从结构化数据，过渡到结构化数据

使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境（基础）

时间 2016-03-04 13:13:09 极客头条 原

文 http://blog.tomgou.xyz/shi-yong-intellij-ideapei-zhi-sparkying-yong-kai-fa-huan-jing-ji-yuan-ma-yue-du-huan-jing.html 主题 Spark IntelliJ IDEA

在本地搭建好Spark 1.6.0后，除了使用官方文档中的sbt命令打包，spark-submit提交程序外，我们可以使用IntelliJ IDEA这个IDE在本地进行开发调试，之后再将作业提交到集群生产环境中运行，使用IDE可以提升我们的开发效率。

0.安装IntelliJ IDEA

我的系统环境（Ubuntu 14.04.4 LTS） 下载最新版本的IntelliJ IDEA，官网地址：

https://www.jetbrains.com/idea/download/ 。最新版本的IntelliJ IDEA支持新建SBT工程，安装scala插件。

安装步骤： - Unpack the idea idea-15.0.4.t

Scala模式匹配Scala类型系统Spark源码阅读

（文档来源：Spark IMF）

获取更多大数据Spark相关资料，请关注公众微信号：DT_Spark

Scala模式匹配、类型系统彻底精通与Spark源码阅读

一: 守卫

var ch = ‘+’

ch match {

case '+' => sign = 1

case '-' => sign = -1

case _ if Character.isDigit(ch) => digit = Character.digit(ch, 10)

case _ => sign = 0

}

二：模式中的变量

如果在case关键字后跟着一个变量名，那么匹配的表达式会被赋值给那个变量。case _是这个特性的一个特殊情况，变量名是_。

"Hello, world" foreach { c => println (

c match {

case ' ' => "space"

case ch => "Char: " + c

}

)}

三：类型模式

相比使用isInstanceOf来判断类型，使用模式匹配更好

obj match {

case x: In