3.1 FusionInsight 技术基础 - Spark架构原理

●Spark是AMP LAB贡献到Apache社区的开源项目，是AMP大数据栈的基础组件。

●AMP：ALGORITHMS MACHINES PEOPLE，加州大学伯克利分校一个致力于机器学习和

云计算的组织。

●AMP LAB：AMP实验室，从事大数据方面的研究。

●迭代计算：是数值计算中一类典型方法，其基本思想是逐次逼近，先取一个粗糙的近

似值，然后用同一个递推公式，反复校正此初值，直至达到预定精度要求为止。

1

MR：MapReduce，和Spark一样是计算框架。

2

●Scala是一门函数式的面向对象语言，Spark核心代码由Scala语言实现。Scala中的trait相

当于java中的interface。

●即席查询：用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生

成相应的统计报表。

●Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库

表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。

●Pregel：主要绘制大量网上信息之间关系的“图形数据库”。

●亚秒：接近秒的时间延迟。

●Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核。

3

●即席查询：用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生

成相应的统计报表。

●Pregel：主要绘制大量网上信息之间关系的“图形数据库”。

●Scala trait：scala中的trait相当于java中的interface，但比interface更灵活。

●PowerGraph:一个分布式并行的图像计算框架，点分割是一种基于点的分割算法

4

本文来源：https://www.bwwdw.com/article/h2lq.html