AWS大数据解决方案-2015AWS在线技术峰会-分会场3-主题二

AWS大数据分析与机器学习

曹玮祺博士

解决方案架构师团队高级主管

AWS中国

weiqicao@33a2029b6c85ec3a86c2c52f

下载文档并点击左侧按钮联系AWS云计算专家

云端大数据哲学：云和大数据是一个硬币的两面

下载文档并点击左侧按钮联系AWS 云计算专家

云端大数据哲学：云和大数据是一个硬币的两面

1个实例算1,000小时

=

1,000个实例算1小时

下载文档并点击左侧按钮联系AWS 云计算专家

下载文档并点击左侧按钮联系AWS云计算专家

弹性数据中心下载文档并点击左侧按钮联系AWS云计算专家

用于分析的应用数据和日志放到

Amazon Elastic

MapReduce

name node 用于

控制分析

下载文档并点击左侧按钮联系AWS云计算专家

N

MapReduce

Elastic Data Center

N

增加成百上千的节点

下载文档并点击左侧按钮联系AWS云计算专家

Elastic Data

Center

N

作业完成后释放

资源

将分析结果放回你的系统

价值(Value)高速(Velocity)

多样(Variety)

下载文档并点击左侧按钮联系AWS云计算专家

大数据多样大数据

Variety

下载文档并点击左侧按钮联系AWS云计算专家

S3

Kinesis DynamoDB RDS (Aurora)AWS Lambda

KCL Apps

EMR Redshift

Machine

Learnin

采集处理分析

存储

数据采集和存储数据处理

事件处理数据分析

数据结果

下载文档并点击左侧按钮联系AWS云计算专家

下载文档并点击左侧按钮联系AWS 云计算专家结构化–简单查询NoSQL Amazon DynamoDB Cache Amazon ElastiCache 结构化–复杂查询SQL Amazon RDS Search Amazon CloudSearch 非结构化Cloud Storage Amazon S3

数据结构复杂程度查询结构复杂程度

下载文档并点击左侧按钮联系AWS云计算专家

热数据温数据冷数据容量MB–GB GB–TB PB

项的大小B–KB KB–MB KB–TB 延迟毫秒毫秒, 秒分钟, 小时持久性低–高高非常高

请求率非常高高低

花费/GB$$-$$-￠￠￠

下载文档并点击左侧按钮联系AWS云计算专家

下载文档并点击左侧按钮联系AWS 云计算专家Amazon RDS 请求率高低花费/GB 高低延迟

低高数据量低高Amazon Glacier Amazon CloudSearch

结构低

高

Amazon

DynamoDB Amazon ElastiCache

Amazon ElastiCache Amazon

DynamoDB

Amazon

RDS

Amazon

CloudSearch

Amazon S3Amazon Glacier

平均延迟毫秒毫秒毫秒, 秒毫秒,秒毫秒,秒,分

钟(~ 大小)

小时

数据量GB GB–TBs

(无限制)GB–TB

(最大3TB)

GB–TB GB–PB

(无限制)

GB–PB

(无限制)

项的大小B-KB KB

(最大400 KB)KB

(~行大小)

KB

(最大1 MB)

KB-GB

(最大5 TB)

GB

(最大40 TB)

请求率非常高非常高高高低–

非常高(无

限制)非常低(无限制)

存储花费

$/GB/month

$$￠￠￠￠$￠￠

持久性低–中非常高高高非常高非常高热数据温数据冷数据

下载文档并点击左侧按钮联系AWS云计算专家

下载文档并点击左侧按钮联系AWS云计算专家

下载文档并点击左侧按钮联系AWS 云计算专家

Amazon Kinesis

?分离生产者和消费者?临时缓冲区

?保持客户端顺序?流式MapReduce

443322114321

432143214321

44332211

生产者1Shard 1Shard 2

消费者1

Count of Red = 4Count of Violet = 4

消费者2

Count of Blue = 4Count of Green = 4

生产者2

生产者3生产者N

Key = Red

Key = Green

本文来源：https://www.bwwdw.com/article/5iwl.html