分布式文件系统存储介质评测与分析

更新时间:2023-07-28 20:29:01 阅读量: 实用文档 文档下载

说明:文章内容仅供预览,部分内容可能不全。下载后的文档,内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的,是否完整无缺。

第33卷第10期

2010年10月

——一r—_————-—一—;=;=======:===;====

v01.33

No.10

CHlNESEJOURNAL0FCOMPUTERS

Oct.2010

分布式文件系统存储介质评测与分析

许春聪

黄小猛吴诺孙宁伟杨产文

100084)

(清华大学计算机科学与技术系信息科学与技术国家实验室北京

摘要文中分析了磁盘、SSD和DRAM的价格和能耗,测试了分布式文件系统HDFS、MooseFS和CarrierFS部

署在不同存储介质上的数据吞吐率,接着提出了一种存储介质的性价比理论模型,并分析了当前、2015年和2020年不同存储介质的性价比和变化趋势.通过性价比分析可得,DRAM具有较大的性价比优势。适合于高并发随机访问应用.随着DRAM容量的快速提升,未来DRAM有可能成为可选的数据存储介质.当前,SSD虽然具有较好的访问性能,但其价格高、容量小、性价比低于磁盘.2015年SSD的性价比将超过磁盘,有可能替代磁盘成为大规模存储系统的基本存储设备.

关键词分布式文件系统;吞吐率;存储介质

中图法分类号TP301

OOI号:10.3724/SP.J.1016.2010.01873

Performance

TestingandAnalysistoStorage

Medium

SUN

ofDistributedFileSystem

YANGGuang—Wen

ScienceandTechnology。

XUChun—Cong

(TsinghuaNational

HUANGXiao—Meng

forhyormationScience

WUNuo

and

Ning—Wei

LaboratoryTechnology.DepartmentofComputer

100084)

TsinghuaUniversity,Beijing

Abstract

Thispaperinvestigatesthe

priceand

powerconsumption

ofthe

disks,SSD,and

DRAM,andalsotestedthereadandwritethroughputsofHDFS,MooseFS,andCarrierFSbased

on

thesestoragemediums.Then,itproposes

an

estimationmodelofperformance—priceratiofor

thesestoragemediumsandalsopredictedandthechangetrendsoftheirperformance—priceratioin2015and2020.Fromtheanalysisresults,weperformance—priceratioandpacitygrows,itwillbecomeSSDdue

cail

are

cansee

thatDRAMhastheadvantageofhigh

access

suitableforhighlyparallelrandom

applications.Asits

near

ca—

an

optionaldeviceforstoragesystemsinthe

future.Although

providebetter

access

performancethanharddisks,ithaslowerperformance—priceratio

to

itshigherpriceandsmallercapacity.However,theauthorspredictthatin2015,itsper-

to

formance—priceratiowillbecomehigherthanharddisksandthusmaysubstituteforharddisksbecomethemajordeviceforlarge—scalestoragesystems.

Keywords

distributedfilesystem;throughput;storagemedium

的核心基础平台,分布式文件系统的重要性日益凸

吉嗣

显.目前,具有代表性的分布式文件系统有Google

的GFS(GoogleFileSystem)E13以及开源的Lustre、

随着云存储应用范围的不断扩展,作为云存储HDFS、MooseFS和清华大学研发的CarrierFS等.

收稿日期:2010—08—22.本课题得到国家自然科学基金(60803121,60773145,90812001,60963005)、国家“八六三”高技术研究发展计划项目基金(2010AA012401)资助.许春聪,男,1980年生,博士研究生,事要研究方向为云计算、分布式文件系统.E-mail:xcc07@mails.tsin—ghua.edu.c11.黄小猛。男。1980年生.博士。助理研究员.研究方向为数据网格、云计算和分布式文件系统.昊谱,男.1983年生,博士研究生,研究方向为分布式数据存储系统.孙宁伟,男,1987年生,本科,研究方向为分布式文件系统.杨广文,男,1963年生。博士,教授,博士生导师,研究领域为数据网格、云计算和分布式存储系统.

万方数据

计算机学报

这些分布式文件系统均面向大规模云存储应用.GFS已在Google内部得到了广泛应用,Hadoop是应用MapReduce的分布式计算模型实现的分布式文件系统,目前应用非常广泛.清华大学计算机系设计的分布式文件系统CarrierFS在清华大学校内存储了70TB的文件数据,为校内文件资源共享提供

服务.

当前的分布式存储系统一般使用传统机械磁盘作为存储介质来构建分布式文件系统,但随着其它存储技术的进步,这种状况正在发生变化.固态硬盘

(SolidStorage

Device,SSD)和动态随机访问存储

器(DynamicRandomAccessMemory,DRAM)的价格正在快速下降,性能不断提升,基于SSD或DRAM的分布式存储方案已经成为数据存储领域的研究热点.这里,SSD泛指使用NANDFlash组成的通用存储设备,由控制单元和Flash芯片两部分组成.加利福尼亚大学Caulfield等人使用Flash存储器来构建高速、低能耗的集群GordonE23,并针对数据密集型的应用进行了实验分析,结果显示Gordon的性能和能耗分别是基于磁盘的集群的150%和40%左右.卡内基 梅隆大学Andersen等人提出了一种低电压的数据密集型计算架构,并利用低功耗的闪存节点搭建快速、可扩展、节能的Key-Value查询平台[3].斯坦福大学的Outerhout等人提出了一种基于DRAM构建云存储的方案RAMCIoud[4],他们尝试以DRAM作为存储介质来构建超高性能存储系统.

事实上,构建分布式文件系统需要考虑多方面的因素,底层存储介质的性价比和上层分布式文件系统的效率是两个最基本的、最重要的影响因素.一般而言,存储介质的性价比由性能、价格和能耗等因素决定.磁盘作为目前主流的存储介质,虽然价格较低,但它的机械构造特性导致它难以满足高并发随机访问的要求.由于多核处理器技术的迅猛发展,磁盘T/O性能与处理器性能的差距正变得越来越大,已经成为分布式文件系统的性能瓶颈.而SSD访问速率高、能耗低,被认为有可能替代磁盘成为主流存储介质.但是,其价格较高、容量较小和写人次数有限等问题限制了其快速普及.基于DRAM的存储方式能够提供更高的性能,但存在价格昂贵、数据易失、耗电量大等问题.

存储介质的评测和分析对构建分布式文件系统过程中如何选取存储设备具有重要的指导作用,对分布式文件系统的研究也具有参考价值.但是,当前

万方数据

的绝大多数研究仅对单存储器进行评测和分析.本文利用不同的存储介质构建分布式存储系统,充分考虑存储介质价格和能耗等因素,测试了不同存储介质上分布式文件系统的性能,并对磁盘、SSD和DRAM进行了评测分析.

基于对不同存储介质上分布式文件系统的性能表现,本文提出了一种存储介质性价比的评价模型.文章通过收集磁盘、SSD和DRAM的价格和能耗数据,按照最小二乘法原理设计了存储介质价格变化的指数拟合函数,同时测试了HDFS、MooseFS

和CarrierFS3种文件系统在磁盘、SSD和DRAM

介质上的数据吞吐率.基于对价格和能耗的分析数据和分布式文件系统的性能测试分析,我们提出一种存储介质性价比的评测模型.根据评测模型,本文大胆预测了2015年和2020年不同介质的性价比的变化情况,并分析了当前和未来不同存储介质的特

性和适用范围.

本文第2节简要介绍针对SSD和DRAM评测与分析的研究;第3节介绍存储介质的价格变化,并按照最小二乘法原理设计了存储介质的价格拟合函数;第4节测试分布式文件系统部署在不同存储介质上的读写性能;基于价格、能耗和文件读写性能3个因素,我们在第5节中提出一种存储介质性价比的评测模型,并对磁盘、SSD和DRAM进行了性价比分析;第6节总结全文.2

相关工作

本节着重介绍针对SSD和DRAM性能评测和

性价比分析的相关研究.

2.1

SSD评测与分析

Sehmidt[53等人将SSD应用到纯XML数据库管理系统(DBMS)当中,以减少DBMS的总成本.Karsten的研究显示,普通SSD产品在随机写方面的性能方面并不高.该研究改进了数据库的读写机制,增加数据库的写入缓存,以克服SSD随机写入方面的性能缺陷.文章首先分析了DBMS的总成本,认为能耗将是未来DBMS最主要的成本;接着以总成本作为衡量标准,分析SSD和磁盘的性价比,并认为在DBMS应用领域SSD将替代磁盘成为主流的存储介质.在某些对总吞吐率要求较高、不适合用总成本作为衡量标准的领域,SSD仍然不存在优势,混合使用SSD和磁盘将可以发挥各自的性能优势.

许春聪等:分布式文件系统存储介质评测与分析

1875

Pohe[63等人使用IOZone对2008年上市的5款SSD产品和2005年、2006年上市的3款磁盘产品进行了性能测试.结果显示,对于顺序读写,SSD的读写速率分别是磁盘的lo倍和5倍;对于随机读写,SSD的读写速率分别是磁盘的200倍和135倍.结合价格参数,文章进一步分析了磁盘和SSD的性能价格比.结果显示,顺序读写时,SSD与磁盘的性价比相近;随机读写时,SSD的性价比是磁盘的

10倍左右.

Narayanan[73等人针对容量、随机I/0速率、顺序传输速率、容错、单元价格和系统总成本等指标,使用真实工作负载记录测试和分析了基于磁盘和基于SSD构建数据中心的性价比.Narayanan等人的研究目的是寻求满足性能要求的最低成本配置.文章首次将“结合性能模型的最优化求解模型,,I-s-9]应用于SSD的评测,并给出了可以应用于其它存储技术评测的解决方案.根据真实工作负载记录的测试,使用SSD替代磁盘并不是一个好选择,只有SSD的价格下降3"---3000倍时,其性价比才能够和基于磁盘的存储系统相近.使用SSD作为缓存的效果也并不明显,因为仅有10%左右的工作负载能够获得更高的性价比.

2.2

DRAM评测与分析

为了解决基于磁盘的存储系统所面临的性能瓶颈,Ousterhout提出了基于DRAM的云存储——RAMClouds[4].这种方式将数据完全存储于DRAM中,其目标是达到基于磁盘存储100~1000倍的数据吞吐率和100~1000倍的访问延迟.作者认为应该从根本上对现有的数据存储模式进行改进,包括重新设计交换机,重新设计副本策略、数据模型、数据分布策略、系统可扩展性方式、一致性维护方法等.目前,RAMCloud还处在理论研究和设计阶段.

Carnegie

Mellon大学的Kryder和KimLl叫等人

分析了非易失性RAM的技术特性和发展前景.文章从容量、能耗和技术特点等角度,对相变RAM、自旋转移矩RAM、阻性RAM、铁电体RAM、铜桥RAM等13种目前还未广泛应用的非易失性存储技术展开了研究,详细讨论了每种存储技术面临的技术瓶颈和可能的发展趋势,最后从空间存储密度、能耗、访问时间、持久性和保持时间等5个维度进行了纵向比较.文章得出了两个结论,一是相变RAM、自旋转移矩RAM、阻性RAM和铜桥RAM在单元大小、容量潜力等方面具有优势,其容量与价格未来有可能与磁盘相当.其中,相变RAM技术发展最为成熟,自旋转移矩RAM能够在未来提供更

万方数据

优的性能.另一个结论是,虽然SSD能够提供低能耗和低访问延迟,但由于Flash技术存在22nm的物理极限,所以SSD的容量将受到限制,替代磁盘的可能性并不大.

3存储介质价格的分析与预测

3.1磁盘价格分析与预测

磁盘已经成为最通用的数据存储设备.20世纪90年代中期,3.5英寸磁盘电路板中的芯片集成技术有了长足的进步.因此,我们统计了1995年至今的磁盘价格,其价格不断降低,年平均下降率逐渐减

小.如图1所示.

1000

100

∞lO

27.178\4.832

”1

1.….…、…,

O.1

、",《,.吒.741….32364淤誊豢~0

324。。

o o怕菇1南可氟泛高■病F布面萄布面南

图1

1995年~2010年磁盘价格

从2005年开始,磁盘的存储空间利用率由于垂直磁盘写入技术得到了较大提升.所以,采用指数函数拟合的方式,我们仅分析了2005年后的磁盘价格和变化趋势.计算可得,拟合函数为

Y=1.109×e-0 4舡(t一年份一2005+1).

指数曲线拟合如图2所示.

0.8O.70.6

0.5Q

o.4

”0.3

0.2

O 10

图2指数曲线拟合2005年~2010年磁盘价格

3.2

SSD价格分析与预测

SSD根据容量、可靠性和性能的要求分为SLC

SSD和MLCSSD,我们统计了1998年以来的SSD的价格,如图3所示.

由于MLCSSD的推广,2006年SSD的价格相

对于2005年SSD的价格陡降.因此,采用指数函数拟合的方式,我们仅分析2006年"--2010年SSD的价格和变化趋势.计算可得,拟合函数为

y=52.83×eⅦ’59‘(£=年份一2006+1).

计算机学报

2010正

指数曲线拟合如图4所示.图3

1998年~2010年SSD价格

图4指数曲线拟合2006年~2010年SSD价格

3.3

DRAM价格分析与预测

2001年出现的DDR(DoubleDataRate)技术

已经成为新标准.由于DDR上市以来型号众多,主频和容量不同,导致了其价格也存在很大差异.因此,我们分析DRAM价格时遵循以下原则:(1)技术成熟,产品已经上市,(2)是当时市场上主流的频率和容量,(3)采样频率能够较好地反应DRAM价格的变化,又能够兼顾时间跨度.

遵循上述原则,我们选取了表1所列出的DRAM类型进行价格统计和预测分析.

表1

DRAM类型表

我们对2002年到2010年的上述产品的价格数据,按照每半年求取一次平均值的方式进行统计,如

图5所示.

I…一DI)R一400MHZ/512MB

l一一DDR一400MHZ/1GB

l—DI)R2—800MHZ/512MB、

卜- DDR2-800MHZll(;Bt

l--DDR2-800MHZ/2GB

L”、、.、\二二姜.\。I.

、、~一.≥0.、\

\奎圣羔兰

∥,,∥,∥

万方数据

可以看出,DRAM价格整体呈下降趋势,但下降速率有所减缓.对以上DRAM价格曲线分别进行指数函数拟合,各拟合函数如下:

①DDR一400MHz/512MB类型

拟合函数为Y=175.2×e-0 16‘,计算z年上半年的价格时,£=2×(z一2002);计算z年下半年的

价格时,t一---2×(z一2002)+1.

②DDR一400MHz/1GB类型

拟合函数为Y=121.1Xe.0 15‘,计算z年上半年的价格时,£=2×(z一2005);计算z年下半年的

价格时,£=2x(z一2005)+1.

③DDR2—800MHz/512MB类型

拟合函数为Y=63.66×e_0’3缸,计算z年上半年的价格时,£=2×(z一2006);计算z年下半年的

价格时,£=2×(x--2006)+1.

④DDR2—800MHz/1GB类型

拟合函数为y=107.6×e_0‘3‘,计算x年上半年的价格时,£=2×(z一2006);计算z年下半年的价

格时,£一2×(z一2006)+1.

⑤DDR2—800MHz/2GB类型

由于市场供需关系的原因,DDR2—800MHz/2G

类型的DRAM价格在2010年出现明显上浮,因此我们仅针对2007年6月~2009年12月的价格曲线进行指数函数拟合.拟合函数为y一142.9×e哪‘5¨,计算z年上半年的价格时,t=2×(z一2007);计算X年下半年的价格时,£=2×(z一2007)+1.

根据以上的拟合函数,计算可得磁盘、SSD和DRAM在2015年、2020年的价格,如表2所示,单位为¥/GB.其中,DRAM以DDR2-800MHz/1GB类型的计算.

表2存储介质价格

4分布式文件系统性能测试

我们在同一集群上测试了HDFS、MooseFS和CarrierFS的读写吞吐率.对它们的测试基于相同的软硬件环境.

4.1测试环境

测试集群由12个节点构成,实验中选取1个节点作为元数据服务器,1个节点作为客户端,其余

10期许春聪等:分布式文件系统存储介质评测与分析

10个节点作为数据服务器.所有节点的配置相同,具体如表3所示.

表3测试节点配置表

项目

规格

CPU

Xeorl

1.6GH2

内存

4个DDR2—533MHz/1GB

硬盘160GB,8MB缓存。SATA300MBps接口SSD

OCZ30GB,32MB缓存

OS

Ubuntu

8.04

Server

网络千兆以太网

4.2测试结果

读写吞吐率测试所采用的数据集为多组聚合大小为2GB的文件集,构成每组测试数据集的文件大小分别为1GB,512MB,…,32KB.

4.2.1

HDFS读写吞吐率

HDFS部署在磁盘、SSD和DRAM上时,文件写入速率如图6所示.可以看出,基于DRAM的写入速率最大,基于磁盘的写入速率最小.当文件大小大于2MB时,基于DRAM的写入速率优势明显.

\至甜古|ll缸寤

文件大小/B

图6HDFS部署在不同存储介质上的写入速率

HDFS部署在磁盘、SSD和DRAM上时,文件读取速率如图7所示,三者性能差别不大.当文件大小小于2MB时,三者的读取速率随文件大小的增大而快速提升.当文件大小大于2MB时,三者的读取速率均大于50Mbps.

∞&羔\

鲁帕

骚籁

图7HDFS部署在磁盘、SSD和DRAM上的读取速率

4.2.2

MooseFS读写吞吐率

MooseFS部署在磁盘、SSD和DRAM上时,文件写入速率和读取速率分别如图8和图9所示.当文件大小小于2MB时,MooseFS在3种存储介质上的读写性能均随文件大小的增大而快速提升.

万方数据

&80\

曼60

嚣。o鉴20

辐0

图8

MooseFS部署在磁盘、SSD和DRAM上的写入速率

茎\糌古13缸氅籁

图9

MooseFS部署在磁盘、SSD和DRAM上的读取速率

从图8可以看出,当文件大小大于2MB时,MooseFS基于DRAM的写入速率明显大于基于SSD或磁盘的写入速率.如图9所示,MooseFS基于DRAM和SSD上的读取速率相差不大,二者均为基于磁盘写入速率的1.4倍左右.

4.2.3

CarrierFS读写吞吐率

CarrierFS部署在磁盘、SSD和DRAM上时,文件写入速率和读取速率分别如图10和图11所示.当文件大小小于2MB时,CarrierFS在3种存储介质上的读写性能均随文件大小的增大而快速提升.

兰糌

吉|雌曙妊

图10CarrierFS部署在磁盘、SSD和DRAM上的写入速率

。60

盆50

墨40

等30舱20

蠢1:

文件大d,/B

CarrierFS部署在磁盘、SSD和DRAM上的读取速率

CarrierFS基于磁盘、SSD和DRAM的读写速文件大小小于2MB时,CarrierFS的写入速率明显大于HDFS的写人性能.这说明在进行小文件数据

图11

率差别不大.通过图6和图10的对比可以看出,当

计算机学报

访问时。CarrierFS具有较高的数据写入性能.为T^k√。。×t。×3600.

存储介质平均每天总花费等于存储介质每天的折旧费与电费之和.用C。表示所需存储介质m的大小,P。表示存储介质m的单价,Y。表示存储介质的使用年数。那么存储介质每天的折旧费可以表示为

5性价比理论模型与分析

5.1理论模型的建立

存储介质的性价比主要与存储设备的性能、价格和能耗等因素相关.我们用c户^¨。。表示文件大小为file—size时,存储介质类型为优时的性价比,它等于系统平均每天数据访问总量与存储介质平均每天总花费的比值.

用T触一妇表示文件大小为file—size时文件系统的数据吞吐率,t。表示存储设备平均每天运行的小时数,那么系统平均每天的数据访问总量可表示

』镰.用,z“m。表示所需存储介质m的数量,

)“sc/\0uu

pw。.。表示存储介质优在工作时的功耗,pw…。表示存储介质m在空闲时的功耗,P,表示每千瓦时电量的价格,那么存储介质每天消耗的电费可以表示为

(num。×pw。.。×£。+咒UTl2。×pw。。。。×(24一£。))×以.

以上推导可得,性价比f户触一。…的评价公式

如下:

讯…户吾甄磊瓦iTfile_isiz,×t=wv×36瓦00

5.2

j磊‘

参数计算

根据5.1节的性价比理论模型,我们需要计算

SSD的擦除次数约为10000次.正常工作境况下,当前主流SSD的寿命在100000~180000h之间,远大于5年.另外,按照写入放大因子为3[11|,系统每天工作24h,吞吐率为第4节的测试值计算,可得SSD的寿命大于5年.因此,本文以设备更新周期作为磁盘、SSD和DRAM的寿命,即Y。。=5.

(4)存储介质的价格

存储介质的价格P。如表2,单位为美元/GB.本文旨在对比3种存储介质的性价比,因此我们不考虑多种存储介质混合使用的情况,采用磁盘、SSD和DRAM构成多级存储的架构不属于本文的分析范围.

(5)能耗

表4平均吞吐率

以下参数:

(1)数据吞吐率T^¨;。

由第4节的测试结果可知,文件大小是影响系统吞吐率的重要因素.根据测试结果,我们分别分析了大文件和小文件两种文件类型的存储介质的性价比,对应的文件大小分别为大于32MB和小于

1MB.

我们假设读取和写入的时间比例相同,所以将第4节中3种文件系统指定文件大小的读取和写入速率的平均值作为了■。泌的值.计算可得了■。协的值如表4.

存储介质的能耗分为工作状态能耗和空闲状态能耗两种,如表5所示[1

2|.

表5存储介质能耗

(2)存储介质的性能提升

1996年~2006年,磁盘的读写性能提高了1.3倍,SSD的性能提高了50倍.我们假设未来磁盘和SSD的性能也会按照该速率逐渐提升,即2015年磁盘的读写性能是当前的1.14倍左右,SSD的读写性能提高7.1倍左右.我们预测2015年DDR3大规模应用,2020年DDR4大规模应用,性能分别是现在的2倍~4倍.

(3)存储介质的使用年限

本文假设磁盘、SSD和DRAM因技术发展等原因,设备更新周期约5年.

如果访问存储介质,则认为它以工作状态能耗运行;如果没有访问存储介质,则认为它以空闲状态能耗运行.电费P。按照每千瓦时0.0732美元计算.在本文的理论模型中,我们不考虑存储介质之外的花费,如数据中心的场地费用、制冷能耗等.

5.3性价比分析

根据性价比理论模型计算可得磁盘、SSD和DRAM在当前、2015年和2020年的性价比,如

万方数据

10期许春聪等:分布式文件系统存储介质评测与分析

图12、图13和图14所示.图的横坐标代表每天工作的小时数,纵坐标代表性价比.从图中可以看出,存储介质的性价比随着每天工作时间的增加相应增大,且大文件情况下的性价比均明显大于小文件情况下的性价比.这主要是因为系统平均每天的数据访问总量随工作时间线性增大,而存储介质每天的折旧费不变,每天消耗的电费仅有微小的增大.

图12当前磁盘、SSD和DRAM的性价比

图132015年磁盘、SSD和DRAM的性价比

图142020年磁盘、SSD和DRAM的性价比

从图中可以看出,当前至2020年,DRAM能够获取比磁盘和SSD更高的性价比,且随着时间推移,这一差距不断增大.当前,SSD的性价比小于磁盘的性价比.但由于SSD的价格下降速率比磁盘明,未来SSD有可能会代替磁盘成为基本的存储

DRAM相对于磁盘和SSD的性价比优势随着万方数据

机访问应用等方面具有优势.

6结论及展望

价格和容量是磁盘的最大优势.而且,基于磁盘的系统管理软件功能丰富、技术成熟,这使得基于磁盘构建分布式存储系统较为容易.当前,SSD虽然能够提供较好的访问性能,但其价格高,容量较小.未来SSD的性价比将快速提升,SSD有可能替代磁盘成为基本存储介质.

DRAM能够提供高I/0吞吐率和低访问延迟,具有较大的性价比优势.针对高并发随机访问应用,DRAM性价比优势更加明显.我们认为,当前DRAM并未成为最基本的存储介质,主要有3个方面原因:(1)容量较小,无法满足较大规模的数据存

储要求;(2)基于DRAM的系统软件和数据管理软件很少,无法发挥DRAM随机访问的性能优势;(3)DRAM的可靠性仍无法满足持久化存储数据的甚至数百TB容量的分布式数据存储系统,DRAM有可能成为可选的数据存储介质.因此,研究基于意义.

考文献

GhemawatS,Gobioff

H。LeungST.The

google

file

sys—

tem//Proceedingsofthe19th

ACMSymposium

on

Operating

SystemsPrinciples.Sagamore,2003:29—43Caulfield

M,Grupp

M,SwansonS.Gordon:Using

flashmemory

to

buildfast,power-efficientclusters/or

data—

intensive

applications//Proceedingsofthe

InternationaI

Con—

ferenee

on

ArchitecturalSupportforProgramming

Languages

andOperating

Systems.Wangington,2008:217—228

Andersen

G,FranklinJ,KaminskyM.FAWN:Afast

at-

ray

of

wimpy

nodes//Proceedingsofthe

22nd

ACMSymposi—

um

on

OperatingSystems

Principles.BigSky,2009:1-14

OuterhoutJ,AgrawalP,ErieksonDet

a1.The

case

for

RAMClouds:Scalablehigh—peHormance

storageentirely

in

DRAM.OperatingSystemsReview,2009,43(4):92—105Schmidt

K,Ou

Y.H目xderT.Thepromiseofsolid

state

disks:Increasingefficiencyandreducing

cost

ofDBMS

pro—

cessing//ProceedingsoftheCanadianConference

on

Comput-

er

Science&SoftwareEngineering.Montreal,2009:35—4I

PokeM,SimsaJ,GibsonGCompaHng

performanceofsol—

id

state

devicesandmechanicaldisks//Proceedingsofthe3rdPetascale

Data

StorageWorkshopHeld

in

Conjunctionwith

Supereomputing.Pittsburgh,2008:1—7

基本要求.到2020年,使用DRAM将可能构建数十DRAM的系统软件和数据管理软件具有重要的

快,性能进一步提高,2015年SSD的性价比将超过磁盘的性价比,此后差距将逐渐扩大.这一变化表设备.

工作时间的增加逐渐增大,访问小文件时,其性价比优势更大.这表明,DRAM在数据密集型应用和随

1880

机学报

2010经

1-7-I

NarayananD,ThereskaEno,DonnellyA

et

a1.Migrating

server

storage

to

SSDs:Analysisoftradeoffs//Proceedings

ofthe4thACMEuropeanConference

on

ComputerSystems

(EuroSys’09).Nuremberg,2009:145—158E83AndersonE,SpeneeS,SwaminathanR

et

a1.Quicklyfind—ing

near-optimal

storagedesigns.ACM

Transactions

on

ComputerSystem,2005,23(4):337—374

[9]StrunkJ,ThereskaE,FaloutsosC,GangerG.Usingutility

to

provisionstorage

systems//ProceedingsoftheUSENIXConference

on

File

andStorage

Technologies.SanJose,

2008:313—328

XUChun Cong,bornin1980,Ph.D.candidate.Hisresearchinterestsincludecloudcomputing

and

distributed

file

system.

HUANG

Xiao Meng,bornin1980,Ph.D.,assistant

professor.His

research

interestsincludedata

grid,cloud

Background

Theworkpresentedinthis

paper

belongs

tothefieldofDistributedFile

SystemandStorageMediumincloudcompu—

ting.Manypeoplehaveproposed

test

solutions0fdisk.SSD

and

DRAM,butmostofthesesolutions

are

aimedat

single

storage

facility.Otherpeoplefocus

on

theresearchofbuild—

ingmass

storage

system

byusingSSD

or

DRAM.Onthis

background,theauthorspropose

price—performance

ratio

evaluationmodelof

storage

medium.Theresearchproposed

万方数据

[103

KryderMH。Kim

CS.After

hard

drives—What

comes

next?IEEETransactions

on

Magnetics,2009,45(10)2

3406—3413

[11]

HUXiao-Yu,EleftheriouE,HaasRobert,Iliadisl,Pletka

R.Writeamplificationanalysis

inflash—based

solid

state

drives//ProceedingsoftheSYSTOR2009:TheIsraeliExper—

imentalSystemsConference.Haifa,2009:10-19

[12]

SivathanuG,ZadokE.Aversatile

persistent

cachingframe—

workforfilesystems.StonyBrookUniversity,NewYork:TechnicaI

Report

FSLr05—05.2005

computinganddistributedfilesystem.

WUNuo,bornin1983,Ph.D.candidate.Hisresearch

interestsfocus

on

distributeddata

storagesystem.

SUN

Ning—Wei,bornin1987,bachelor.Hisresearch

interestsfocus

on

distributedfilesystem.

YANG

Guang—Wen,bornin1963。Ph.D.,professor,

Ph.D.supervisor.Hisresearchinterestsincludedatagrid,

cloudcomputinganddistributedstoragesystem.

inthispaper

is

part

ofworksupportedbyChinaGridproject

of

MinistryofEducationofChina。NationalNaturalScience

Foundation

of

China(60803121,60773145,90812001,

60963005),NationalHighTechnologyResearchandDevel—opmentProgram(863Program)OfChina(2010AA012401).

Theresultofthis

paper

isimportantforselecting

stor—

age

mediuminbuilding

distributed

storagesystem,andis

valuableinstudyingofdistributedfile

system.

本文来源:https://www.bwwdw.com/article/23hm.html

Top