使用VMware Esxi和Hadoop进行大数据平台的搭建研究

龙源期刊网 http://www.qikan.com.cn

使用VMware Esxi和Hadoop进行大数据平台的搭建研究

作者：冯健文

来源：《电脑知识与技术》2017年第09期

摘要：对于VMware Esxi与Hadoop进行大数据平台的搭建，该文主要考虑到实验室的成本以及对于监控集群的方便性的操作，并最大程度的利用机器的性能。同时还要结合Linux系统本身的机制以及文件同步系统来对平台进行快速地搭建，最后进行集群的测试，验证平台的可操作性以及使用性。

关键词：VMware Esxi；Hadoop；大数据平台；研究

互联网与物联网等新技术的快速发展，人们对于数据已经进入了一个爆炸的状态，数据量的增长已经呈现出指数性的增长。因此来说，如何对如此庞大的数据量进行计算成了人们需要面对的一个问题。使用传统的计算模式显然是无法实现的，当前市面上使用比较广泛的一些关系型数据库也不能实现对这些海量数据的存储。此时就需要人们研究一种新的实施方案，来对这些海量的数据进行存储于管理。而Hadoop公司已经实现了谷歌公司的GFS，使用它可以很方便的来处理这些问题。通常情况下，人们都是在分布式的集群上搭建大数据应用平台而Hadoop则需要更多的配置文件，如果在分布式集群上进行搭建就需要不断的对配置进行修改，显然是非常繁琐的，对于这个问题，本文提出了使用VMware Esxi与Hadoop进行结合的办法，希望能对这个问题实现完美的解决方案。 1.VMware Esxf与Hadoop

VMware Esxi是可以在服务器的硬件上建立的一个虚拟机系统，在进行建立的时候并通常是用宿主的操作系统进行支持的，因此它就拥有了更高的稳定性，却也不会损耗机器的重要性能VMware Esxi能够建立多个虚拟机系统的，每一个独立的虚拟机都可以有自己独立的操作系统与应用程序，在对Esxi系统进行安装之后，就可以登录进行操作，此时就可以创建一些虚拟机或者是陕照了。

Hadoop属于Apache公司，是Apache开发的一个比较开源的分布式的系统架构，主要的作用是可以提供接口与数据服务给应用程序，具有稳定性高与性能可靠的优势。Hadoop的组成主要有两部分，一是HDFS，即Hadoop Distributed file System，二是Hadoop MapReduce。这两部分中的HDFS属于Hadoop的分布式文件系统，主要使用的架构方式是主从方式，通常是包括一个控制节点以及多个数据节点。其中控制节点负责对文件系统的命名空间进行管理，主要是对所有的文件所在的数据节点的信息进行记录。而数据节点的主要任务则是对数据进行存储。MapReduce则是整个HadoopDE计算引擎，当然也是分布式的有了它就可以对数据进行并行的处理，主要的实现思想用中国的一句话将就是分而治之，根据名字来对处理的阶段进行

本文来源：https://www.bwwdw.com/article/xg7p.html