厦门大学-林子雨-大数据技术原理与应用-教材配套上机练习-习题7-3-编写MapReduce程序实现

厦门大学林子雨编著

《大数据技术原理与应用》

教材配套上机练习

编写MapReduce程序实现词频统计

（版本号：2016年3月29日版本）

主讲教师：林子雨 厦门大学数据库实验室 二零一六年三月

目录

目录

1 作业题目 ................................................................................................................................... 1 2 作业目的 ................................................................................................................................... 1 3 作业性质 ................................................................................................................................... 1 4 作业考核方法 ........................................................................................................................... 1 5 作业提交日期与方式 ............................................................................................................... 1 6 实验平台 ................................................................................................................................... 1 7 实验内容和要求 ....................................................................................................................... 1 8 实验报告 ................................................................................................................................... 2 附录1:任课教师介绍....................................................................................................................... 2 附录2：课程教材介绍 .................................................................................................................... 2 附录3：中国高校大数据课程公共服务平台介绍 ........................................................................ 3

厦门大学林子雨编著《大数据技术原理与应用》 教材配套上机练习 编写MapReduce程序实现词频统计

厦门大学林子雨编著《大数据技术原理与应用》

教材配套上机练习

编写MapReduce程序实现词频统计

上机练习说明

主讲教师：林子雨

E-mail: ziyulin@xmu.edu.cn 个人主页：http://www.cs.xmu.edu.cn/linziyu

1 作业题目

熟悉MapReduce编程。

2 作业目的

1. 理解Hadoop中MapReduce模块的处理逻辑 2. 熟悉MapReduce编程

3 作业性质

课后作业，必做，作为课堂平时成绩。

4 作业考核方法

提交上机实验报告，任课老师根据上机实验报告评定成绩。

5 作业提交日期与方式

林子雨编著《大数据技术原理与应用》教材第七章MapReduce内容结束后的下一周周六晚上9点之前提交。

6 实验平台

操作系统：Linux

工具：Eclipse或者Intellij Idea等Java IDE

7 实验内容和要求

1. 在电脑上新建文件夹input，并input文件夹中创建三个文本文件：

file1.txt,file2.txt,file3.txt

三个文本文件的内容分别是： file1.txt: hello dblab world file2.txt: hello dblab hadoop file3.txt: hello mapreduce

2. 启动hadoop伪分布式，将input文件夹上传到HDFS上

3. 编写mapreduce程序，实现单词出现次数统计。统计结果保存到hdfs的output文件

夹。

4. 获取统计结果（给出截图或相关结果数据）

主讲教师：林子雨 http://www.cs.xmu.edu.cn/linziyu 第1页

厦门大学林子雨编著《大数据技术原理与应用》 教材配套上机练习 编写MapReduce程序实现词频统计

8 实验报告

厦门大学计算机系研究生课程《大数据技术原理与应用》实验报告 题目： 实验环境： 实验内容与完成情况： 出现的问题： 解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：

姓名 日期 附录1:任课教师介绍

林子雨(1978－),男,博士,厦门大学计算机科学系助理教授,主要研究领域为数据库,实时主动数据仓库,数据挖掘. 主讲课程：《大数据技术基础》

办公地点：厦门大学海韵园科研2号楼 E-mail: ziyulin@xmu.edu.cn

个人主页：http://www.cs.xmu.edu.cn/linziyu 数据库实验室网站：http://dblab.xmu.edu.cn

附录2：课程教材介绍

《大数据技术原理与应用——概念、存储、处理、分析与应用》，由厦门大学计算机科学系教师林子雨博士编著，是中国高校第一本系统介绍大数据知识的专业教材。本书定位为大数据技术入门教材，为读者搭建起通向“大数据知识空间”的桥梁和纽带，以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则，为读者在大数据领域“深耕细作”奠定基础、指明方向。

全书共有13章，系统地论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据 库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领

主讲教师：林子雨 http://www.cs.xmu.edu.cn/linziyu 第2页

厦门大学林子雨编著《大数据技术原理与应用》 教材配套上机练习 编写MapReduce程序实现词频统计

域的应用。在Hadoop、HDFS、HBase和MapReduce等重要章节，安排了入门级的实践操作，让读者更好地学习和掌握大数据关键技术。

本书可以作为高等院校计算机专业、信息管理等相关专业的大数据课程教材，也可供相关技术人员参考、学习、培训之用。

欢迎访问《大数据技术原理与应用——概念、存储、处理、分析与应用》教材官方网站：http://dblab.xmu.edu.cn/post/bigdata

扫一扫访问教材官网

附录3：中国高校大数据课程公共服务平台介绍

中国高校大数据课程公共服务平台，由中国高校首个“数字教师”的提出者和建设者——林子雨老师发起，由厦门大学数据库实验室全力打造，由厦门大学云计算与大数据研究中心、海峡云计算与大数据应用研究中心携手共建。这是国内第一个服务于高校大数据课程建设的公共服务平台，旨在促进国内高校大数据课程体系建设，提高大数据课程教学水平，降低大数据课程学习门槛，提升学生课程学习效果。平台服务对象涵盖高校、教师和学生。平台为高校开设大数据课程提供全流程辅助，为教师开展教学工作提供一站式服务，为学生学习大数据课程提供全方位辅导。平台重点打造“9个1工程”，即1本教材（含官网）、1个教师服务站、1个学生服务站、1个公益项目、1堂巡讲公开课、1个示范班级、1门在线课程、1个交流群（QQ群、微信群）和1个保障团队。

平台主页：http://dblab.xmu.edu.cn/post/bigdata-teaching-platform/

主讲教师：林子雨 http://www.cs.xmu.edu.cn/linziyu 第3页

厦门大学林子雨编著《大数据技术原理与应用》 教材配套上机练习 编写MapReduce程序实现词频统计

主讲教师：林子雨

扫一扫访问平台主页

http://www.cs.xmu.edu.cn/linziyu 第4页

本文来源：https://www.bwwdw.com/article/vzxd.html