大数据在物流管理中的应用

大数据在物流管理中的应用

[摘要] 当前，随着电子商务的发展物流业也随之迅猛的发展起来。仅在2015年“双

11”期间，快件业务量或将突破5亿件，比去年同期增长近五成；最高日处理量或将达到9000万件，比去年增长38.5％。因此如何及时、准确地收集和分析各种信息与数据,对于制定科学的物流解决方案、提高物流企业管理水平和效益,具有积极重要的作用。在技术趋于成熟下，带动了以大数据应用为基础的智能物流的兴起，极大的促进了产业优化，实现物流产业各个环节的信息共享和协调合作，优化配置。本文的研究意义在于，如何在大数据技术的基础上对于物流产业产生的数据进行分析，整合，做出科学的决策。

[关键词]大数据；物流；管理

目录

引言??????????????????????????????????1

一、大数据概述?????????????????????????????1 （一）大数据的定义??????????????????????????1 （二）大数据的特征??????????????????????????1 （三）大数据的关键技术????????????????????????2 二、物流管理及物流管理系统概述?????????????????????4 （一）物流管理的定义?????????????????????????4 （二）物流管理的特点?????????????????????????4 （三）物流管理的基本内容???????????????????????4 （四）物流管理系统??????????????????????????5 三、物流管理现状????????????????????????????7 四、大数据在物流管理中的应用??????????????????????9 （一）物流管理系统数据库???????????????????????9 （二）物流管理系统中大数据技术的应用?????????????????11 （三）大数据应用于物流管理的重要意义?????????????????12 五、总结与展望?????????????????????????????13 致谢语?????????????????????????????????16 参考文献????????????????????????????????17

引言

电子商务已越来越深入人心，随之发展的首要问题就是物流的问题。当前，我国的物流业也保持着高速的增长，物流的各个环节产生的数据正已爆炸性的增长。在现今物联网、云计算、大数据等技术的发展下。如何运用大数据技术运用到物流管理上，对物流数据进行挖掘、分析、提炼、整合，以便了解物流的状况和业务情况，并进行战略规划，制定物流企业决策，提升物流业的服务水平。

本文介绍大数据的相关术语和技术；介绍现代物流管理以及分析物流管理的现状；分析大数据在物流管理的前景，研究大数据技术可运用在物流管理的技术；发现如今在物流管理中存在的问题并提出相关的对策建议。

一、大数据概述

（一）大数据的定义

大数据技术(Big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。

[1]

（二）大数据的特征

（1）体重（Volume）：体重是大数据的空间属性。数据体量巨大，非结构化数据的超大规模和增长，从TB级别跃升到PB级别。

（2）多样性（Variety）：多样式大数据的结构属性。数据类型繁多，有很多不同类型的数据，如文本、图像、视频、机器数据、地理位置信息等。

（3）价值密度（Value）：价值密度是大数据的内容属性。价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

（4）速度（Velocity）：速度是大数据的时间属性。处理速度快，遵循1秒定律，实时分析而非批量式分析。

1

（三）大数据的关键技术

大数据的基本处理流程与传统数据处理流程并无太大差异，主要区别在于：由于大数据要处理大量、非结构化的数据，所以在各个处理环节中都可以采用MapReduce[2]等处理。如下图1所示：

图1适用MapReduce的各环节处理

1.大数据的并行处理利器——MapReduce如下图2所示

大数据可以通过MapReduce这一并行处理技术来提高数据的处理速度。MapReduce的设计初衷是通过大量廉价服务器实现大数据并行处理，对数据一致性要求不高，其突出优势是具有扩展性和可用性，特别适用于海量的结构化、半结构化及非结构化数据的混合处理。

MapReduce将传统的查询、分解及数据分析进行分布式处理，将处理任务分配到不同的处理节点，因此具有更强的并行处理能力。作为一个简化的并行处理的编程模型，MapReduce还降低了开发并行应用的门槛。

MapReduce是一套软件框架，包括Map（映射）和Reduce（化简）两个阶段，可以进行海量数据分割、任务分解与结果汇总，从而完成海量数据的并行处理。

图2 MapReduce工作流程

2

MapReduce的工作原理其实是先分后合的数据处理方式。Map即“分解”，把海量数据分割成了若干部分，分给多台处理器并行处理；Reduce即“合并”，把各台处理器处理后的结果进行汇总操作以得到最终结果。如右图所示，如果采用MapReduce来统计不同几何形状的数量，它会先把任务分配到两个节点，由两个节点分别并行统计，然后再把它们的结果汇总，得到最终的计算结果。数据处理方式如下图3所示：

MapReduce适合进行数据分析、日志分析、商业智能分析、客户营销、大规模索引等业务，并具有非常明显的效果。通过结合MapReduce技术进行实时分析，某家电公司的信用计算时间从33小时缩短到8秒，而MKI的基因分析时间从数天缩短到20分钟。

图3 使用MapReduce进行形状计数

2.大数据技术在数据采集方面采用的方法 （1）系统日志采集方法

很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

（2）网络数据采集方法：对非结构化数据的采集

网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。

除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或DFI等带宽管理

3

本文来源：https://www.bwwdw.com/article/9c1t.html