智能交通大数据分析云平台技术_邱卫云

技术<

T CE N

HO

L

O

G Y智交能通大数 分据析云平台术技

江苏省交通信信通息中心邱云卫我国能智交技通术的发展始于 世上纪9“

0年代

,

在

“

五

”十和 通交门部迫切需要

一种更加先进 智的能数据分析段对手交通行业

、十一

五

”期得间到了快速发展。

在公路路水交通运输 信息化的的海量数据行进高效,实时的分

,析为出行者供提时实准确的交

“

十五二标

,

规划”中,

交通部进

一步明确 未智来能交运输通发展的通信息服务

,为通交管理门部快速处理发突事故及以违法交通行

目提要出注重技新术在 业行应用中的研、究绕感围识别知提为参供考、

。网络传输智能处理和数据挖掘等关键环节。

,

开展交通运输领域,

的应用攻关

在信息化重大工 和程示范试 工点实程中施、加对强用优应势

物联网究

,

云计算

、海量储存、

高传速输等新术技的。

一化应体用研

一提行升业信息化技术水平

提、交高运行通率效

、大数据技术能进促高提通运交营率效

道路网通行能力和设

技,分术析控调大交据数B

gif

需求

。

交

i

l改善涉及的工程量较大

。

而数大

据使通交运

,的大体积特性有 助解于决这种困境 (

大i数据的 时实

性

, Dat

a

)

是云继计算、

、物联网之后

I

T产业又、

一

行次更合理加。

当处于静态闲置的 数据处被理和需要利用时可被

颠性技覆变术革低 商与价值业、高,

具有数体璗巨大据。

数据类型繁多价值密度智能化利用

,

大。数据 技术具有较高预测能力

,

降可误报和漏低报

。

理速处度快 等特点概的率

随,时针对交的通态动性给予实时监控

在、交通领域和用应据,数

海的璗数主据要包 括类交通各运行监、控、

服务二,

高提交 通安全平水

如公路、

航道、

运客场站和港口等频视监数控据大数据技术的实时 和性可测预性有 助提于高 交安通全系统

、城市高和速公路交、

干线公路的各类量流,

气象测数据检

,城市公 数的处理能据力

,如联合路边探测器检査车辆运轨行迹、

、

数大

出租车和客运辆车卫星定位

数据,

以及公路和航收道费据数据技术快速整 合各个 传器感数据

。构建安全模型综后合析车分

。

等等

这些通数交据 类型繁多,

,

而且体积巨大丨

行辆驶的安全性

-,从而可以有效降低交通事故的可能

性在应,

鹏应用中雙分配

(全球最终用户所使用的企业和 a pp u esr liP

存储智B城市每天产生 U(

PB

-UPB急救援方面,

2 0 61)

观臓据

ng l

大数据其以快速 的反应时间和 综合的决策 型,模丨

n

v

i

edoitmoo

nif

tor il

c a

t

i

on,

com

p

a n

i

s

e and

P I

s

to

ra

g

eSi

ma

trc

t

yia

pr

do

ru ces

. 0

.3

BP

.

76P B

a

l

l

oca

o ng

ob a

(s2

0

1

6)

vd

o

dea

为应急决策指提挥供辅助作用

提。高应急救援能力

,减少员人

p et

da y银行与金 H

.i

B an

ki

g

&nFi

n a n e^c伤亡和产财损失.

WH

S S

urve

i

ll

an

ce

三供提环境监测方式

、

大数碰术 轻纖交細鹏塞

1降低汽车输对环运境的影

,

S

n

□、咖

Z热L I响等方 面有重作要用

f。

通过建立域交通区排放监及测预测模型'

丨_賺a nu

atcn d

ust

r

i

Ma .lI

u r i gn来共交享运通行 环与境据数

针对哲交能通系应用统忑有样,

建立交通 运行与職数据共享 试

验,

^U

t

il

i

ite

,s3

7

%4

7"%

f

:

□嫩

ReW丨

系统

郝_。

大数据技术有效可析分交通环对境的影响

同时分析历史

"Uh e

i

l数据该技 术能提还供降 交通低延误和少减排放的交通信号 能智

。e

_

re

d□□ M影响仿系真

统。

一

i

l—帛图

1海量的智能通交数放据环境通过市调场研分析,

目国前外内计对交通理管题◆问产一

些系统生产品

。足

,但存仍在系功统能单

、缺乏整合、

技术落后等不 1?

&架^

勾主要体现在用系应建设分统散

、

、海数据量缺有效乏整,

合

、

交、

通数据利用率低

数据 价无值法得到充分发挥。

以及交通预警 传智交能通大数据 分析平云台 由础基设施,层数据析分层和终播限

、受路况信息难于及获取时等方面

随着信息技术的发展端发布层组成。

如图 2所示

。1

06

中国交信通息化 ww.w2 0i

13 s .

.

1

0

n hc

in

a

ct

责任辑编.

刘健

(睿实习

)

基W于^ aI u bPl i

e b

e

、r Ande

s—e

、

i

SeOd

的多職终布贼職 on

、

交通据数

,结大合据数与云计算技术,,

利专用家 学模数型海对量

,

s

ihng

vsi

c

sty

m

bas W

eb

A n,dro

id

i,

OS

,

et

c .

—'

时。_°

碰纖

一

r^

=二二H= da oolpi、

交通数据进行多维 度的分析和挖'掘

并通过云发布服务、将分析

eR

―1―

a-l

ti

med a

t

a

p

i

i

b

l

s

ih

i gn结果传达至类终各端:

提:高人们纖桥态状、

交通情况的知感能

,1

;=

<

?基于数m o

N sea,S o

QnL

,.

B丨

及据挖数技掘术的大据数析分

,

力

,使交通参与者能快巨速

。

全面、

准的确成交通评完估和决策

据析

B层i

g

Dt aa

ana y ss

b

d

o

H da oo

N o

p

SQ

L,

B

I

an dD

at

a

Mi

n

i

n

g实现交通智育管化理一智能交大通数据存储B

i

、分析

lg

D

a

t

a

s

otr

a g

e&

a n a

l

y

s

i

s

of

Int

el

i

g ent

Tr

a s npo

r

tat

o ni

、

甘客服曰分巷神服奶姑

-

文头现J

不

r该层主要利用云 计来算实现“—

。

云计算是指基于互联网的超、级

C uodlC om^^nuti

a

fto

r

m^^台f平I

pOenSt

a c k

计模式算tI,

即把储存个于人计算机

一移动电话和他其设备 的上大

。

I

Cl智能交o ud

量信息和处器资源理集中在

丨起,

协工作同它是

一一

新种兴的共'C ompng

p

a

tlf

o

r

om

nte

lli eg n

t

T

ran ps

o—

r

ati

no

:

v

-—

-,

」

享基架础构的方法

。,可以将巨 大系的池连统接在起

以供提各

图

一2

能智交 通大数据分析平台云整体架f W#.

基础服务层本文采用,O

p en S

t

a ck立建云计算平台 b a

s,将各类交通

IT

基设础

。

基础服务层是数据析分层和端终分层布基础的其主

要目的转化施为设备资源服务一

;

用采H

e,

现实数 据的快速存

取利用云计算技是术,

将不同系统 的据进数行整合。

,

对异构数据

进(

)

交数通据源整合,

行析分和存储,

要具备全安性 和定稳性用利云计算技术实现对散分统系和 异构数 据整合,的将存在

该层为数据分析层和端终分布提层供据数和性能 证保集合了多

个通应用交系 统、除

,由于于不同系统 交通的础设基施信息、、

交通对信象息和交通工具信息,

数据更新频非率快,

常,括包插入删行进效有组织。,

再用利数大据处理技术

。

解决整合后 海量数据的

修改、

、添加以 重排序及等等

在动态更新情的下况保证系统存储和读取

。

如图 3所

的安示全性二.

稳定性以及数据的确准至性关重要据数分析层

数分据析层 合结基础服 务层为数据和交通管理提供实际需7求,

二騮[!74

,]

丨

运态謅丨]!

—y

环職

'

利用大数据和数据挖掘技,术产生有于助交通 体进行主决策

、“?

*:

辦 m丨

[

财和判断的信

顧纖碰S□。纖分細时实細繊鹏

m

丨m

^mm丨1

I丨~

,数_据的准性确要求据挖数掘模型要经过充分和严格地验证 并期对定模型进行准 确性估评分析的实性时要求台平能够给用J L样性等三方面待性, i

丨路m

|

:

;_

J

提户供最新的分 析结论

,根最新据结论 做出有决效策、

'

这要求 交通大 I信息具

313

^5信息

数 据术技支快速的持存储具有维多度的分析能力级

、处理和运算

。

功能的多样性要求平台'

。

数据在的间时段方;

平面台要需分析天

Hwl

.丨r

w

i

'I

周

级、、

膽纖卿

据在受众

,細平台離翅政舰在据数翻細,

I

^I

面b棚

.

Mi)

[

|府部门龍部门和广大 公众的不同 需。

求;

平;

I;1

1

!

I

要能台够供提状现分析和趋势预测 三图.

3

交通数据整 合示意图

终端发层布二 (,

)

云平台 础基施设务服p enS

终端 t分布层是将数据分析层产生的分析结存果储到端云,,根云平台基础设施服务采用 O。I

ack

建立云计算平台、,

将交据不同的终端请 提供和求展不示同的分析结果具要有易性用通各类T基设础施转化为设备资源服务层此直面接向应用对象提的供服务必 须让用 户容易理解和使用二,

如。4图

5图示所

。

,

、

数分据析层的技术实现

,

界面友好 于易操作能够准确找到与需求对应的功能入采口用数据挖掘技术,,

根。交据通管理中路网检测监控,、

公出众

行服务

、

据数综合析等需分求

结

合专家数学模型

,

对采集的路,技实现术桥态平台具状体的技术实思现路是

、

通路交

?兄的海量数进行实时据处理和有分析效、

随时随

、地掌握交通的通状行态,中断率、

拥挤度,

实现路桥安全评估

。

采用大 据技数处术理和存储堵预警

、拥交通诱等导

一

系列智能交行通为

021

3.

10.

国中交通息信c h化i1

f

)

7W

W

nW

ai

t

s.C

N

技术

< ET CHNO

LO G

Y要增加一

些自己的键值'对

,

这样就 会不局 于限统传交系通统数据些时间和空间的销开。^^^^用户用户用户用户

库的固定结构访问,

可以少减一

它的优势于在

能支持数据高库并发写读,

能对海量交通 数进据行高效率存储和

。

`1丨'大数据分通耐

入

接

能1使数据库具有较高可扩的展性和可用性

。

这些特性非都丨

?

?□

?屮心

!

、

丨`

.

.常有利于我对交们通数据处理的?I

洲丨一

”^

1

丨广_”

?

?

`

一

~|

“

k…

N ZoS

?

?

??

—

h

_

|_

U S Ch s闷闷SQ

Ld

is tr

ibu

ted

dat

a

b s ea

vD

]

..

.

资源 虚化拟??

大醜分析能智肌,云台平

IZz

“

“ ns

t

e

lli

gentait

Bg

i

"

?? *"???

??

*T?

r

a n

p o

t

r

to nl

D

Cl

a

a

PAn al

y

s

is

关型数据系库

o( uda

tfor

mrd b

sX

)

?

4

智能交云平台

通細施层型模示意

图>

?^

vario

S

i

nal

s

应!急挥指系统

I!

'政行力权系统cI

Ir

II

I地理偯 l说系统系

! i

辦系统

t

mm贿 l樂作系统三 iii

作系抚播^

i

(

图7

崎与关系型数据库相 合示意结图)

HBa Bas

se技术

,

O物

O

O O所 的是虚拟单的

細eH細較贿丽 絲儒雑酔心一

舶这样

M flg

g

iS

]JI数据中

心,

每个数据中心 互备为(份。

使得平台具有海对量交通关系型数据和非系关型据数监视控频

图5、

如通交音

频

。

、各类应文档用等

的高吞)吐能力

,

现实数 据

交通行应业用服务器虚拟化意图

的示

速#取

一

()他_

技术

鬥

,=_sfQt.

:

r

`

Ha d oop是

一个能够对大 数量据进行分布式处理的件软框,

。

架在靠性可方面它

维护多个工作数据 副本;

能够确保针对失,

_

、

畋f的节点重新分处布理

在速度面方,

,

它以并行的 方式工。

作通^

~

~

H

:]f

H:

过并行理处,

快加理处速

能够处度理P B级数、据H

da o op的这

优点使些平台对交通据数的处更准确理?

更快速???。

「/

△

^/`

?

`,el l

ar

t

cbea

t

&

t

/

:/??

?? . .. .

B~~""”l

ok R

p

o

r

e

?

:一"/

??.智能交通平台云—~

“:d uc .I

ZZ Z ZZ

!

Z ZZ^

数据.

~

a d oH~o p

7M

Tal

up

0 '曰e

曰0

◆0

◆^0

曰曰T

~

Y.

0

◆

::

::

q:

=q|

q主,点 q

....

`

`

:

:i^\??_[

]

.

Da t

&No dc

D

a

tSaode

Diit

a

oNdc

O a

l

&N o d e

?? !?

.

□

图

智能8交通平云台

—

BH a

se

技术示意图?

?

?

?

?..

"“

江苏以通交卫星位定数据为例示台。

江苏省全有5万多辆交通营

图

6直接传输据数S_ J

。

P的智贼通云平

M 运车辆安装了卫星定 位备,设

,

能时实传送卫定位星数据至交通运

0 0

(

二)

智能交通中L

N S

Qo

L的应用输管部监门。

每日生产的卫星位定数据 015.万条

一,

个的卫

月 N oSQ即非关系型据数库,

交通数据中包海含量的图片

、

视定星位数 总量据,达

5亿

。如大此的据

,数若用统的关传系型数据

s

频

、音频等数据。

传统的关系数型据已库不能对其进行有效的存库 L,

査询需耗时数分钟,。

本项目使 H用tB

ea.

将传统数库中据的数

并对据数中的乱进码而在后HB as

储和理管No S Q

与关 数系据库中的表都是存储式化格的数据据出导至cs v文,件

再将其分割为u

t

xt

小文件,

其构结所不同的不是固定,

非系关型数据库 是键值以对存一

,储它的结构处理行

r。

处理的好文件,p

到H,DFS分区中S

,

e中创建

每c

一个元组可以有不样的字段

,

每个元组可根以据需 Ta

i fc

表

通过 M

pa Re duc

把eHD F

下的文件写入 T

r到

a if中

m。i u

oo

中国交信通息化ww

1

0 1 3t s2.

1.0

n

w

.c

hi

n

a

ci

任编责辑刘睿健

(

习

)实

了为快速査

询,在库的入同、时,

建立相应的索引表 TmH

i

c

I

dne x,

丛理解卜

钻和上

最卷终的査询速仅需度几秒钟键码代如图 9示i所t:。

卫星位定数据存储 H

到Ba s

e中关的+“

一?

“??9P??

*?

I?

.ti

.

/U u M f ra u o u/u// f/0<

t

2008

O.

?

i

? ttr ln

l

|g

?

,

s

0.

lt

h-

li

>/

-jy

-///^//y~

/

/y

/ 02 09t(

下钻a一

:

可以按_

年“一

半

.年一季度

-

|{月

一日

”,,的级层:

?

_

_

一直下钻到每

cf

—

.r

ut

p

u

t

-P

ut(

B

y

.c

.

t?

ye Mo(

9|

?i

d?

<(

M

l

Ut

1<

-

Ott

l

Ii(

<?l

)S-

lM

<I

l t

"

?

(u

l.2

9?

柑出乍.

/y/

/

一

加粗天部分下钻到年、半

U

.?

au

.

*

?lf

Ml

?

u b

f

?t r*)

il

X

.?

.-

U

/pw

d daOy

tM

toa

yt

C

iB

o,

?

yt? a

to

ay

tM

(

aJ

M

a|

tl

)

B. yt?

a.

t

o

fyt

M

(4

a

t

(Mi

l*|11

^1?K

T

/-

h .tx私家

车

/

[y 0 0 92/

\I/

年半下年 3个城市

3

种午辆.

交通事故的总量

年不擎年

上卷

:这例子个只里有 3个城市0

,

P^utt p ut.

:

::;

^^ (

:镇江t

《J

南州通如果5

个城市可以上到卷全国t

j

a i

uap.

t

□n?w.s

P u tC

B ty?ts

.t

oy0l

e

"5(

? k,y.

c t

ost *.s

r

tl

ng

U t

))

i"i

d

d

i

( yB et

oS.

cys《

Cc o,

;uB n

l)B

yo B

ym s

),

B"y

t* s

.

C

io f y

t

e*(

C

e a

p.t

oS t ri

ng

)()

)

;

hsin

d* xT?b

.

l?lcput,

putc

o nt e t

xwr

ti

丨?

?yw

? lu t

p t 2o1困mm uj智能交通下钻 ^上和卷数据挖掘不洌图

-

A

vte

at

au

>

.

a

.

>

-

t

c

j

^图9卫星定位 数据储到存□H

Bas e中的 关代鍵码一

二

(.

端终分布的层技 术现实

、

ma

+

?0

)

据数分析技 *

用采云计算服务将路桥态状。

通交情等海况量数据析分后所

。

数据 析分能从麵数据中掘隐挖藏f的e息觀律通过现对

的得交臓态进行多终端智手能机(i、

3胃 2—交通状进况行测预和漏报的概数据来率源'

'

了HM

'

— t_

多型类的細务发)

持支PC

、

P a d

,OS

A/

ndr

o

i

d

等类终各

端;

发 布信息 括包交通现;

正。确的据分数方析

从'而辅助父通决策

,提

以降低交通事故报误父通运营效率。

状、

交通预警

、

辅助决的策数据图表等多种型,类息信受众包括

行业、理管员和广大公人民,使得 业行理管人员能够快速估

处评显示和分析能 力理类各交通突发状况\\

公众时感实知桥路安全 状况和通交实时状

。

|

^

态绩m效 M理,

从而提升交通管 水理和平务服满意度

|

丨L

i I

在能智机手和,

进云行服务实时发布

:

过云平通台发布服,^

0

i

u

J9同不倌息1

3r—据数图表、

J'

L

数据螯合数B

2 S

分析I

,賢报(J

^务能让社会公众随时共享交通运行与环境数据从而制 定理合

保证 公众出 安行全减轻路道交通堵塞降低汽车 T的出行划计

丨

|,

、

、运对输境的环影一响

。

^智能交?X)(

*^?ati

低^D

a

t$ il

"“/动接格入

~~

~

I

n

t

e

lli

n g et

Tra nspo

r to n

Bg i

a

A

a ny

ss

Cl u doP

la

ft

o

^r

〉m

~—

"

f

'监控

oMn

tio

r_

t据分析流示意困程f

'

通交大据的数多度维数据挖 以掘及下钻和上卷是数 据分析

B

il l

?

技术的重 要成组部分

,对交数通据数据的掘挖

,如图

丨1

、

图i

2§

a

;

所示

:

m理解一

个椎度成个两椎度的交叉理解时问

、

品产和地点三个椎的度交叉L

?

、一lO3丨

l Q/ B

i a/D f哪

,Z/

/

A

脚

Z

.Z

ZX

|

A困n d ro

id

终端智能交通实时理管意困示

謝—

——/

I

“5

'?

,

M

|*

/

嫩

^二二二//“`

**?

“,

M

Zl〈

I

平台特点

c f"E

M

t

JC匕i

MM

□?

l?纖镇扛

事故?MM?访<1

"□I

x有 I整合交效通海量数资源据

,

供州

'

计云算技可术实现对散分系统和异构数据整合的□

将存在于

aB t

Z/

Mt

<

上

>.

!

!+

1

.扣明苹籌 州出軀笮的文钃 2

0点雎丨糟度的

2X>

.W

f

T

印份 _

(

*B.H

#I

20

?

*

?

*?

丨

丨

*

.*

,

8

^

**?

02丨

_4m(

^f

f不同系统的基础设施信息

3、

<

?

(h-

t

i

t

*

.)断

文事 t饞

交通对象息信交和工通具信进息有行

<,

w效织组图1 1

。利大数用据处理术

技决解整合后海量数的据存取时效

智能交通维多数据度挖掘示例图

021

3.1

.0I

中国交通信患化IHi

w n<

5

WW

W

C

A

INT S

.

CN

技术< T

E

CH N

O

LO G

Y

'息

用云利布发平,台'

过通PC

、 pad、

手等机多个终端、'

时实向

、

用传输路户况信息

保终端的证兼容性、功能的易臓

数据的

==:

:= ==:

]:::

==亡:::

实性

时、区域的泛广性

。

信的息准确性,

户提細供无处不在 的个化性交通信息服务l

Lv*

arn d

o mda

t

a.

/v

结束语

Xx

-

vJV

\

`^

—

“

^

1

\\\\\

\\\本利用文云计算\

\

、大数据,、

数据挖等掘进先技术'

构建了智

,

\??

\

\

\

|能通大交数分据析云平台各架层应构具备该的性

特阐述了平台的三层架构体系明确

了。

“

I,

时同介绍了各层的技实术方现式、

该.

—

i

I台平能解决海数量据储存分析和多终分布的端问题,

'

为交通管

图

丨々

辆车卫星位定大数据分析平查台询示意困

理部门公众和提供随随时地的 通交信息服运用务至交通行业的益有尝试。

是将先进息信技术

a

二

、高提交数通利用据率,

发挥数价值据

,

于基云计算开发行并的数据挖掘服与务数 据发掘有中用信息,

有助于通交部门 从

[

|

>雄覃派.

.

王会举

^丨.

社小勇

:a

.

等大数据分析^

一

RD B MS

与M

ha

p

Re

d uce竞争与共

描述和预测交通情况,

,

发挥数据的潜在价,存

.

软软科[学202

,2332

-

4

5.

值。

采用的大数据技:术够能优化数处理据和分析流

提高程2数0 112

】王誠1

.申8

1-

宏山 98

..

周宁

宁云算环境下计的据数储

.

存计算机技 术与发展

.据 y能拓分mm七 j TJ三m、

,o

2,

4()

:多维度 时实输传⑶个性化服务4 4

(侯建!

帅任俊-

侯基文.

基云于计算的海優数 存据储漢型.

通信技术

,2

0 11

.5

)

6

31

65

:

本文提供的解决方案

,基于数据挖掘 产的生维度多通交信研

究41丨

崔-

.杰?

李陶

10深

4 9.

兰1:

红星-

基于H

a

_?

的海

撞

数据存储平台设计与开发计算机

与发

2

展2,

21

8-

J

1-

L 1

W

0国中通交信息w化 ww.1

2 1 t s0.

3

.

1 0

c

h

nia

ic

n

本文来源：https://www.bwwdw.com/article/raoi.html