智能汽车车载通讯软件测评报告

智能汽车车载通讯软件测评报告

目录

1.项目概况 (1)

1.1背景 (1)

1.2目的及意义 (2)

2.测试策略 (3)

2.1测试说明 (4)

2.2功能测试 (6)

2.3用户界面测试 (8)

2.4性能测试 (9)

2.5强度测试 (9)

2.6容量测试 (10)

2.7安全性和私密性测试 (11)

2.8故障测试 (11)

2.9配置测试 (12)

2.10安装测试 (13)

2.11驾驶安全性 (13)

3.输出标准 (15)

4.测试结果 (16)

4.1测试说明 (16)

4.2测试结果及问题 (17)

5.总结分析 (19)

附件1 测试评估标准表 (20)

附件2 测试用例执行情况 (28)

附件3 性能测试评估表 (29)

附件4 系统响应时间测量记录表 (34)

附件5 驾驶安全性测试统计 (35)

电话交互 (35)

信息交互 (36)

单个被试者统计 (37)

1

1.项目概况

1.1背景

随着汽车产业转型升级的不断深入，电动化、智能化、网联化和共享化呈现出了新的发展趋势。智能手机、平板电脑、汽车电子设备等之间的界限也逐渐模糊，应用的智能性、多媒体的娱乐性、多设备的互联性等已成为车载通信产品研究的主要内容，消费者对汽车的安全性、操作的便捷性、信息的私密性等方面提出了越来越高的要求，尤其是新生代用户习惯实时互联的生活方式，在驾驶过程中因短暂失联而产生“离线焦虑”，这些因素都引发了车载设备智能化市场需求的增加。

众所周知，驾驶员在行车过程中，主要依靠感官及时地获取周围道路的交通信息，外界各种动态因素都会影响驾驶员的正常驾驶，严重的会导致交通事故的发生。据公安部统计1，截至2018年底，中国机动车保有量已达3.27亿辆，其中汽车保有量达2.4亿辆，如图1-1所示。随着汽车保有量的增加，驾驶员人数也随之激增，一定程度上导致交通事故数量呈现增长态势，2017年全国共计报道路交通事故841.9万起。其中，涉及人员伤亡的道路交通事故203049起，直接财产损失12.1亿元，如图1-2所示。如此大的伤亡数据给家庭和社会带来巨大痛苦和损失，据统计，25%～50%的道路交通事故是因驾驶员注意力分散引发2。

图1-1 2014～2018年中国车辆保有量 图1-2 2013～2017年中国交通事故发生起数 随着通信与电子技术的高速发展，汽车已不再仅仅是用来驾驶的交通工具。除移动电话外，微信、导航、音乐播放器和视频播放器等车载通信软件也不断地嵌入驾驶室内，这些软件的安装为驾驶员带来娱乐的同时也成为了注意力潜在的分散源。而驾驶员驾驶的可靠性取

1

公安部交通管理局。中华人民共和国道路交通事故统计年报（2017年度）。 2 咸化彩。次任务驾驶安全性评价指标及评价模型研究[D].吉林大学，2014。

2

决于驾驶员的技术熟练程度、感受交通信息的特性以及在动态交通环境中的应变能力。根据统计分析，各种感官给驾驶员提供交通信息数量的比例分布如下：视觉占80%、听觉占14%、触觉占2%、味觉占2%、嗅觉占2%3。由此可见，视觉系统是驾驶员获取外界信息最重要的渠道。为了能够在有效的车内空间中应用这些通信软件，整合统一的人机交互界面就成为必然趋势。而如何保证车载通信软件满足驾驶员驾驶的安全性、操作的便捷性和信息的私密性等方面需求，开展相应的测评，寻求有效的车载通信软件，既对当前道路交通安全问题具有重要社会意义，也对未来车载信息技术的发展具有重要参考价值需求。

1.2目的及意义

世界智能驾驶挑战赛以“智能改变世界，创新驱动未来”为主题，致力于构建国际化技术实践测评标尺，旨在通过汽车智能化功能测评、汽车自动驾驶测评、汽车智能网联测评和汽车信息安全测评等一系列立体化、实践性、全方位的测评，为国家决策、产品技术提升、社会消费认知提供权威、公正、第三方的服务。为适应技术的快速迭代与消费者的需求升级，第四届世界智能驾驶挑战赛拟增加车载通信软件比赛项目，希望通过符合实际应用需求的实践验证方法，实现对智能汽车车载通信软件的客观评测。为验证测评规则的合理性，世界智能驾驶挑战赛组委会开展了专项测评技术预研与典型产品预测试，最终形成智能汽车车载通信软件测评报告。报告分别从车载通信软件安装测试、性能测试、安全私密性测试、容量测试、强度测试、故障恢复等方面定义车载通信软件的评测维度，对车载通信功能是否完备、性能是否稳定、交互是否友好等方面进行验证。促进车载通信软件的良性发展，完善人机交互方式，使驾驶员在驾驶时能够安全操控、便捷通信，改善驾驶员注意力分散的状况，提升驾驶的安全性。

3 孟妮。不同道路交通环境中驾驶员注视行为分析[D]。长安大学， 2009。

3

2.测试策略

测试策略提供了对通用车载通信软件的推荐测试方法，对于每项测试，都提供了测试说明，并解释其实施的原因。

以下是针对车载通信软件的测试流程图：

图2-1 测试流程图

按照执行难度和执行占用时间，测试优先级为：安装测试、配置测试→性能测试→安全私密性测试→容量测试、强度测试→故障恢复测试→基本功能测试→用户界面测试。

● 安装测试和配置测试目的在于验证软件能否在多个车载系统上兼容，能否成功安装。 ● 性能测试目的在于验证软件比手机用户响应时间更短，软件响应时间在可允许范围内，

实现软件比手机用户更安全、更便捷的理念。

● 安全私密性测试目的在于验证车载通信软件的私密性理念，通过数据安全性、语音反应

等测试验证系统较手机用户更为私密。

● 容量测试和强度测试目的在于验证软件在一定的并发条件、极限条件下执行的正确性。 ● 故障恢复测试目的在于发生或将要发生故障时，软件具有一定的容错性，能自我纠错，

并维持稳定正常运行。

● 基本功能测试目的在于验证软件的基本功能，确保能够进行正常必需的沟通交流，以及

对软件所列功能的全面测试。

● 用户界面测试目的在于验证软件人机交互界面的友好性，驾驶员发送指令后软件能正常

执行。

4

2.1测试说明

本测试针对车载通信软件进行全面的测试： ● 功能测试主要针对软件所具有的功能进行测试。

● 用户界面测试针对软件的用户界面友好性、规范性和易用性进行测试。 ● 性能测试针对各个指令出现的情况下，软件的响应速度进行测试。 ● 强度测试针对因资源不足或资源争用软件反应情况进行测试。

● 容量测试针对测试对象处理大量的数据，确定是否达到了将使软件发生故障的极限

情况进行测试。

● 安全性和私密性测试针对用户信息的安全性、私密性、删除的及时性等进行测试。 对于测试中各项测试项的说明如下： 场景

车载通信软件应该保证能够在表2—1中的典型噪声环境三种场景的可用性。

表2-1 典型噪声环境

交互成功率

此软件应支持车载终端的控制指令，全面覆盖日常生活中交互行为的语义意图理解。 交互成功率用于评价此软件对语音交互任务的正确响应情况，交互任务包括：语音识别、语音唤醒、语音打断。

若此系统在既定的交互轮数内完成了交互任务，则此次语音交互成功，并以交互成功率或误操作率作为评价指标。其中，交互成功率计算方法见式（2-1），误操作率计算方法见式（2-2）

ρSIA =

%100N n IA

SI

（2-1）

式中：

ρSIA ——交互成功率 n SI ——成功交互的次数

5

N IA ——特定的语音交互任务次数

ρSIA =

%100N n IA FIA ? （2-2） 式中：

ρSIA ——误操作率

n FIA ——交互失败（包括未在既定交互轮数内完成的交互、未完成前退出的交互、无响应的交互和错误的交互）的次数。

表2-2 交互成功率评价标准

针对典型应用场景，交互成功率应符合在场景1中交互成功率不应低于80%；在场景2中交互成功率不应低于75%。 语音唤醒

此软件应支持命令字唤醒服务，包括自定义唤醒命令字、多唤醒命令字。并以唤醒率评价车载智能语音交互系统对唤醒操作的正确响应情况，用误唤醒率评价车载智能语音交互系统误唤醒操作在单位时间内出现的频度。其中，唤醒率的计算方法见式（2-3），误唤醒率的计算方法见（2-4）。

ρSW =

%100N N W SW ? （2-3） 式中：

ρSW ——唤醒率；

N SW ——成功唤醒次数；

N W ——语音唤醒操作次数。

针对典型应用场景，场景1的唤醒率应不低于92%；场景2的唤醒率应不低于88%。

f FW =

T N FW （2-4） f FW ——误唤醒率；

N FW ——误唤醒次数；

T ——时长。

针对各典型应用场景，命令字唤醒的误唤醒频度不应高于0.5/次。

语音打断

6

应支持交互过程中的语音打断，实现交互速度与自然度的提高。

语音打断成功率用于评价车载智能语音交互系统对语音打断操作的正确响应情况，其计算方法见式（2-5）

ρSIR =

100%?IR SIR N n （2-5） 式中：

ρSIR ——语音打断成功率；

n SIR ——成功打断的次数；

N IR ——打断次数。

针对典型应用场景，场景1的唤醒率应不低于92%；场景2的唤醒率应不低于88%。 语音打断误唤醒频度用于评价车载智能语音交互系统语音打断误唤醒操作在单位时间内出现的频度，其计算方法见式（2-6）

f FIA =

100%T

n FIA ? （2-6） f FIA ——语音打断误唤醒频度；

n FIA ——语音打断误唤次数；

T ——时长。

针对各典型应用场景，语音打断的误唤醒频度不应高于6次/h 。

语音输入准则

此系统语音输入准则应包括：

A ）支持汉语普通话输入，可选并支持地方方言以及英语；

B ）可处理语速为180 ~300字/min 的语音输入，单次语音输入时长一般不超过20s ；

C ）发音单位的持续时长不应小于0.2s ，发音单元间的间隔时长不应超过0.4s ；停顿时长超过0.8s ，则认为一次语音输入结束；

D ）对于持续时长大于0.2s ，且信噪比不低于10dB(A)的语音输入，在车载环境噪声量级不高于75dB(A)的条件下，能做出有效识别。 2.2功能测试

功能测试应侧重于所有可直接追踪到用例、业务功能和业务规则的测试需求。目标是核实数据的接收、处理和检索是否正确，以及业务规则的实施是否恰当。此类测试基于黑盒技

7

术，该技术通过图形用户界面（GUI ）、语音或按钮与应用程序进行交互，并对交互的输出或结果进行分析，以此来核实应用程序及其内部进程。

8

2.3用户界面测试

用户界面（UI ）测试用于核实用户与软件之间的交互。UI 测试的目标是确保用户界面会通过测试对象的功能来为用户提供相应的访问或浏览功能。另外，UI 测试还可确保UI 中的对象按照预期的方式运行，并符合企业或行业的标准。突出界面设计简洁、低干扰、用户友好。

9

2.4性能测试

性能评测是一种性能测试，对响应时间、事务处理速率和其他与时间相关的需求进行评测和评估。性能评测的目标是核实性能需求是否都已满足。实施和执行性能评测的目的是将测试对象的性能行为当作条件（例如工作量或硬件配置）的一种函数来进行评测和微调。

2.5强度测试

强度测试是一种性能测试，实施和执行此类测试的目的是找出因资源不足或资源争用而导致的错误。如果内存或磁盘空间不足，测试对象就可能会表现出一些在正常条件下并不明

10 显的缺陷。而其他缺陷则可能由于争用共享资源（如数据库锁或网络带宽）而造成的。强度测试还可用于确定测试对象能够处理的最大工作量。

2.6容量测试

容量测试是使测试对象处理大量的数据，以确定是否达到了将使软件发生故障的极限。容量测试还将确定测试对象在给定时间内能够持续处理的最大负载或工作量。例如，测试对象正在为生成一份报表而处理一组数据库记录，那么容量测试就会使用一个大型的测试数据库，检验该软件是否正常运行并生成了正确的报表。

11 2.7安全性和私密性测试

安全性和私密性测试侧重于两个关键方面：

安全性，指对数据或业务功能的安全保护，包括本地记录不能长时间保存等；

私密性，指对于驾驶员座位声音大小的测量和多座位共同发声的反映情况。

2.8故障测试

故障测试是一种对抗性的测试。在这种测试中，将把应用程序或系统置于极端的条件下（或者是模拟的极端条件下），以产生故障（例如设备输入/输出（I/O ）故障或无效的数据库指针和关键字）。然后调用恢复进程，并监测和检查应用程序和系统，核实应用程序或系统和数据已得到了正确的恢复。

12

2.9配置测试

配置测试是核实测试对象在不同的软件和硬件配置中的运行情况。在大多数生产环境中，客户机工作站、网络连接和数据库服务器的具体硬件规格会有所不同。客户机工作站可能会安装不同的软件，例如应用程序、驱动程序等，而且在任何时候，都可能运行许多不同的软件组合，占用不同的资源。

13

2.10安装测试

安装测试有两个目的：第一个目的是确保该软件在正常和异常情况的不同条件下（例如进行首次安装、升级、完整的或自定义的安装）都能进行安装。异常情况包括磁盘空间不足、缺少目录创建权限等；第二个目的是核实软件在安装后可立即正常运行。通常是指运行大量为功能测试制定的测试。

2.11驾驶安全性

驾驶安全性是指在驾驶员正常驾驶车辆时，在受到外界信息（车辆外部和车辆内部）干扰条件下，驾驶员能够连续收集信息、决策动态和执行决策等过程，这些过程需要驾驶员精神高度集中，在正确决策的同时保证自己及其他出行者的出行安全。

14

15

3.输出标准

测试需要针对以上测试方法输出以下数据：

1. 测试结果总结

对本次测试的整体总结。

2. 测试问题表

指出本测试中出现的问题、产生的后果以及对应的严重性。

3. 测试评估标准表

针对除量化类测试之外的测试方法，主要是定性测试。

4. 测试用例执行情况

对提出的测试用例进行逐个测试，并且对结果进行记录。

5. 性能测试评估表

以量化的方式衡量车载通信软件的性能。

6. 系统响应时间测量表

以量化的方式表现系统对于指令的反应速度，衡量性能的好坏。

7. 驾驶安全性注视分布

选取有代表性的7位驾驶员数据，以可量化的数据支撑，测试车载通信软件在驾驶员行车时的注视分布规律，改善注意力分散状况，提升驾驶安全性。

16

4.测试结果

为使测试策略更具有可实施性，本测试以微信车载版作为测试对象，进行了全方位的测试，由于微信车载版预装在车机系统中，无需另行下载，所以本次测试并未进行配置测试和安装测试。在系统响应时间测量方面，由于涉及到软件隐私性和安全性，无法在软件中插入测试代码，故本测试采用秒表测试的方法，预估响应时间的量级。

4.1测试说明

表4-1 测试系统环境

表4-2 测试使用工具

图4-1 基本型乘用车

图4-2 Tobii Pro Glasses 眼动仪

17

试验驾驶员：招募10名驾驶员进行实车驾驶试验，驾驶员性别保证男女比例1：1。对驾驶员设备使用进行培训，对试验路线提前勘查熟悉。

表4-3 驾驶员信息表

本测试共在如下场景测试：

场景1为车辆静止状态，车窗、空调等全部关闭；

场景2为车辆行驶状态，其他条件与场景1保持相同，下表展示了场景的具体设定。

场景3为驾驶安全性的测试，即实车实验在某市科技产业园区4.5km 道路进行，采用闭环路线（包括直线、左转弯、右转弯）场景。在驾驶过程中设定不同的影响激励（电话交互、消息交互）采集驾驶员对应的眼动数据，通过试验、跟踪记录驾驶员注视点位置，对比分析驾驶员使用与未使用手机交互、

微信交互等条件下，在寻找路径、决策判断和控制车辆过程中注视点分布规律。

4.2测试结果及问题

对于以上测试，均已测试充分并且完成测试目标：

● 功能性测试、用户界面测试、强度测试、容量测试均通过。其测试内容见附录1。 ● 用例通过率95.16%，不通过率3.23%，未测试率1.61%。其测试内容见附录2。 ● 场景1语句识别成功率96.33%，唤醒成功率95.33%。场景2语句识别成功率

92.67%，唤醒成功率90.67%。场景1和场景2语句打断成功率均100%。其测试内容见附录3。

● 系统响应时间在可接受范围之内。其测试内容见附录4。

● 驾驶安全性测试方面，驾驶员驾驶中电话交互条件下，手机电话主路面区域注视比

例为72.70%，多媒体区域注视比例为17.73%；手机微信电话主路面区域注视比例为74.19%，多媒体区域注视比例为22.98%；微信车载版电话主路面区域注视比例

18

为94.74%，多媒体区域注视比例为1.15%。其测试内容见附录5电话交互。 ● 驾驶员在驾驶状态时信息交互条件下，手机微信主路面区域注视比例为65.20%，

多媒体区域注视比例为33.72%；微信车载版主路面区域注视比例为91.89%，多媒体区域注视比例为0.70%。其测试内容见附录5信息交互。 ● 测试过程中，发现软件中存在的一些问题，列举如下：

19

5总结分析

《智能网联汽车车载通信软件测评报告》中的测试内容将作为第四届世界智能驾驶挑战赛车载通信软件组比赛规则的参考范围。为验证测评规则的合理性，实现对智能网联汽车车载通信软件的客观评测。本报告选取典型车载通信软件产品——微信车载版作为预测试对象，对其自身性能与消费者使用过程中的驾驶安全性进行测试，其具体结果总结如下：

微信车载版软件性能测试方面：功能性测试、用户界面测试、强度测试、容量测试均通过。用例通过率95.16%，车辆静止状态下语句识别成功率96.33%，唤醒成功率95.33%。车辆行驶状态下语句识别成功率92.67%，唤醒成功率90.67%。车辆静止和行驶状态下语句打断成功率均100%。软件可以通过方向盘物理按键、语音两种方式直接操控，能够使驾驶者通过语音交互和听觉来接发信息，不需要在驾驶状态时转移视线至手机，且短期屏蔽联系人功能能够保证连续多条消息不会对驾驶产生影响，保证了驾驶员在驾驶状态的安全性和便捷性；与此同时，使用者的本地聊天记录不会保存，本地文件无聊天记录留存，能够较好的保护用户隐私，保证了使用的安全性和私密性；通过定义的指令或按键能够完成微信手机端所具有的联系功能，除去朋友圈、红包等紧急性不高的功能，使用难度小。

驾驶安全性测试方面：微信车载版电话交互条件下对于主路面的注视比例（94.74%）都要高于手机电话所对应的主路面注视比例（72.70%）；同时，微信车载版在信息交互条件下对于主路面的注视比例（91.89%）要高于手机信息所对应的主路面注视比例（65.20%）。说明使用微信车载版服务后，驾驶员对前方道路的注视比例显著增加，右下方手机区域和多媒体区域注视比例减少，驾驶员具有更多的决策时间来判断道路状况，避免交通事故的发生，从而有效地改善驾驶员注意力分散问题，使其更加专注于前方驾驶。

本文来源：https://www.bwwdw.com/article/pzgl.html