只看WLAN部分：2012年度网络质量现场测试考评办法

2012年度网络质量现场测试考评办法

一、 二、

概述........................................................ 2 网络质量现场测试考评办法.................................... 3

（一）GSM网络质量现场测试考评办法 .................................. 3 1.GSM测试办法 ...................................................... 3 1.1测试项目 ........................................................ 3 1.1.1语音业务测试 .................................................. 3 1.1.2 数据业务测试.................................................. 4 1.2 测试方式........................................................ 4 1.3测试规模、DT测试路线和CQT选点原则.............................. 4 1.3.1市区CQT、DT话音测试 .......................................... 4 1.3.2 交通干线DT话音测试路线列表................................... 4 1.3.3 数据业务测试.................................................. 5 2.GSM评分规则 ...................................................... 6 2.1 考核项目测试评分规则............................................ 7 2.1.1 GSM话音业务测试评分规则 ...................................... 7 2.1.1.1 GSM话音网络运行维护考核测试评分规则 ........................ 7 2.1.1.2 GSM话音经营业绩考核测试评分规则 ........................... 10 2.1.2 GSM数据业务测试评分规则 ..................................... 10 2.1.3 测试问题跟踪解决机制评分规则................................. 13 2.1.4交通干线及城市边界异常事件评分规则 ........................... 13 （二）TD-SCDMA网络质量现场测试考评办法 ............................ 13 1．TD-SCDMA测试办法 ............................................... 13 1.1测试项目 ....................................................... 13 1.1.1语音业务测试 ................................................. 13 1.1.2 数据业务测试................................................. 13 1.2 测试方式....................................................... 13 1.3测试规模、DT测试路线和CQT选点原则............................. 14 1.3.1市区DT话音测试 .............................................. 14

- 1 -

1.3.2 数据业务测试................................................. 14 2.TD-SCDMA评分规则 ................................................ 14 2.1 TD-SCDMA语音业务测试评分规则 .................................. 15 2.2 TD-SCDMA数据业务测试评分规则 .................................. 16 2.2.1 TD-SCDMA数据运行维护考核测试评分规则 ........................ 16 2.2.2 TD-SCDMA数据经营业绩考核测试评分规则 ........................ 16 （三）WLAN网络质量现场测试考评办法 ................................ 17 1.WLAN测试办法 .................................................... 17 1.1. 测试项目..................................................... 17 1.2. 测试方式..................................................... 17 1.3. 测试规模和CQT选点原则....................................... 17 二、评分规则....................................................... 18 1.4. 测试内容..................................................... 19

一、 概述

2012年网络质量现场测试共分为三部分：2G网络质量现场测试、TD-SCDMA网络质量现场测试、WLAN网络质量现场测试。

2012年网络质量现场测试，在满足集团公司测试要求时，省公司将加强非网格、跨网格的网络质量测试；同时加强室内网络质量的测试，特别是分布系统，以全面提升客户感知。

2012年网络质量现场测试在公司经营业绩考核中占3.5分、网络运维考核中占30分。具体分值分配如下：

经营业绩考核项目：2G/TD网络质量现场测试（3.5分），经营业绩考核取GSM语音质量(2分)、TD数据下载速率（1.5分）。

网络运维考核项目：2G网络质量现场测试（15分）、TD网络质量现场测试（10分）、WLAN网络质量现场测试（5分）。

2G、TD-SCDMA、WLAN全年共开展3轮网络质量现场评估测试。

12年上、下半年将分别开展1轮全省城区网格语音抽测，结果纳入第1轮、第3轮考核测试。

- 2 -

12年对于集团20%质差网格抽测当月中，未被集团抽到的地市，省内按照如下原则进行抽测：南京、苏州6个，无锡、常州、南通3个，其余地市2个，纳入省内考核；被集团抽测到的地市，将集团抽测网格指标纳入省内考核，省内不再进行抽测。

12年对集团交通干线考核测试中，未测试到高速公路和铁路，省内组织测试，与集团测试合并，作为一轮完整的测试，纳入省内考核测试。

具体每轮测试项目分值占比如下：

分类 项目 GSM CQT 集团遍历性测试占60%、平均语音 GSM&TD-SCDMA市区DT 分摊至相应月份；省内全网抽测占20%；质差网格抽测20%,平均分摊至抽测月份 第1轮（2-6月） 第2轮（7-9月） 每轮周期内测试1轮 遍历性测试占60%、平均分摊至相应月份；抽测40%,平均分摊至抽测月份 集团遍历性测试占60%、平均分摊至相应月份；省内全网抽测占20%；质差网格抽测20%,平均分摊至抽测月份 第3轮（10-12月） GSM&TD-SCDMA市区DT 数据 GSM&TD-SCDMA市区CQT 每轮周期内平均分摊至测试月份，包含集团和省内测试 每轮周期内测试1轮 交通干线 GSM DT 每轮周期内省内测试1轮；如该周期内有集团测试，则集团与省内各占50%；如无，则省内测试占比100%

二、 网络质量现场测试考评办法

（一）GSM网络质量现场测试考评办法

1. GSM测试办法

1.1测试项目

2012年2G网络质量现场测试内容主要分为话音业务测试和数据业务测试，全年共开展3轮。

1.1.1语音业务测试

GSM网话音测试采用移动GSM、联通GSM（WCDMA）、电信CDMA对比测试的方式，测试项目如下：

（1）

市区CQT测试；

- 3 -

（2） （3）

市区DT测试； 交通干线DT测试；

1.1.2 数据业务测试

EDGE业务测试项目如下： （1） （2） （3） （4）

市区FTP CQT及DT测试； 市区 WAP CQT及DT测试；

市区PING 、MMS、飞信、点对点短信CQT测试；

竞争对手数据业务测试（电信短信、彩信、WAP、FTP CQT测试，电信FTP DT 测

试）；

1.2 测试方式

2012年全省网络质量现场测试采用如下方式： （1）

语音和数据CQT在集团室内自动测试设备应用前，采用第三方现场人工定点拨

测的方式进行； （2） （3）

城区、高速、铁路语音DT 采用自动路测方式，采取集团与省内抽测数据; 城区数据业务DT采用自动路测方式，采取集团与省内测试数据。

1.3测试规模、DT测试路线和CQT选点原则 1.3.1市区CQT、DT话音测试

分类（按经城市 济区） 省会城市 大城市 其他城市 连云港、淮安 语音CQT选点原则：

居民小区（特别是高档居民小区）占40％左右，高层建筑占20％左右，高校、餐饮娱乐、商场、集团客户、展览中心等重要场所占40％左右，火车站、汽车站、飞机场必测。

南京 苏州、无锡、常州 所有网格 南通、扬州、镇江、徐州、宿迁、泰州、盐城、15个 30个 20个 自动路测 CQT点 1.3.2 交通干线DT话音测试路线列表

道路名称 沪蓉高速 江苏境内起止 江苏段（包括南京绕城） - 4 -

京沪高速 宁连高速 宁通高速 宁靖盐高速 宁宿徐高速 徐连高速 宁杭高速 苏嘉杭高速 宿淮盐高速 沿海高速 宁太高速 扬溧高速 京台高速 宁合铁路 苏北城际铁路 京沪铁路 陇海铁路 沪宁城际铁路 京沪高速铁路

徐州-无锡 南京-连云港（含宁合公路） 南京-南通 泰州-盐城 淮安-徐州 徐州-连云港 南京-宜兴 苏州 宿迁－淮安－盐城 连云港－南通 南京－太仓 扬州-常州 徐州段 （南京－合肥）江苏段 （南京-南通-北京）江苏段 （上海－北京）江苏段 （连云港－郑州）江苏段 （南京-上海）江苏段 （北京-上海）江苏段 注：以上所有干线均测试江苏境内全程路段。

1.3.3 数据业务测试

（1）数据业务测试一（FTP CQT和DT测试）

移动CQT点分类（按话城市 务量） 工） 省会 大型城市 南京 所有网格 苏州、无锡、常州 15个 20个 自动路测 数量（人- 5 -

其他城市 南通、扬州、镇江、徐州、宿迁、泰州、盐城、连云港、淮安 15个 FTP CQT全部要求为室内测试点，从类型上分：星级以上酒店占35%左右，高层写字楼占30%左右，其它测试点包括高校、飞机场候机楼、火车站软席候车室、会展中心、市区内重点旅游点、餐饮娱乐场所、住宅小区等。

（2）数据业务测试二（WAP及PING测试、MMS测试、点对点短信测试、飞信测试） 测试选点方法： 每个城市选择测试点同《数据业务测试一》项目，进行全部测试项目的一轮测试、要求测试点有GPRS信号覆盖。

2.GSM评分规则

每轮测试满分100分，对应年度网络运维考核15分，为三轮测试算术平均值；对应年度经营业绩考核2分，为三轮测试算术平均值。如下表所示：

测试项目 2G网络评估测试 合计

2011年2G网络质量现场测试包括五部分：市区CQT话音对比测试、市区DT话音对比测试、交通干线DT话音对比测试（GSM、TD、WCDMA、CDMA）、市区数据业务DT&CQT对比测试，各以100分计，然后按下表测试项目权重折合计算：

运行维护考核项目 高速公路GSM DT 交通干线 铁路GSM DT 语音业务 GSM CQT 城市 GSM DT 数据业务

＊ （1）话音测试包含移动GSM分别与联通GSM和电信CDMA的对比测试。对比测试的

城市 GPRS DT/CQT 30% 15% 15% 20% 13个地市 20% 轮次 1 2 3 经营业绩考核（2分） 2 2 2 2 网络运维考核（15分） 15 15 15 15 备注 - 6 -

每一分项（如CQT接通率对比测试）得分＝Min（移动与联通GSM在该分项对比测试的得分，移动与电信CDMA在该分项对比测试的得分）。

＊ （2）话音质量指标（Rxqual 0-5级占比）只与联通GSM、WCMDA进行对比。 ＊ （3）对新增铁路和高速公路的考核在铁路和高速公路正式投入客运后将直接纳入

到随后一次的测试考核范围。

＊ （4）铁路测试选级别较高车型，其中普通铁路与高铁评分分值按4:6比例。普通

铁路定义：时速250KM/H以下，高铁定义：时速250KM/H以上。

＊ （5）对于交通干线GSM与TD网络评分，按照1:1比例进行评分，即GSM和TD各

占50%。

2.1 考核项目测试评分规则 2.1.1 GSM话音业务测试评分规则

2.1.1.1 GSM话音网络运行维护考核测试评分规则

话音业务测试（包括城市CQT／DT、高速公路DT、铁路DT））得分S由指标得分S1及对比得分S2组成，S＝S1+S2。 其中指标得分S1计算公式如下：

优秀值K1、达标值K2。本指标计分规则如下：

当实际完成值低于达标值K2时, 得0分；当实际完成值不低于优秀值K1时，得满分；当实际完成值在达标值K2（含）与优秀值K1之间时：

得分=基准分

（实际完成值?达标值）基准分?满分?60%?满分?40%?（优秀值?达标值）

其中对比得分S2计算公式如下：

设定移动指标为T1，联通或电信指标为T2，得分为S2；上限值K1、下限值K2。S2取对比得分较低的。

T1优于K1 或 (T1介于K1与K2之间 且 T1优于T2) S2=满分 T1劣于K2 且 T1优于T2 S2=满分×2/3 T1介于K1与K2之间 但 T1劣于T2 S2=满分×1/3 T1劣于K2 但 T1劣于T2 S2=0分 分值分配及具体K1、K2设置情况见下表：

- 7 -

指标分值项目 指标名称 覆盖率 GSM语音呼城市CQT 叫全程通话音质量城市测试 城市DT （100分） （0-5级占比） 与竞争对手对比 覆盖率 GSM语音呼叫全程通话成功率 语音质量 渗透率 待定 80.00% 待定 75.00% 40 6 98.00% 97% 35 99% 95% 10 98.50% 97.00% 35 99.00% 96.00% 40 K1 99.50% K2 95.00% S1 16 与竞争对手对比 对比分值S2 3 3 人工测试 3 备注 （100分） 话成功率 话音业务测试 3 3 3 - 如有接通率<98%或掉话率>1%的情况，则扣该项运行维护考核5分

指标分项目 指标名称 覆盖率 GSM语音呼叫全程高速公路 （100分） 话音业务测试 普通铁路 (250km/h以下，100分） 语音质量 待定 待定 30 3 干线测试（GSM） 覆盖率 GSM语音呼叫全程成功率 95% 85% 50 4 99.30% 与竞争对手对比 90% 10 3 如有接通率<95%或掉话率>2%的情况，则扣该项运行维护考核5通话成功率 98% 90% 40 3 K1 99% K2 90% 值S1 10 与竞争对手对比 3 如有接通率<98%或掉话率>1%的情况，则扣该项语音质量 待定 待定 40 4 运行维护考核5分 对比分值S2 备注 - 8 -

分 与竞争对手对比 覆盖率 GSM语音高铁（250km/h及以上，100分） 语音质量 待定 待定 30 3 呼叫全程成功率 92% 80% 50 4 99% 90% 10 3 如有接通率<95%或掉话率>5%的情况，则扣该项运行维护考核5分 如有接通率<95%或GSM语音高速公路 呼叫全程率 （100分） 通话成功98% 90% 100 掉话率>2%的情况，则扣该项运行维护考核5分 如有接通率<95%或普通铁路 干线测(250km/h分） 试（TD） 以下，100GSM语音呼叫全程成功率 95% 85% 100 掉话率>2%的情况，则扣该项运行维护考核5分 如有接通率<95%或高铁（250km/h及以上，100分） GSM语音呼叫全程成功率 92% 80% 100 掉话率>2%的情况，则扣该项运行维护考核5分

- 9 -

注：测试指标及得分结果均保留小数点后2位。

2.1.1.2 GSM话音经营业绩考核测试评分规则

当GSM语音质量实际完成值达到或优于挑战目标值时，得2分；当未达到基本目标值时，得0分；当处于以上区间时，按如下公式计算：

得分＝1.2 + SQRT（（实际完成值－基本目标值） / （挑战目标值-基本目标值））×0.8

指标分值项目 话音业务测试 城市测试 城市DT（2分） 语音质量 待定 待定 2 指标名称 K1 K2 S1 备注

2.1.2 GSM数据业务测试评分规则

城市数据业务测试（包括GPRS CQT、DT）指标得分S1及对比得分S2组成，S＝S1+S2。 其中指标得分S1计算公式如下：

优秀值K1、达标值K2。本指标计分规则如下：

当实际完成值低于达标值K2时, 得0分；当实际完成值不低于优秀值K1时，得满分；当实际完成值在达标值K2（含）与优秀值K1之间时： 得分=基准分

（实际完成值?达标值）基准分?满分?60%?满分?40%?（优秀值?达标值）

其中对比得分S2计算公式如下：

设定移动指标为T1，联通或电信指标为T2，得分为S2；上限值K1、下限值K2。S2取对比得分较低的。

T1优于K1 或 (T1介于K1与K2之间 且 T1优于T2) S2=满分 T1劣于K2 且 T1优于T2 S2=满分×2/3 T1介于K1与K2之间 但 T1劣于T2 S2=满分×1/3 T1劣于K2 但 T1劣于T2 S2=0分 分值分配及具体K1、K2设置情况见下表：

- 10 -

项目 指标 FTP平均下载文件速率(kbps)（卡特设备区域） Kh Kl 指标分值S1 对比分值S2 待定 待定 17 3 FTP测试（30分） DT测试 FTP平均下载文件速率(kbps)（爱立信设备区域） 掉线率 渗透率 Attach平1% 75% 3% 80% 4 4 1 1 待定 待定 17 3 Attach测试 均时间(秒) Attach成功率(%) PDP 激活2.5 5 2 / 98% 90% 2 / PDP 激活测试 时间(秒) PDP激活成功率(%) WAP平均首页显示时间(秒) WAP网站登1.5 3 2 / 99% 90% 2 / 8 12 1 1 WAP及PING CQT （24分） 陆成功率(%) WAP页面刷WAP测试 新成功率(%) WAP页面刷新时间（秒） WAP下载速率(kbps) WAP下载成功率 Ping Test 平均时延(秒) 98% 90% 1 1 98% 90% 1 1 8 15 1 1 48 32 1 1 98% 90% 1 1 1.9 98% 140 3.5 90% 120 2 2 8 / / 2 500k byte 成功率(%) FTP测试（10分） CQT测试 平均下载文件速率- 11 -

(kbps)（卡特设备区域） 平均下载文件速率(kbps)（爱立信设备区域） WEB方式邮件上、下载测试(8分) 应用层上载速率(KB/S) 应用层下载速率(KB/S) 手机发送彩信成功率(%) 用户提取彩信成功率(%) 彩信(14分) 彩信端到端成功率（%） PUSH短信消息下发成功率(%) PUSH短信消息下发平均时延（秒） 点对点短信（8分） 短信发送成功率(%) 平均接收时长（秒） 飞信手机客户端登陆成功率 飞信手机客户端登陆平均时长 手机客户端至短信消息飞信（6分） 发送成功率 手机客户端至短信消息发送平均时长 短信至手机客户端消息发送成功率 短信至手机客户端消息发送平均时长 4 17 97.50% 2 12 90% 4 4 2 / / 1 150 130 8 2 97.50% 97.50% 97.50% 90% 90% 90% 2 3 2 1 1 / 10 99% 6.5 98% 15 95% 10 90% 2 3 3 1 / 1 1 / 10 12 1 / 98% 90% 1 / 6 8 1 / 98% 90% 1 / 10 12 1 / 具体测试办法详见附件二至附件六。

注：由于联通EDGE网络没有大规模建设，不具备竞争能力，故只与电信CDMA数据业务进行对比测试。

电信CDMA测试项目：FTP DT数据业务测试、定点彩E测试、定点短信测试、定点WAP测试、定点FTP测试。 具体测试办法详见附件九。

- 12 -

2.1.3 测试问题跟踪解决机制评分规则

2011年将建立测试问题跟踪解决机制，针对上一轮测试异常事件（未接通、掉话）进行复测，具体评分办法如下：

本轮交通干线语音DT、城市语音DT&CQT异常事件与上轮相比，如在同一路段或者占用同一个小区出现异常事件，则本轮此异常事件按2次计算进行指标统计。

2.1.4交通干线及城市边界异常事件评分规则

针对交通干线（高速公路、铁路）、城市边界测试异常事件认定，特做如下规定：所有测试事件以测试时MS所在行政区域确认，而不是以MS占用小区所属的行政区确定，即事件发生地点在某个行政区内，则该事件计入该行政区的考核中。

2.1.5 车站专网入口扣分项

测试人员将从铁路专网沿线车站进入站台，如不能正常进入专网，则扣高铁项目分值1分，即每发现一个车站不能进入，扣1分。

（二）TD-SCDMA网络质量现场测试考评办法

1．TD-SCDMA测试办法

1.1测试项目

2012年全省TD第三方考核测试内容主要分为话音业务测试和数据业务测试，全年共开展3轮。

1.1.1语音业务测试

TD-SCDMA网络市区话音三网对比DT测试。

1.1.2 数据业务测试

TD-SCDMA网络数据业务测试项目如下： （1） （2）

市区FTP 三网对比DT测试； 市区FTP 三网对比CQT测试；

1.2 测试方式

2012年全省TD第三方考核测试采用如下方式：

（1） 城区数据CQT在集团室内自动测试设备应用前，采用第三方现场人工定点拨测的方

式进行；

（2） 城区语音DT 采用自动路测方式，采取集团与省内抽测数据; （3） 城区数据DT采用自动路测方式，采取集团与省内测试数据。

- 13 -

1.3测试规模、DT测试路线和CQT选点原则 1.3.1市区DT话音测试

分类（按建设规模） 省会城市 大城市 其他城市 城市 南京 苏州、无锡、常州 扬州、镇江、宿迁、泰州、盐城、淮安、南通、连云港、徐州 所有网格 自动路测 1.3.2 数据业务测试

（1）数据业务测试包括FTP DT和FTP CQT

自动路测 分类（按建设规模） 省会 大规模城市 其他城市 城市 （人工） 南京 苏州、无锡、常州 扬州、镇江、宿迁、泰州、盐城、淮安、南通、连云港、徐州 FTP CQT全部要求为室内测试点，CQT点选取范围包括三星级以上酒店35%左右，高层写字楼及居民小区占30%左右，其他测试点包括数据业务高话务区、飞机场候机楼、火车站候车室、会展中心、高校、市区内重点旅游点、餐饮娱乐场所等。要求在每个CQT点选取三个测试位置进行测试，对于酒店应包括大厅（一楼咖啡厅）、客房、会议室等位置。

注：由于TD网络规划并未完全覆盖城市区域，TD 语音及数据业务DT测试工作量根据各地市网络规划范围内而定。

所有网格 20个 15个 10个 CQT点数量2.TD-SCDMA评分规则

每轮测试满分100分；对应年度网络运维考核10分，为三轮测试得分算术平均值； 对应经营业绩考核1.5分，为三轮测试得分算术平均值。 测试项目 TD网络评估测试 合计

2012年TD-SCDMA网络质量现场测试包括三部分：市区话音DT三网对比测试、市区数

- 14 -

轮次 1 2 3 经营业绩考核（1.5分） 网络运维考核（10分） 2 2 2 2 10 10 10 10 备注 据业务FTP DT&CQT对比测试。各测试项目以100分计，然后按下表测试项目权重折合计算：

项目 城市语音业务 城市数据业务 TD-SCDMA FTP CQT

＊ （1）话音测试包含移动TD-SCDMA与联通WCDMA、电信CDMA-EVDO对比测试。对比

测试的每一分项（如CQT接通率对比测试）得分＝Min（移动与联通GSM在该分项15% TD-SCDMA DT TD-SCDMA FTP DT 13个地市 50% 35% 对比测试的得分，移动与电信CDMA在该分项对比测试的得分）。

2.1 TD-SCDMA语音业务测试评分规则

话音业务测试得分S由指标得分S1及对比得分S2组成，S＝S1+S2。 其中指标得分S1计算公式如下：

优秀值K1、达标值K2。本指标计分规则如下：

当实际完成值低于达标值K2时, 得0分；当实际完成值不低于优秀值K1时，得满分；当实际完成值在达标值K2（含）与优秀值K1之间时： 得分=基准分

（实际完成值?达标值）基准分?满分?60%?满分?40%?（优秀值?达标值）

其中对比得分S2计算公式如下：

设定移动指标为T1，联通或电信指标为T2，得分为S2；上限值K1、下限值K2。S2取对比得分较低的。

T1优于K1 或 (T1介于K1与K2之间 且 T1优于T2) S2=满分 T1劣于K2 且 T1优于T2 S2=满分×2/3 T1介于K1与K2之间 但 T1劣于T2 S2=满分×1/3 T1劣于K2 但 T1劣于T2 S2=0分 分值分配及具体K1、K2设置情况见下表：

测试项目 K2 K1 指标分值S1 对比分值S2 备注 - 15 -

PCCPCH覆盖率 语音DT测试 TD语音呼叫全程通话成功率 MOS≥2.8比例 渗透率 95.00% 98.00% 15 3 如有接通率<98%或掉话率>1%的情况，则扣该项运行维护考核5分 97% 98% 50 3 90% 75.00% 96% 80.00% 16 10 3 ——

2.2 TD-SCDMA数据业务测试评分规则

2.2.1 TD-SCDMA数据运行维护考核测试评分规则

当实际完成值低于达标值K2时, 得0分；当实际完成值不低于优秀值K1时，得满分；当实际完成值在达标值K2（含）与优秀值K1之间时： 得分=基准分

（实际完成值?达标值）基准分?满分?60%?满分?40%?（优秀值?达标值）

分值分配及具体K1、K2设置情况见下表：

测试项目 FTP平均下载速率（kbit/s） 数据业务DT 链路层BLER（%） 掉线率 渗透率 HSDPA下载速率（CQT）

FTP平均下载速率（kbit/s） K2 待定 7.00% 4.00% 75% 待定 K1 待定 5.00% 3.00% 80% 待定 指标分值S 80 5 5 10 100 注：数据业务对比测试指标仅作考察，不做考核。 2.2.2 TD-SCDMA数据经营业绩考核测试评分规则

当自动路测实际完成值达到或优于挑战目标值时，得1.5分；当未达到基本目标值时，得0分；当处于以上区间时，按如下公式计算：自动路测得分＝0.5 + SQRT（（实际完成值－基本目标值） / （挑战目标值-基本目标值））×1

测试项目 K2 K1 指标分值S - 16 -

数据业务DT FTP平均下载速率（kbit/s） 待定 待定 1.5

（三）WLAN网络质量现场测试考评办法

1.WLAN测试办法 1.1. 测试项目

2011年WLAN网络质量现场测试内容主要为802.11 a/b/g/n制式下的数据业务测试。

WLAN数据业务测试项目如下： （1） （2） （3） （4）

热点登陆和认证测试 热点FTP CQT测试

热点PING、门户网站登录、WEB认证、上传和下载 CQT测试 竞争对手数据业务测试；

1.2. 测试方式

2012年网络质量现场测试采用如下方式：

CQT采用第三方现场定点拨测的方式进行；

1.3. 测试规模和CQT选点原则

移动CQT站点分类（按用户数） 省会城市 大城市 其他城市 南京 苏州、无锡、徐州、常州 南通、扬州、镇江、宿迁、泰州、盐城、连云港、淮安 CQT选点要求高校占70％左右，非高校占30％左右，包括交通枢纽（机场、火车站、汽车站）、商场(含休闲茶座、咖啡厅等)、医院、集团客户、展览中心等重要场所等。

城市 数量 20个 15个 10个 - 17 -

二、评分规则

WLAN网络质量现场测试内容为：热点数据业务CQT对比测试，测试满分100分 WLAN网络现场测试得分S由指标得分S1和对比得分S2组成，S＝S1*80%+S2*20%。考虑到联通热点覆盖较少，2012年联通的对比得分仅作为参考值，电信的对比得分纳入计算。 指标得分S1计算公式如下：

本次测试的评分规范按照线性比例将测试数值映射到最终分数取值域中，涉及到的参数有N、K1和K2。N是该项指标的满分；K1和K2是测试数值中的两个阙值。具体来说，测试值落在K1和K2区间之外时，则最终得分值为0分或者满分N（根据具体情况）；测试数值介于K2和K1之间时，则按线性比例映射到[0,N]之间。函数公式为： S1＝N*3/5+(A-K2)*((N*2/5)/(K1-K2))，A为实际测试数值,N为满分。函数图像为：

对比得分S2计算公式如下： 设定移动指标为T1，电信/联通指标为T2，得分为S2；上限值K1、下限值K2。S2取对比得分较低的。

T1优于K1 或 (T1介于K1与K2之间 且 T1优于T2) S2=满分 T1劣于K2 且 T1优于T2 S2=满分×2/3 T1介于K1与K2之间 但 T1劣于T2 S2=满分×1/3 T1劣于K2 但 T1劣于T2 S2=0分 对于电信和联通未覆盖的区域， S2=S1 分值分配及具体K1、K2设置情况见下表：

评比项目 K1 K2 S1/S2分值 指标 得分

- 18 -

信号强度 信噪比 信号稳定度 关联成功率 上线成功率 IP地址获取时延 IP地址获取成功率 Portal页面弹出时延 Portal页面弹出成功率 第三方测试 Web认证接入成功率 Web认证下线成功率 FTP下载成功率 FTP平均下载速率 FTP上传成功率 FTP平均上传速率 ping服务器丢包率(%) ping服务器时延(ms) 门户网站登录成功率 门户网站登录时延 得分 -60dBm 30dB 4 98% 97% 3s 98% 3S 99% 98% 98% 98% 150KB/S 98% 120KB/s 4 40 99% 4s -65dBm 24dB 5 95% 94% 5s 95% 5S 95% 95% 96% 96% 100KB/S 96% 80KB/S 5 60 98% 5s 100 7 7 3 6 6 6 7 3 3 7 6 6 7 6 6 7 7 考察指标 考察指标 1.4. 测试内容

（1） 信号稳定度

用于体现终端在连接AP期间，接收AP信号电平值的上下浮动情况。 信号稳定度 =统计时间内AP电平值方差

（2） 关联成功率

关联成功指测试终端成功获取到IP地址。

AP关联成功率=(统计时间内AP关联成功次数/关联总次数)*100%

- 19 -

（3） 上线成功率

上线成功指测试终端在portal页面认证成功。

上线成功率=(统计时间内终端认证成功次数/关联总次数)*100% （4） IP地址获取时延

定义：终端获取到IP地址的时延。指从终端发起第一个DISCOVER到DHCP SERVER 应答ACK的间隔时间。

（5） IP地址获取成功率

IP地址获取成功：指从终端发起第一个DISCOVER且从DHCP SERVER 应答ACK。表现为终端获取到ip地址。

IP地址获取成功率成功率=(统计时间内终端ip地址获取成功次数/尝试获取ip地址次数)*100%

（6） PORTAL页面弹出时延

用户通过浏览器发起Http请求开始计时，仪表终端收到完整的中国移动Web认证页面结束计时，其时间间隔为Portal页面弹出时延。

（7） PORTAL页面弹出成功率

用户网卡关联WLAN成功后，通过浏览器发起一个Http请求，在30秒内仪表终端收到完整的中国移动Web认证页面，为Portal页面弹出成功。

（8） 门户网站登录成功率

测试的门户网站：新浪、搜狐、土豆、优酷、江苏移动网站。

门户网站登录成功率定义：以30分钟为测试周期，针对门户网站服务器进行10次连接测试，超时时间设定为3秒，记录发出TCP SYN数据包和GET后成功收到第一个HTTP Response的时间的概率。

门户网站登录成功率=（成功收到第一个HTTP Response次数 / 认证请求总次数）×100%

（9） 门户网站登录时延

门户网站登录时延定义：以30分钟为测试周期，针对门户网站服务器进行10次连接测试，超时时间设定为3秒，记录发出TCP SYN数据包和收到TCP SYN/ACK响应的时延。 门户网站登录时延（取10次的平均值）=收到门户网站TCP SYN/ACK响应的时间-向门户网站发出TCP SYN数据包的时间

- 20 -

（10） Web认证接入成功率

Web认证接入指：用户将用户名和密码输入后发起登陆请求，直至用户收到登陆结果。 WEB认证接入成功率：以30分钟为测试周期，针对认证服务器进行10次连接测试，超时时间设定为3秒，记录发出TCP SYN数据包和成功收到TCP SYN/ACK响应的概率。

Web认证接入成功率=（成功收到web认证服务器返回SYN/ACK次数 / 认证请求总次数）×100%

（11） Web认证下线成功率

Web认证下线成功率定义：以30分钟为测试周期，针对WEB认证服务器进行10次下线测试，设定超时时间设定为3秒，记录发出TCP SYN数据包和成功收到TCP SYN/ACK响应的概率。 Web认证下线成功率=（成功收到认证服务器返回SYN/ACK次数 / 下线请求总次数）×100%

（12） Ping服务器丢包率

Ping服务器丢包率：认证成功接入后，按照测试周期（10分钟）从终端向服务器发送ICMP数据包，设定包长和超时时间为预订数值，间隔100ms顺序发送100个测试包，取未成功收到reply的概率；本指标建议ICMP数据包包长取100字节，超时时间取500ms； Ping服务器丢包率=（ping丢包次数/ ping发起总次数）×100%

（13） Ping服务器时延

Ping服务器时延：按照测试周期（10分钟）发送ICMP数据包，设定包长和超时时间为预订数值，间隔100ms顺序发送100个测试包，取收到reply的平均时延；本指标建议ICMP数据包包长取100字节，超时时间取500ms；

Ping服务器时延（取10次的平均值）=收到ping reply的时间-发送ICMP数据包的时间。

（14） FTP下载成功率

FTP下载成功率指用户登录成功后，多次从服务器下载大于3M的文件，下载成功的概率。 FTP下载成功率=（FTP下载成功次数/发起的下载总次数）×100% （15） FTP上传成功率

FTP上传成功率指用户登录成功后，多次向服务器上传大于1M的文件，上传成功的概率。 FTP上传成功率=（FTP上传成功次数/发起的上传总次数）×100%

现场测试规范书：

- 21 -

2012年网络质量现场测试规范书.doc

- 22 -

本文来源：https://www.bwwdw.com/article/6cmg.html