基于用户体验的谷歌和百度搜索有效性比较研究

谷歌和百度搜索有效性

第37卷第5期2010年9月

浙　江　大　学　学　报(理学版)

JournalofZhejiangUniversity(ScienceEdition)

/sci

Vol.37No.5Sep.2010

DOI:10.3785/j.issn.100829497.2010.05.026

基于用户体验的谷歌和百度搜索有效性比较研究

刘子慧,张　锋,陈　硕*

(浙江大学心理与行为科学系,浙江杭州310028)

摘　要:为评估搜索引擎的有效性,采用问卷调查法请21111索引擎.因素分析结果显示11型具有良好的信度和效度.,,而在搜索内容直接性方面则不如百度.两个搜索,,而对百度有效性的感知则.关　键　词:用户评估;搜索体验;有效性

中图分类号:B849;TP391　　　　文献标志码:A　　　　文章编号:100829497(2010)052605206

LIUZi2hui,ZHANGFeng,CHENShuo(DepartmentofPsychologyandBehavioralSciences,ZhejiangUniver2sity,Hangzhou310028,China)

ComparativestudyonsearcheffectivenessofGoogleandBaidubasedonuserexperience.JournalofZhejiangUniversity(ScienceEdition),2010,37(5):605-610

Abstract:Toevaluatetheeffectivenessofsearchengines,211ChineseusersweresurveyedtoassesstwomajorChinesesearchenginesGoogleandBaidubasedon11items.Factoranalysisresultsshowedthatthe11itemscouldbeclusteredintotwofactors,namedcontentsaccuracyandcontentsaccessibilityrespectively,whichformedasearcheffectivenessmodelwithhighreliabilityandvalidity.ThenthemodelwasappliedtocomparethesearcheffectivenessofGoogleandBaidu,andfoundthatGooglewasbetterincontentsaccuracywhileworseincontentsaccessibility,ers’effectivenessperceptiontoGooglewasmainlyderivedfromcontentsaccuracy,whiletheireffectivenessperceptiontoBaiduwasderivedrela2tivelyfromboththefactors.

KeyWords:websearch;userevaluation;searchexperience;effectiveness

截至2009年6月底,中国搜索引擎用户规模为

2.35亿人.搜索引擎在全国网民中的使用率高达69.4%.搜索引擎在网络用户和信息资源之间扮演

中文索引量和内容更新频率略逊于百度,而相关性则优于百度[2].两个搜索引擎单次搜索的平均反应时间均很低,更新速度的差异也并不明显,因此反应时间和更新速度对用户的使用体验影响不大.基于大规模搜索日志的分析表明,绝大多数用户只翻看搜索引擎返回的前10个结果[3],索引量对用户的影响有限.用户更在乎的是能否在海量搜索结果中快速找到目标内容,

即返回内容的相关性对搜索体验

着重要角色[1].目前对搜索引擎的评价主要包括技术导向和用户导向.技术导向主要从网页反应速度、相关性、索引量、内容更新频率等技术指标来评价搜索引擎.目前国内搜索引擎市场主要有谷歌和百度两大品牌,在技术指标方面,谷歌的网页反应速度、

收稿日期:2009211220.

基金项目:国家自然科学基金资助项目(60975079).

作者简介:刘子慧(1986-),男,硕士研究生,主要从事应用心理学研究.3通信作者,副教授,E2mail:shuochen@.

谷歌和百度搜索有效性

606浙江大学学报(理学版)　第37卷　

影响最大,而谷歌在这一指标上则领先百度.从技术指标分析,谷歌与百度并无明显差距,但在中国搜索市场竞争中则不敌百度,市场份额、品牌首选率等均处于明显劣势[1].这说明单纯从技术角度评估搜索引擎并不全面.

用户导向的研究从用户角度出发,关注用户属性、搜索动机、使用经验、搜索引擎特征等对用户搜索体验的影响[4].HERSHW等[5-6]的研究表明,系统绩效与用户绩效并非总是正相关,原因在于用户对搜索结果相关程度的判断方法与搜索引擎不同,用户往往仅根据返回链接的标题来判断该链接与搜索主题的相关程度,用字符匹配、从用户角度出发,会更有效度.

SPINKA[7]性别被试属性

1　研究方法

1.1　被　试

中国互联网信息中心(CNNIC)的调查显示,当前中国搜索引擎用户的男女比例接近1∶1,超过2/

3的用户不足30岁,七成具有高中及以上学历,职

业主要为学生和企事业职员.根据该调查结果,本研究选取的被试主要为30、具有高中及以上学,的结果基本一致.

表1　被试描述

Table1　Descriptionofparticipants

属性水平男

女未填

20岁及以下21-25岁

人数

10610239086274452159511528

是影响用户使用体验的两个主要方面,而准确性是影响用户有效性体验的主要因素.相关调查表明,用户选择搜索引擎主要基于两类原因,一是是否能够快速、准确地找到所需信息;二是操作是否方便,如页面简洁性、使用容易程度等

[1]

年龄26-30岁30岁以上

.KELLYD等

[8]

的

职业

未填企事业职员

大学生专科及以下

本科研究生

实验则具体指出检索结果的准确性和排列方式显著影响被试对搜索有效性的知觉,并且准确性的影响更大.徐意能等[9]进一步提出搜索内容准确性和直接性是影响用户搜索体验的两个主要因素,其中内容准确性指搜索引擎返回的网页与用户预期目标的一致程度;内容直接性指用户操作返回页面的容易程度,与搜索结果的呈现方式密切相关.以二者为指标的搜索有效性模型,在北美地区的搜索引擎用户群体中已得到较好验证,并能有效地解释Google、Yahoo!、AOL和MSN4种搜索引擎的差异.与KELLY等的研究相比,徐意能等提出的内容准确

1.2　工　具

学历

采用ForresterResearch公司设计的调查问卷[10],将11项题目翻译为中文,请被试针对谷歌和百度两个搜索引擎逐项评判.评判选项包括“非常有效”“、有效”“、几乎无效”“、完全无效”和“未使用过”5项,要求被试按照自己的使用体验进行判断.问卷

性和直接性指标直接基于用户对搜索的主观感受和看法,因而可以更好地描述用户搜索时的心理体验.

综合已有研究可以推测,搜索内容的准确性和直接性是影响用户搜索体验的两个主要因素.目前国内对搜索引擎的评价研究大多从技术指标方面进行定性的比较,较少从用户体验的角度定量地探讨搜索引擎之间的差异.本研究采用用户导向的研究方法,以中国最大的两家中文搜索引擎———百度和谷歌为例,定量验证包含内容准确性和内容直接性两方面的搜索有效性模型是否在中国搜索引擎用户群体中同样有效.在此基础上,比较谷歌和百度搜索有效性的差异,分析两个搜索引擎的特点.

最后请被试填写个人信息.1.3　程　序

采用方便取样法现场向被试发放问卷,填写完毕后当场回收.共发放450份,回收448份,剔除后获得有效问卷211份.有效问卷的标准主要包括:

(1)回答完整;(2)无同一性作答,评价两种搜索引擎时,11项指标上的打分至少有一项以上有所不同;(3)被试对两种搜索引擎均有较丰富的使用经验,两个搜索引擎“未使用过”选项的选择次数均低于6个;(4)个人信息完整.1.4　数据处理

采用SPSS15.0进行描述统计、差异检验和问

谷歌和百度搜索有效性

　第5期刘子慧,等:

基于用户体验的谷歌和百度搜索有效性比较研究

607

卷的信度分析.使用Amos17.02进行验证性因素分析和路径分析.

2　结　果

2.1　模型分析

以题目总分作为总体搜索有效性指标,检验搜索引擎的总体有效性是否在被试各个属性的不同水平上存在差异.结果表明总体搜索有效性在性别和年龄上的差异不显著,在职业和学历上局部差异显著,但进一步的相关分析表明,这两个变量与总体有效性的相关并不显著(r(209)<0.11,p>0.1),明其对总体有效性的影响实际上较弱.

徐意能等的研究表明,,两因素可解释95%,.该研.为验证该问卷在中国用户群体中是否具有同样的因素结构和良好的信效度,本研究分别利用谷歌和百度两个搜索引擎的评估数据进行验证性因素分析(CFA).

在CFA之前首先做项目分析,所有项目均有良好的区分度.针对两个搜索引擎的CFA结果如图1和图2所示.利用谷歌、百度和总体数据进行CFA得到的拟合结果如表2所示,模型在3种条件下的GFI、IFI、CFI均接近或超过0.90,RMSEA小于0.08,拟合指标较好,说明该搜索有效性模型具有良好的结构效度.进一步考察问卷的信度,内容准确性、内容直接性和总体的Cronbachα系数分别为0.68、0.70、0.77,问卷信度良好.CFA的结果表明(见表2),问卷具有比较稳定的二维因素结构,在中

[9]

　利用百度评估数据所做的CFA结果

Fig.2　CFAresultswithBaiduπsevaluationdata

表2　CFA的结构方程模型拟合结果

Table2　StructuralequationmodelfitresultsofCFA

模型谷歌百度总体GFI0.930.960.96CFI0.900.950.91IFI0.900.950.92RMSEA0.070.040.062χ86.756.8110.5

424242

2.2　谷歌与百度的比较

以题项标准化总分为指标,比较谷歌和百度两个搜索引擎总体有效性的差异,配对样本t检验结果表明,百度的搜索有效性得分显著高于谷歌(百度vs.谷歌=0.18vs.-0.18,t(210)=5.28,p=0.000).进一步比较两个搜索引擎在内容准确性和内容直接性上的差异,结果如图3所示,谷歌在内容准确性上优于百度,在内容直接性上则不如百度.统计检验结果表明,两个搜索引擎在内容准确性和内容直接性上均存在显著差异(内容准确性t(210)=-4.47,p=0.000;内容直接性t(210)=11.96,p=0.000).综合以上结果可知,尽管百度在内容准确性上不如谷歌,但由于其内容直接性较好,因而仍然在总体搜索有效性上胜过谷歌

.

国用户群体中同样具有良好的信度和结构效度

.

图1　利用谷歌评估数据所做的CFA结果

Fig.1　CFAresultswithGoogleπsevaluation

data

图3　两个搜索引擎的因素得分分布

Fig.3　Distributionoftwosearchenginesπfactorscores

谷歌和百度搜索有效性

608浙江大学学报(理学版)　第37卷　

为检验各变量对总体搜索有效性的影响程度,以被试属性、内容准确性和内容直接性、总体有效性等变量进行路径分析.相关分析发现,性别、年龄、职业、学历与总体有效性的相关均不显著,可予以排除.内容准确性和内容直接性与总体有效性相关显著,将二者纳入路径分析模型.

路径分析结果如图4和5所示,内容准确性和

内容直接性对总体有效性的回归系数均非常显著,模型拟合良好(见表3),说明用户的搜索有效性体验主要来自于内容准确性和直接性两个指标.比较两图可知,谷歌和百度的路径模式有明显差异,评价(t(208)=35.21,p=0.000),确性与内容直接性的路著(t(208)=0.56,p>1.,对百度搜索有的双重影响.

列联分析的结果表明,用户搜索的体验指标和行为

22

指标一致性较高(内容准确性χ=0.15<χ(1)0.05,内

2

2容直接性χ=4.02<χ(1)0.05),说明搜索的体验指标

具有良好的外部效度.

表4　使用不同搜索引擎搜索各内容的用户比例

Table4　Percentageofuserssearchingdifferentcontents

withdifferentsearchengines

搜索体验

搜索内容

专业资料企业软件外文信息

音乐

百度/%谷歌/%28.5030.20

11.706.606.303.801.2040.5031.0018.0013.70

12.5011.207.404.203.9032.7025.308.7011.90

内容直接性

影视

游戏视频

表5　用户搜索的体验指标和行为指标

Table5　Indexesofusersπsearchingexperienceandbehaviors

指标搜索体验搜索行为

内容准确性百度/%谷歌/%

45.543.6

54.556.4

内容直接性百度/%谷歌/%

66.356.8

33.743.2

3　讨　论

3.1　内容准确性和内容直接性对搜索体验的影响

用户的搜索体验与搜索目标和搜索方式密切相关.不同的搜索目的下用户体验的侧重点不同[11].内容准确性和内容直接性影响用户搜索体验的方式

表3　路径分析的结构方程模型拟合结果

Table3　Structuralequationmodelfitresultsofpathanalysis

可能存在差异.BRODERA等[12]将用户的搜索目标分为网站导航型、信息搜寻型和事务处理型3种.在网站导航型情境下,用户希望返回已知网站的具体网址和链接;在信息搜寻情境下,用户希望能够直接从所搜到的网页上获取需要的信息,如某个问题的答案、某个主题相关的知识等;在事务处理型情境下,用户则希望借助网络完成某些活动,如购物、下载或确定出行路线等.ROSEDE等[13]指出这3种目标具有层级结构,事务处理情境下用户的网上活动比前两种更加丰富.针对信息检索的研究表明,用户检索信息时一般采用基于提问的和基于浏览的两种检索方式,前者是在用户已经具备所需知识背景条件下、有特定查询目标的检索行为,后者则是用户只有搜索主题、需要通过浏览缩小信息范围时采用的搜索模式[14].随着三类搜索目标的层级递进,用

df

模型

谷歌百度

GFI0.990.99

CFI1.001.00

IFI1.001.00

RMSEA0.030.03

2χ

1.201.15

11

2.3　搜索有效性体验与搜索行为的关系

CNNIC调查了使用不同搜索引擎的用户搜索

各种内容的比例,结果如表4所示.根据搜索体验的侧重不同可以将搜索内容分为两类,其中专业资料、生活信息等内容的搜索主要与内容准确性相关,音乐、影视等内容的搜索主要与内容直接性相关.

计算谷歌和百度两类内容搜索频率的平均值,并将其转换成相对百分比,作为用户搜索的行为指标.同时将内容准确性和内容直接性的因素得分转化为百分等级,作为搜索的体验指标(如表5所示).

谷歌和百度搜索有效性

　第5期刘子慧,等:

基于用户体验的谷歌和百度搜索有效性比较研究

609

户在网上借助搜索来完成的活动也会越来越复杂,可以推测,在以网站导航和信息搜寻为目标时,用户希望能够尽快的找到目标网址或信息,因此主要采用基于提问的检索方式,对内容准确性要求较高;而在事务处理任务中,用户需要借助搜索引擎完成一系列相关任务,更偏向基于浏览的检索行为,此时对搜索结果的可操作性要求更高.因此,不同搜索任务下影响用户体验的指标不同,在网站导航和信息搜寻情境下影响用户搜索体验的主要指标为内容准确性,而在事务处理情境下影响搜索体验的主要是内容直接性[9].

内容准确性和内容直接性对用户搜索体验的作用可能不同.,论是在网站导航型、务中,击、,,之后才是内容直接性问题.WULL等[15]分析了用户的使用动机后认为,搜索引擎的所有特征可以归结为两个方面:保健因素和激励因素.保健因素为用户提供基本的搜索环境,保证用户能够接触到相关信息;而激励因素能帮助用户更好地浏览、理解和利用返回的结果,与搜索内容的质量有关.根据该双因素理论,在影响用户搜索体验的过程中,搜索内容准确性可能处于保健因素的地位,而内容直接性则主要起到激励因素的作用.3.2　谷歌与百度的比较

图3表明,谷歌尽管内容准确性高于百度,但由于内容直接性较低,导致其总体搜索有效性低于百度.徐意能等[9]认为,内容准确性很大程度上受到搜索引擎文档聚类方式的影响,内容直接性则受到内容呈现方式的影响,两者有一定的相互牵制作用.由图3可知,谷歌的内容准确性得分高而内容直接性得分低,说明两个因素之间可能确实存在牵制关系,谷歌的文档聚类技术在提高其搜索准确性的同时降低了内容直接性.

以搜索内容准确性和内容直接性两个因素构建的搜索有效性模型,可以较好的解释谷歌在中国搜索市场的表现.中国网民的搜索内容主要包括工作、生活信息等资讯类内容和音乐、视频等娱乐类内容,其中搜索娱乐类内容的频次更高[16].而当搜索娱乐类内容时,用户不仅需要快速准确的找到目标网页,而且对网页的可操作性也有较高要求,如可以方便的点播、下载等.由于谷歌的内容直接性相对较差,网民在搜索娱乐内容时使用谷歌的频率明显低于百

度[1],这可能是造成谷歌市场份额低于百度的主要原因.而搜索内容的差异又进一步导致两个搜索引擎具有不同的体验模式,用户使用谷歌的搜索体验主要来源于准确性,而对百度搜索的体验还受到直接性的重要影响.

谷歌与百度在内容准确性和直接性上的差异还反映在其用户年龄和网龄的分布上.年龄影响用户的搜索需求.百度用户偏于年轻化,更倾向于使用娱乐搜索,,对专业资料、.用户不同的搜索.用户的网,而使用经验是影响用户,会直接影响用户的搜索绩效和使用动机[17-18].调查表明,60.3%首选谷歌的用户使用互联网的时间在5年以上,而百度在1年以下网龄的新网民中首选率最高.这可能是因

为网龄较长的用户已熟悉网上操作,内容直接性的重要性相对下降,能否快速的找到目标信息则显得更为重要,因此在内容准确性上占有优势的谷歌更容易成为首选目标.而对于新网民来说,网络应用可能还比较生疏,在完成事务处理型的任务时,更多的依赖于搜索引擎返回内容的可操作性,百度在内容直接性上的优势更容易为其赢得大量的此类用户.

4　结　论

基于用户主观感受构建的包括内容准确性和内容直接性两个因素的搜索有效性评估模型,同样适用于中国搜索引擎用户群体.以该模型为基础,评估谷歌和百度两大中文搜索引擎的有效性,发现谷歌在内容准确性方面占优,而百度则在内容直接性方面更好,搜索内容直接性方面的不足是导致谷歌搜索有效性体验低于百度的主要原因.此外,用户使用谷歌与百度的搜索体验模式不同,使用谷歌时用户搜索有效性的体验更多的源自搜索内容的准确性,而使用百度的搜索有效性体验则均衡的受到内容准确性和内容直接性的双重影响.参考文献(References):

[1]　中国互联网络信息中心.2009年中国搜索引擎用户行

为研究报告[EB/OL].[2009211214].http://www.

.

ChinaInternetNetworkInformationCenter.2009Chi2naSearchEngineUserBehaviorStudyReport[EB/OL].

谷歌和百度搜索有效性

610

[2009211214]..

浙江大学学报(理学版)　

JofErgonomics,2008,14(3):9-12.

第37卷

[2]　龚丽萍.搜索引擎Google与百度比较研究[J].图书情[10]　VANBOSKIRKS.ConsumerTechnographicsQ22005

NorthAmericanDevices&AccessOnlineSurvey[R].Cambridge:ForresterResearch,lnc,2005.

[11]　ROSEDE.Reconcilinginformation2seekingbehavior

withsearchuserinterfacesfortheweb[J].JoftheAmericanSocietyforInformationScienceandTechnol2ogy,2006,57(6):797-799.

[12]　BRODERA.Ataxonomywebsearch[J].ACM

SIGIRForum,2002(10.

[13DEUnderstandinguser

web/A,ACM,-19.

]　白海燕,赵丽辉.网络环境下的用户信息行为分析

[J].燕山大学学报:哲学社会科学版,2002,3(1):88-92.

BAIHai2yan,ZHAOLi2hui.Thebehavioranalysisofusersinformationundertheinternetconditions[J].JofYanshanUniversity:PhilosophyandSocialScienceEdition,2002,3(1):88-92.

[15]　WULL,CHUANGYL.Motivationforusingsearch

engines:atwo2factormodel[J].JoftheAmericanSocie2tyforInformationScienceandTechnology,2008,59(11):1829-1840.

[16]　张益民,吕英杰,盛国军.搜索引擎服务内容的发展现

报论坛,2007,(3):42-45.

GONGLi2ping.Acomparativestudyonsearchen2ginesgoogleandbaidu[J].Library&InformationSci2enceTribune,2007,(3):42-45.

[3]　余慧佳,刘奕群,张敏,等.基于大规模日志分析的搜索

引擎用户行为研究[J].中文信息学报,2007,21(1):

109-114.

YUHui2jia,LIUYi2qun,ZHANGMin,etal.Re2searchinsearchengineuserbehaviorbasedonloga2nalysis[J].JofChineseInformationProcessing,2007,21(1):109-114.

[4]　SULT.Acomprehensiveandsystematicmodel2

erevaluationofwebsearch:background[J].JofInforma2tionScience,54(13):1175-1192.

[5]　HERSHW,TUA,PRICES,etal.Dobatch

anduserevaluationsgivethesameresults?ananalysisfromtheTREC28interactivetrack[C]//A,ACM,2000:17-24.

[6]　TURPINA,HERSHW.Whybatchanduserevalua2

tionsdonotgivethesameresults[C]//A,ACM,2001:225-231.

[7]　SPINKA.Auser2centeredapproachtoevaluatinghu2

maninteractionwithwebsearch:anexploratorystudy[J].InformationProcessingandManagement,2002,38(3):401-426.

[8]　KELLYD,FUX,SHAHC.EffectsofRankandPre2

cisionofSearchResultsonUsersπEvaluationofSystemPerformance[R].TechnicalReportTR22007202,Uni2versityofNorthCarolina,2007.

[9]　徐意能,陈硕.基于用户体验的搜索引擎有效性评估研

状分析[J].现代情报,2008,28(8):9-11,14.

ZHANGYi2min,LVYing2jie,SHENGGuo2jun.Anal2ysisofthedevelopmentsituationonsearchservicecon2tent[J].ModernInformation,2008,28(8):9-11,14.

[17]　LIAWSS,rmationretrieval

fromtheworldwideweb:auser2focusedapproachbasedonindividualexperiencewithsearchengines[J].ComputersinHumanBehavior,2006,22(3):501-517.

[18]　LAZONDERAW,BIEMANSHJA,WOPEREIS

LGJH.Differencesbetweennoviceandexperiencedusersinsearchinginformationontheworldwideweb[J].JoftheAmericanSocietyforInformationSci2ence,2000,51(6):576-581.

究[J].人类工效学,2008,14(3):9-12.

XUYi2neng,CHENShuo.Evaluationofsearchen2gineeffectivenessbasedonuserexperience[J].Chinese

(责任编辑　涂　红)

本文来源：https://www.bwwdw.com/article/f09m.html