搜索引擎的部分用户体验分析报告

《搜索引擎的部分用户体验分析报告》

前言:

这几天在使用不同搜索引擎时,本人发现不同搜索引擎之间的差别,现在主要从一个普通用户的角度来分析各搜索引擎在用户体验方面,面对不同关键词所表现出来的优劣。

测试工具:

百度搜索引擎(百度),

必应搜索引擎(微软),

谷歌搜索引擎(Google)。

正文:

在使用这3款搜索引擎后,本人发现,他们在不同类型关键词时的表现有很大的不同。

测试一:关键词-“火影”

下附图为三款搜索引擎搜索“火影”关键词是搜索结果的截图:

附图1.1-火影关键词的百度搜索首页(截图时间20##-2-5 20:41:53) 

 附图1.2-火影关键词的必应搜索首页(截图时间20##-2-5 20:44:30)

  附图1.3-火影关键词的谷歌搜索首页(截图时间20##-2-5 20:45:33)

分析1

暂时不从搜索引擎如何实现这些搜索结果的技术角度来讲,只是来看其给用户所带来的体验。(对于用户,你只要告诉他你能给他什么,他们从不会在意你提供更好的服务是怎么绞尽脑汁的。)

仔细观察上面三个搜索结果的图片,不难发现,三个搜索结果可以分为两类:

1.    百度为多图片、深层信息展示的模式;

2.    必应与谷歌为相似的少图片,简单列表的展示模式。

“火影”这个关键词被搜索的次数相对来说是极其频繁的,因为其作为一个正在连载的热门动画(其最大的属性),所以用户通过搜索引擎来了解其更新状况时,显而易见,百度搜索引擎所展示的效果更“以人为本”——你可以在搜索结果中变看到其更新状况,从而快速的选择观看。

例证:比较搜索引擎:如果是观看火影第568集,百度只需一次点击便可到达http://www.tudou.com/albumplay/Lqfme5hSolM/fTKHSVo1J9U.html此网址进行观看;而使用必应时,需要在不确定是否有更新的情况下,通过文字识别,来选择进入http://www.narutom.com/此网站,通过识别网站中的文字,来点击至http://www.narutom.com/video/23380.html网站进行568集的观看。

从上面的例证来比较两者:无论是从效果,还是从效率上来比较,百度的展示模式比必应(和谷歌)都要好上许多。

分析2

在百度的搜索结果中,百度百科http://baike.baidu.com/网站的排名为第8条;在必应中,百度百科则在第3条;而在谷歌中,百度百科甚至没有上第一页。

不难发现,百度的搜索结果中,第一页的搜索结果,百度公司旗下的网站占据了4/9,即44.4%。而在必应中,其占据的比例为1/11,即9.09%,在谷歌中为1/11,即9.09%。为何差距如此之大?可见百度对自己旗下的子女互联网产品的庇护。所以在一定的意义上,百度在搜索这个关键词时,与必应与谷歌比较,是进行了符合自己公司利益的算法的,至于我们怎么看待这一点,仁者见仁智者见智。最重要的是找到我们需要的信息就行。

测试二:在进行了中文作为关键词的测试之后,接下来,我们做一下英文关键词的测试——关键词“naruto”(火影的英文)

下附图为三款搜索引擎搜索“naruto”关键词时搜索结果的截图:

  附图2.1-Naruto关键词百度搜索首页(截图时间20##-2-6 17:10:48)

  附图2.2-Naruto关键词必应搜索首页(截图时间20##-2-6 17:11:26)

  附图2.3-Naruto关键词谷歌搜索首页(截图时间20##-2-6 17:11:49)

分析:

这次将搜索的关键词换为英文,其搜索结果出现了巨大的变化。其中,百度和必应搜索的情况差不多,而且自觉的将关键词naruto联想成了火影忍者。而谷歌也有一定的联想,却没有必应和百度那么多。

不过一致的是,百度继续优先显示了更多自己公司的网站。

回到用户体验这一块。

作为个中文搜索引擎,服务的人群当然是主要使用中文的用户——最主要为中国人。所以,适当的为自己的用户做些改变,能够更好地为用户服务。可以做一个这样的猜想,一个中国人,想要搜索日本Naruto这部动画,优先的会选择输入“火影”、“火影忍者”这一类关键词,而不是搜索“Naruto”等英文或者中文关键词,这一点上,百度做了很多努力,可以从“火影”搜索页面和“Naruto”搜索页面的巨大差异中看到。

测试结果:

1.   百度在使用中文的用户服务时,对搜索结果、搜索结果的展示方式做了很大的努力,从而带给用户带来了更好的体验。

2.   百度在为用户服务时,对其旗下子女互联网产品,相对于必应和谷歌,进行了明显的优先显示优化,内部保护较为明显。

吕克尧

20##年2月6日20:03:12

 

第二篇:a于用户体验的搜索引擎有效性评估研究[1]

厶耋王筮堂;麴墨生§旦筮!兰鲞筮圣塑

文章编号:1006-8309(2008103-0009-04

?9?

基于用户体验的搜索引擎有效性评估研究

徐意能,陈硕

(浙江大学心理与行为科学系,杭州310028)

摘要:Forrester研究公司提供了5279名用户基于11个用户体验评价指标对4种搜索引擎进行有效性评价的结果,应用探索性因素分析法研究其内在影响因素。结果表明:①搜索引擎有效性的用户体验包含两个主要维度:内容准确性和内容直接性,是对11个评价指标的有效综合;文献综述结果表明,两个维度的用户体验具有相应的用户行为模式支持;②以内容准确性和内容直接性为评价指标对4种主流搜索引擎进行用户体验评估,评估结果与搜索引擎特征以及第三方评估结果相一致,并能有效解释搜索引擎特征与用户体验之间的关系。

关键词:搜索引擎;有效性;用户体验;因素分析;网站导航中图分类号:TP391.4;13849

文献标识码:A

EvaluationofSearchEngineEffectivenessBased

on

UserExperience

XUYi-neng,CHENShuo

(DepartmentofPsychologyandBehaviorScience,Zhejiang

anevalnationre8uh

users

University,Hangzhou

310028,China)

Abstract:ForresterResearchInc.providedthemarksof4searchenginesgivenby5,279usedty

to

on

search

en矛neeffectiveness.whichinchded

analysis

wag

based

on

11evaluationitems.Exploratoryfactor

findthe

structure

oftheevaluationdata.Theresultsshow

uger

that:①Contentsaccuracyand

contentsaccessibili—

user

aletwo

mainfactorsof

experience

on

search

were

engine

to

effectiveness,which

WaS

consistentwithreported

on

be—

havior

patterns;②Thetwo

twofactors

obtainedfactorsusedevaluatetheuser

to

experience

searcheffectivenessoftop4

searchengines;theevaluation

suits,andthe

Key

are

results眦highly

also

relativethesearch

enginefeatureandthe3rdpartyevaluationre?

user

bond

betweenthesearchenginefeatureandthe

experience.

words:searchengine;effectiveness;riserexperience;factoranalysis;webnavigation

背景

基于用户体验改善搜索结果的有效性正成为

提供事务处理的相关网站,以完成购物、下载文件

或者地图寻找等活动心】。Zukerman等人2001年

提出适于网页呈现的两种用户模型,基于内容的用户模型(content-basedsystem)和基于合作的用户模型(collaborativesystem)。前者是基于网页内容而构建的用户模型,后者则是基于寻找“类似”用户而构建的模型,其假定为当前的搜索用户喜欢看到“类似”用户曾经访问过的网页"】。

Forrester

各搜索引擎的发展方向,通过用户的搜索行为来

了解用户的“搜索目标”成为各个搜索引擎的发

展重点,明确用户搜索目标可以提升网页的页面等级评定(pageranking)、有利于搜索结果的聚类以及有效呈现搜索结果…。Broder等人的研究表明,用户网页搜索行为基本目的是信息获取,而具体则可以分为网站导航型(navigational)和事务处理型(transactional)。在网站导航型的搜索情境中,用户希望搜索引擎返回目标网站的网址;而在事务处理型的搜索情境中,用户则希望搜索引擎

Research公司于2005年7月进行了

一项关于搜索引擎有效性的网上调查活动,获得了5279位美国和加拿大用户的有效数据,基于

11个用户体验评价指标对4种搜索引擎进行了

基金项目:国家基础科学人才培养基金(J0630760);浙江省教育厅基金(3520070212)

作者简介:徐意能(1985一),女,浙江宁波人,本科,研究方向:应用心理学,(电话)13516721942(电子信箱)04xlxxyn@zju.edu.cn。

万方数据

?10?厶耋王鏊堂2唑堡墨旦箜!垒鲞笙三塑

中可以看出,AOL、Google、MSN和Yahoo!四种搜索引擎在1l项指标上强弱分布错综复杂,根据有效性评价H1。本文的研究目的在于对该项研究的结果数据进行深入的数据挖掘,探索影响l1

种用户体验指标的用户体验心理结构,继而总结出基于用户体验的搜索引擎有效性综合评估指标。2方法

Forrester11项指标的得分对4种搜索引擎做出搜索有效性的综合评价是比较困难的任务。本文将首先对该评价结果进行标准化转换,再对转换后的数据进行探索性因素分析,进而将所获得的因素与现

有的研究结论进行对比研究,最终希望获得简洁Research公司2005年7月搜索引擎有效性的调查结果如表l所示H】,表中列出了

5279名用户根据11项有效性评估指标对4种搜

表1有效的基于用户体验的搜索引擎有效性综合评估指标。索引擎搜索有效性进行评估的综合结果。从表lFORRESTER搜索引擎有效性用户调查结果

注:95%置信区间为±1.4%

表1中各项指标的用户评价结果具有序列(等级)特性,将该结果转化为标准分数,使用户评价结果具有等距特性,以方便进一步的指标构接近。弗里德曼(Friedman)X2检验结果(X2(10)=38.630,P<0.01)表明四种搜索引擎之间具有显著差异,但是根据现有的数据无法对差异及其

原因进行具体分析,尤其是得分接近的3种搜索引擎Google,MSN和Yahoo!。建,如表2所示,其中AOL的各项得分在4种搜索引擎中最低,而其余3种搜索引擎的得分较为

表2FORRESTER搜索引擎有效性用户调查结果的标准分数万方数据

为了进一步研究4种搜索引擎之间的差异及

其原因,对表2中4种搜索引擎的11个变量进行

探索性因素分析。应用主成份分析法进行因素萃取,碎石图形态检验表明数据适合进行因素分析,

相关矩阵特征值大于l的有2个,相应萃取出2

个因子,2个因子的特征值和方差贡献率如表3所示。2个因子的累计方差贡献率高达o.95以上,初步显示2个因子可以对11个评价指标进行

有效综合。采用四次最大正交法旋转后的因子负

荷矩阵如表4所示。观察因子负荷矩阵的特征可以发现,因子l与l(返回结果的相关性)、2(待购

的特定产品或服务)、3(特定的公司网站)、4(特

定的主题)、lO(本地企业)以及ll(人)各项评价指标均具有较高的相关关系,因子2则与5(新闻故事)、6(股票牌价或金融信息)、7(音乐)、8(视频)以及9(本地娱乐信息)等5项指标呈较高的

正相关。据此可以将因子l命名为内容准确性因

子,该指标反映了搜索结果与用户预期目标接近的程度。可以将因子2命名为内容直接性因子。该指标反映搜索结果用户可以直接操作的程度。在一定的程度上,搜索结果的准确性提高可能会

降低搜索结果的可直接操作性。与Broder等

人旧-观察到的用户网络搜索行为模式对应,内容准确性是网站导航型(navigational)行为的体验指标,该指标取值高表明搜索引擎返回的页面与用户预期的搜索目标一致性高;内容直接性是事务处理型(transactional)行为的体验指标,该指标取值高则说明用户对搜索结果的操作较为容易,比如音乐、视频的下载容易完成。

表3因素分析结果:特征值和方差贡献率

3结果分析

4种搜索引擎在2个因子上的因子得分如图l所示。观察图1发现,AOL两项因子的得分在4种搜索引擎得分中最低,与表2中AOL各项得分最低的结果相一致。Google在内容准确性因子上得分为4种搜索引擎得分之最,MSN在内容直接性因子上得分最高,Yahoo!的2个因子得分均较AOL为高,和Google及MSN比较则互有优劣,显

得Yahoo!是具有中庸色彩但有效的搜索引擎。

万方数据

从图1中可以直观发现AOL、Google和MSN组成

一个三角形态,分别居于用户行为判定指标的两

项均低和单项因子得分高而另一项因子得分较低的状况,Yahoo!则位于Goosle和MSN之问,三者

几乎形成一条直线,该结果提示,目前搜索引擎在两个因子表现上是互相牵制的,内容准确性高,搜索结果的精准表达如同Google的搜索结果呈现方式,将会影响对内容的直接呈现,比如音乐和视频等内容类的搜索结果,可能要经过几次点击以后才可以对内容进行直接操作。

表4因素分析结果:因子负荷矩阵因子

评价指标

l(内容准确性)2(内容直接性)

注:数字上的方框表示在各因子上负荷较大的评价指标(因子负荷均大于0.700)。

m函妇辎砸体

-K

内容准确性因子

图1

4种搜索引擎在两个因子得分上的位置分布

4讨论

使用搜索引擎是最常用的网络搜索方法,搜索引擎基于用户的查询输入动态返回相匹配的查询结果页面,本文研究了4种主流的搜索引擎。

本研究数据分析结果发现,搜索结果的准确性和

直接操作性是影响搜索引擎有效性的两个重要因素,与Broder等人研究发现的两类用户行为模式

?12?

非常吻合。搜索结果的准确性很大程度上取决于搜索引擎的工作方式,而搜索结果的直接操作性更多取决于搜索结果的呈现方式,同时也受搜索结果准确性的牵制,搜索引擎在两个指标上的表现将会互相牵制,用户对搜索引擎的最终评价将取决于两者的综合表现。

4.1搜索引擎文档聚类方式对内容准确性的影响

按照文档聚类是检索之前还是之后进行,搜

索引擎的文档聚类方式有两种:事先聚类(pre.渺

trieval

clustering)和事后聚类(post—retrieval

cluste.

ring)。文档事先聚类,将相关文档归于同一类别,每一文档类以一个向量表示。在检索过程中,查询向量先与各个类向量逐一进行比较可以得到结果。向量空间模型的发明人Salton曾指出,事先聚类能够提高检索效率(efficiency)同时难免会降低检索效果(effect)"J。有些搜索引擎基于大规模文档(或全部文档)进行聚类,聚类过程中会由于分类原则存在相当局限导致分类质量较低,基于该种分类而形成的检索结果在有效性上显然表现一般。另外一些搜索引擎基于精简的文档集合聚类,聚类过程中会在同一搜索主题上形成多个小型分类,同时各个分类结果的集合规模较小,同样会影响检索效果。事先聚类是一种离线聚类,在执行任何搜索之前对所有的文档结合进行聚类,所以可能会发生对相关内容未进行追踪的现象。而事后聚类则是一种在线聚类,基于用户查询反馈文档集合进行聚类。部分文档集合的主要特征与用户搜索目标的相关性一般会高于整个文档集合的主要特征与用户搜索目标的相关性。事后聚类能够利用部分文档集合的主要特征提高检索效果。不过,事后聚类检索时间较长,检索效率会降低,这也是目前大多数搜索引擎采用事先聚类的主要原因。总之,事先聚类主要是为了提高检索效率,事后聚类主要是为了改善检索效果油1。

本研究的4种搜索引擎,其中Google采用事后聚类方式而其他3种搜索引擎采用事先聚类方式,从原理上推测google的搜索结果准确性应该高于其他3种搜索引擎,从本研究的数据分析结果看,Google的有效性已经在用户体验上有效地体现出来。Yahoo!属于目录式搜索引擎(Direc—

tory

Search

Engine),对搜索内容进行人工分类,该类搜索引擎因为人的智能参与,解决了事先聚类分类质量不高的问题,搜索信息准确、导航质量

万方数据

高,在本研究采用事先聚类的3种搜索引擎中Yahoo!的第一个因子得分是最高的。目录式搜索引擎的缺点是需要人工介入、维护工作量大、信息量少、信息更新不及时,所以相较C,oogle全文索引并且事后聚类的搜索方式而言,Yahoo!在内容准确性得分依然较低。MSN和AOL则由于事先聚类的缺陷,内容准确性得分依次排列在第三、第四位。

4。2搜索引擎用户综合感知对内容直接性的影响

Nielsen

NetRatings公司2004年一份研究报

告数据显示,在2004年10大网站排行榜中,Ya—hoo!位居第3,Google位居第4,AOL未能人选前10,MSN未出现在前lO,但是Microsoft位居第1。同时公布的10大品牌排行榜中,MSN第1,Ya-hoo!第2,AOL第4,coosle第5,其中Microsoft作为品牌排于第3位"]。Jansen等人2007的研究结果旧1提示,在搜索引擎品牌感知和搜索引擎评估中,AOL的用户忠诚度非常低,研究中的一位受访者宣称,他从不使用AOL因为“AOL比其他品牌(MSN,GoogleYahoo!)差得多。”Jansen等人研究同时发现,用户的综合感知印象取决于返回内容和呈现方式,Google在返回内容上排名第1,而Yahoo!则在品牌感知上得分很高(第2)。对比本研究图l中用户对4种搜索引擎的内容直

接眭评分排序可以发现,本研究获得的4种搜索引

擎的内容直接性排序是与上述研究结果基本一致,

并且“内容直接陛”是搜索引擎用户体验的一个重要

指标,与搜索引擎的用户感知之间关系密切。

Google基于PageRanking算法采用机器人搜索引擎(Crawler—Based

Search

Engine)工作方式,

搜索结果信息量大、更新及时、无需人工干预;但是返回信息过多,有很多无关信息,用户必须从结果中筛选,对于一般用户显然降低了搜索结果的可直接操作性,因而在本研究中Google的内容直接性因子得分为一0.491,位于MSN和Yahoo!之后。MSN搜索引擎具有基于用户输入的请求进行搜索目标的学习的能力,从本研究的结果看,该能力在内容直接性上显然给予用户良好的使用体验。Yahoo!依然得益于分类目录,在内容直接性上表现好于Google。

4.3

内容准确性和内容直接性的交互作用从搜索引擎工作原理看,搜索内容的准确性

和搜索结果可直接操作性之间存在一定的相互牵

(下转封三)

(上接第71页)

[5]

Rikers,R.M.J.P.,Boshuizen,H.P.A.,

Schmidt.H.G..NonMedical

RoutineProblemSolvingby

Presented

at

ginof

Intermediate

and

EffectsinClinicalCaseRecall

[J].Memory[10]

Cognition,1993,21(3):338—351.

G.,Moulaert,

or

Experts[C].Paper

theAnnual

Rikers,R.M.J.P.,Schmidt,}L

MeetingoftheAmericanEducationalResearchAsso—ciation,Chicago.March,1997.

Ve’ronique..BiomedicalKnowledge:EncapsulatedTwo

WorldsApart?[J].AppliedCognitivePsychol—

f6]Boshuizen,H.P.A..OntheDevelopmentofMedicalExpertise;ACognitivePsychological

ogy,2005,19(2):223-231。

Patel,V.L.,Groen,G.J.,Patel,Y.C..CognitiveAspectsofClinicalup:TheRoleHealthScience

Approach[D].

Unpublisheddoctoraldissertation.MaastrichtUniversi—tv。Haarlem.TheNetherlands.1989.

Performance

duringPatientWork—

of

ofMedical

Expertise[J].Advances

[7]Lesgold,A.M.,Rubinson,H.,Fehovich,P.J.,et

a1.ExpertiseinPictures

Education,1997,2(2):95—114.

ComplexSkill:DiagnosingX-ray

[12]

Kushniruk,A.W.,Patel,V.L.,Marley,A.J.

SmallWorldsandMedicalExpertise:ImplicationsforMedicalCognitionandKnowledge

fCl.InM.T.H.Chi,R.G1aser,&M.

Natureof

Farr(Eds.),TheExpertise.Hillsdale,NJ:Engineering[J].

LawrenceErlbaumAssociates.Inc.1988:311—342.

InternationalJournalofMedicalInformaties.1998.49

[8]Schmidt,H.G.,Boshuizen,H.P.A..Encapsula—

tionofBiomedical

(3):255-271.

Knowledge[C].In

D,A.Evans

V.L.Patel(Eds.),AdvancedModelsofCognition

forMedicalTrainingandPractice.NewYork:SpringerVedag.1992:265-282.

[收稿日期]2008—01—15[修回日期]2008-05—04

[9]Schmidt,H.G.,Boshuizen,H.P.A..On

theOri一

(上接第12页)

制作用。观察表4中的因子负荷可以发现,其中有5个项目在两个因子上负荷符号相反;图1中两个维度上的因子得分形态也具有负相关的趋势。本研究的研究结果提示,Broder等人口1研究发现的两类网络搜索用户行为模式对应两类不同的用户体验,进一步提升搜索引擎的用户体验,需要同时在搜索结果的“内容准确性”和“内容直接性”方面加以改进。

ModelsforUserer.Adapted

Modeling[J].UserModelingandUs-

Interaction,2001,11(1—2):5-18.

S.ConsumerTechnographics

H]j

VanBoskirk

Q2

2005

NorthAmericanDevices&AccessOnline

Survey[R].

Cambridge:ForresterResearch,Inc,2005.

Salton

G,WongA,YangCS.AVectorSpaceModel

forAutomatic

Indexing[J].CommunicationsofACM,

1975,18(11):613-620.哺

ShyuML,ChenSC,ShuCM.Affinity—basedProba—bilistic

Reasoning

and

Document

Clustering

on

结论

基于用户体验的搜索引擎有效性评估指标体

the

wwW[C].The24thIEEEComputerSocietyInterna—

系包括“内容准确性”和“内容直接性”两个主要指标,两个指标可用来对搜索引擎进行用户体验的综合评价,该评价结果对搜索引擎设计具有相当的参考价值。

喁一

tionalComputerSoftwareandApplicationsConference,2000,Taipei,Taiwan.

WongT,KimG.One‘InThreeAmericansUse

Search

Engine[R].New

York:NielsenNetRatings,

Inc,2004.

JansenBJ,ZhangM,ZhangY.BrandAwarenessandtheEvaluationofSearchthe

参考文献:

f1]Lee

U,LiuZ。ChoJ.AutomaticIdentificationofUserGoalsin

Results[C].Proceedings

of

World—WideWeb

Conference(wWW),May

WebSearch[C].ProceedingsoftheWorld—

2007,Banff,Alberta,Canada。

WideWebConference(WWW),May2005,Chiba,Ja—

pan?

[2]Broder

GIR

A.ATaxonomyofWebSearch[J].ACM

[收稿日期]2007-06—01

SI—

[修回日期]2007—11—13

Forum,2002,36(2):3-10.

I,AlbrechtD

『3]

ZukermanW.PredictiveStatistical

万方数据

相关推荐