文本相似度算法比较

在向量空间模型中，文本泛指各种机器可读的记录。用D（Document）表示，特征项（Term，用t表示）是指出现在文档D中且能够代表该文档内容的基本语言单位，主要是由词或者短语构成，文本可以用特征项集表示为D(T1，T2，…，Tn)，其中Tk是特征项，1<=k<=N。例如一篇文档中有a、b、c、d四个特征项，那么这篇文档就可以表示为D(a，b，c，d)。对含有n个特征项的文本而言，通常会给每个特征项赋予一定的权重表示其重要程度。即D＝D(T1，W1；T2，W2；…，Tn，Wn)，简记为D＝D(W1，W2，…，Wn)，我们把它叫做文本D的向量表示。其中Wk是Tk的权重，1<=k<=N。在上面那个例子中，假设a、b、c、d的权重分别为30，20，20，10，那么该文本的向量表示为D(30，20，20，10)。在向量空间模型中，两个文本D1和D2之间的内容相关度Sim(D1，D2)常用向量之间夹角的余弦值表示，公式为： 余弦公式略

其中，W1k、W2k分别表示文本D1和D2第K个特征项的权值，1<=k<=N。

在自动归类中，我们可以利用类似的方法来计算待归类文档和某类目的相关度。例如文本D1的特征项为a，b，c，d，权值分别为30，20，20，10，类目C1的特征项为a，c，d，e，权值分别为40，30，20，10，则D1的向量表示为D1(30,20,20,10,0),C1的向量表示为C1（40，0，30，20，10），则根据上式计算出来的文本D1与类目C1相关度是0.86那个相关度0.86是怎么算出来的？

是这样的，抛开你的前面的赘述在数学当中，n维向量是 V{v1, v2, v3, ..., vn}

他的模： |v| = sqrt ( v1*v1 + v2*v2 + ... + vn*vn ) 两个向量的点击 m*n = n1*m1 + n2*m2 + ...... + nn*mn 相似度 ＝ (m*n) /(|m|*|n|)

毕业设计（论文）专用纸

毕 业 设 计（论 文）

题 目：基于VSM模型的文本相似性的比较

姓 名 X X X X X 学 号 A A A A A 所在学院 B B B B B 专业班级 C C C C C 指导教师 D D D D D 日 期

0

毕业设计（论文）专用纸

摘 要

在互联网迅速发展的时代，网络上的信息数量越来越多，种类也比较纷杂。虽然能在我们查询相关信息是提供大量选择，但是靠人工浏览的方式在浩瀚的信息库中找到自己最需要最相关的信息，无疑给用户带来了麻烦，而且效率也十分低下。为了解决这一个问题，关于判断文本相似度的技术应运而生，目前广泛运用于计算机，电信等行业。本文着重阐述了计算文本相似度的过程中会遇到的难题，以及解决这些难题需要用到的相应算法，最后利用VSM模型进行简单的设计与运用，完成基于web的相似网页检测程序

关键字：文本相似度；相似网页检测；VSM模型

1

毕业设计（论文）专用纸

ABSTRACT

With the Internet dev

图像相似度计算主要用于对于两幅图像之间内容的相似程度进行打分，根据分数的高低来判断图像内容的相近程度。

可以用于计算机视觉中的检测跟踪中目标位置的获取，根据已有模板在图像中找到一个与之最接近的区域。然后一直跟着。已有的一些算法比如BlobTracking，Meanshift，Camshift，粒子滤波等等也都是需要这方面的理论去支撑。

还有一方面就是基于图像内容的图像检索，也就是通常说的以图检图。比如给你某一个人在海量的图像数据库中罗列出与之最匹配的一些图像，当然这项技术可能也会这样做，将图像抽象为几个特征值，比如Trace变换，图像哈希或者Sift特征向量等等，来根据数据库中存得这些特征匹配再返回相应的图像来提高效率。

下面就一些自己看到过的算法进行一些算法原理和效果上的介绍 。 (1)直方图匹配。

比如有图像A和图像B，分别计算两幅图像的直方图，HistA，HistB，然后计算两个直方图的归一化相关系数（巴氏距离，直方图相交距离）等等。

这种思想是基于简单的数学上的向量之间的差异来进行图像相似程度的度量，这种方法是目前用的比较多的一种方法，第一，直方图能够很好的归一化，比如通常的256个bin

一种图像相似度匹配的算法,

1、图片大小规格化

为了比较两个图像，应该使其大小完全一致，这里可以设置为两个图片中较大的那个大小，长宽。

function Resize(const Source: TBitmap; var Dest: TBitmap): Boolean;

begin

if not Assigned(Dest) then

Dest := TBitmap.Create;

Dest.pixelformat := pf24bit;

Dest.Width := BMPWIDTH;

Dest.Height := BMPHEIGHT;

Dest.Canvas.CopyRect(Rect(0, 0, Dest.Width - 1, Dest.Height - 1), Source.Canvas, Rect(0, 0, Source.Width - 1, Source.Height - 1));

end;

2、图像灰度化

图像灰度化的方法有多种，这里介绍两种。一种是绝对平均值，一种是加权平均值。其实质就是将RGB三原色的色值相加，平均后赋予新值。不同的只是RGB三原色的权重不同。

绝对平均值

function Gray1(const Source: TBitmap): Bo

硕士学位论文

题 目：基于马尔科夫模型词序因子的文本相似度研究 英文题目：Study Of Chinese Text Similarity Research Based

On Markov Word Order Gene

申请学位学科专业：计算机应用技术

XX大学

硕士学位论文

题 目 协商研讨系统中的可视化技术研究 英文题目 Research on the Visualization in Group

Deliberation System

研究生姓名（签名） 指导教师姓名（签名） 职 称 教授 申请学位学科名称 计算机应用技术 学科代码 论文答辩日期 学位授予日期 学院负责人（签名） 评阅人姓名 评阅人姓名

年 月 日

学位论文原创性声明

1

排序算法比较

主要内容：

1)利用随机函数产生

10000个随机整数，对这些数进行多种方法

排序。

2）至少采用4种方法实现上述问题求解（可采用的方法有插入排序、希尔排序、起泡排序、快速排序、选择排序、堆排序、归并排序），并把排序后的结功能果保存在不同的文件里。

3）给出该排序算法统计每一种排序方法的性能（以运行程序所花费的时间为准进行对比），找出其中两种较快的方法。

程序的主要功能：

1.随机数在排序函数作用下进行排序 2.程序给出随机数排序所用的时间。

算法及时间复杂度

（一）各个排序是算法思想：

（1）直接插入排序：将一个记录插入到已排好的有序表中，从而得

到一个新的，记录数增加1的有序表。

（2）冒泡排序：首先将第一个记录的关键字和第二个记录的关键字

进行比较，若为逆序，则将两个记录交换，然后比较第二个记录和第三个记录的关键字。依此类推，直到第N-1和第N个记录的

1

2

关键字进行过比较为止。上述为第一趟排序，其结果使得关键字的最大纪录被安排到最后一个记录的位置上。然后进行第二趟起泡排序，对前N-1个记录进行同样操作。一共要进行N-1趟起泡排序。

（3）快速排序：通过一趟排序将待排记录分割成独

1

排序算法比较

主要内容：

1)利用随机函数产生

10000个随机整数，对这些数进行多种方法

排序。

2）至少采用4种方法实现上述问题求解（可采用的方法有插入排序、希尔排序、起泡排序、快速排序、选择排序、堆排序、归并排序），并把排序后的结功能果保存在不同的文件里。

3）给出该排序算法统计每一种排序方法的性能（以运行程序所花费的时间为准进行对比），找出其中两种较快的方法。

程序的主要功能：

1.随机数在排序函数作用下进行排序 2.程序给出随机数排序所用的时间。

算法及时间复杂度

（一）各个排序是算法思想：

（1）直接插入排序：将一个记录插入到已排好的有序表中，从而得

到一个新的，记录数增加1的有序表。

（2）冒泡排序：首先将第一个记录的关键字和第二个记录的关键字

进行比较，若为逆序，则将两个记录交换，然后比较第二个记录和第三个记录的关键字。依此类推，直到第N-1和第N个记录的

1

2

关键字进行过比较为止。上述为第一趟排序，其结果使得关键字的最大纪录被安排到最后一个记录的位置上。然后进行第二趟起泡排序，对前N-1个记录进行同样操作。一共要进行N-1趟起泡排序。

（3）快速排序：通过一趟排序将待排记录分割成独

华中科技大学研究生院

基于融合社交网络相似度的

群体推荐算法研究

1课题来源、研究意义和目的

1．1课题来源

本课题来源于实验室项目，旨在研究电子商务中的推荐系统。

1．2 研究意义和目的

近年来，Web2.0 技术的兴起更进一步拓展了用户与计算机之间的交互作用，提高了用户的使用体验，但也进一步加快了互联网信息资源的增长速度。海量的信息在给广大互联网用户带来更多选择的同时也使得其不得不花费大量的时间和精力从偌大的信息库中找到自己感兴趣或者对自己有用的信息，由此便导致了“信息过载”和“信息爆炸”的问题。个性化推荐作为目前解决信息过载问题的主要技术，个性化推荐技术已经在诸多领域得到了应用，如电子商务、社交网站、搜索引擎等。作为全球率先研究个性化推荐系统的企业之一的 Amazon[1]错误！未

找到引用源。

[2][3]

，也早已将个性化推荐服务放到了网站中的各个角落，成为目前

应用个性化推荐系统的成功案例之一。

迄今为止，关于个性化推荐技术的研究已有很多，但是已有的推荐系统大多都旨在为单个用户提供推荐，而现实生活中，有时却需要向一个群体提供推荐。比如一个家庭的所有成员同时观看电影、一个群体需要选择旅游目的地以及一个群体需要选择用餐地点等。由于群体成员的兴

华中科技大学研究生院

基于融合社交网络相似度的

群体推荐算法研究

1课题来源、研究意义和目的

1．1课题来源

本课题来源于实验室项目，旨在研究电子商务中的推荐系统。

1．2 研究意义和目的

近年来，Web2.0 技术的兴起更进一步拓展了用户与计算机之间的交互作用，提高了用户的使用体验，但也进一步加快了互联网信息资源的增长速度。海量的信息在给广大互联网用户带来更多选择的同时也使得其不得不花费大量的时间和精力从偌大的信息库中找到自己感兴趣或者对自己有用的信息，由此便导致了“信息过载”和“信息爆炸”的问题。个性化推荐作为目前解决信息过载问题的主要技术，个性化推荐技术已经在诸多领域得到了应用，如电子商务、社交网站、搜索引擎等。作为全球率先研究个性化推荐系统的企业之一的 Amazon[1]错误！未

找到引用源。

[2][3]

，也早已将个性化推荐服务放到了网站中的各个角落，成为目前

应用个性化推荐系统的成功案例之一。

迄今为止，关于个性化推荐技术的研究已有很多，但是已有的推荐系统大多都旨在为单个用户提供推荐，而现实生活中，有时却需要向一个群体提供推荐。比如一个家庭的所有成员同时观看电影、一个群体需要选择旅游目的地以及一个群体需要选择用餐地点等。由于群体成员的兴

课程设计说明书

设计名称： 数据结构课程设计

题 目： 排序算法比较

学生姓名：

专 业： 计算机科学与技术 班 级： 11级一班 学 号：

指导教师： 李娅 日 期： 2013 年 3 月 20 日

1

课程设计任务书

计算机科学与技术 专业 11 年级 班 一、 设计题目 各种算法排序比较 二、 主要内容

利用随机函数产生N个随机整数（N<10000），对这些数进行多种方法排序。

三、 要求

1)至少采用4种方法实现上述问题求解（可采用的方法有插入排序、希尔排序、起泡排序、快速排序、选择排序、堆排序、归并排序），并把排序后的结果保存在不同的文件里。

2）给出该排序算法对数据的比较次数和移动次数并统计每一种排序方法的性能（以运行程序所花费的时间为准进行对比），找出其中两种较快的方法。

四、 进度安排

1）资料阅读查找、系统分析，概要设计；时间安排0.5天 2）系统详细设计、功能设计；时间安排0.5天