网页分类算法

摘 要

随着互联网的高速发展，web上的信息越来越丰富，为了让人们更快捷轻松的找到需要的信息，网页分类的方法越来越多的得到应用。本文描述的分类方法采用基于支持向量机（Support Vector Machine）的分类方法。 本文首先介绍了网页分类的整体框架，包括特征提取、训练数据的整合、模型训练以及基于模型文件对网页进行分类。特征提取是网页分类的基础，它主要是通过对页面进行解析，得到页面的节点信息，以结构+属性的形式来描述页面特征，其中结构代表页面中特定元素的集合，属性代表结构具备的一些基本信息。根据结构和属性的配置，我们对每个页面可以提取到若干特征。 SVM是一种有监督的学习方法，它的任务是通过对训练数据的学习得到分类超平面，然后以此对随机数据进行二分类，所以首先我们需要构建一批训练数据。特征提取为我们提供了这样的帮助，通过对一批页面进行特征提取，以及一些相关的数据处理如规范化、离散化、信息统计、过滤等操作，我们得到一批可以用来进行SVM训练的数据，并且通过SVM模型训练得到模型文件。在对随即页面进行分类时，首先进行特征提取的工作，然后根据模型文件及特征提取结果进行相关计算，进而判断页面是否为某一类型。 对不同类型以及不同语言的

社会环境下网页重要性的研究

社会环境下网页重要性的研究

指导老师：陈强

邓青云 信息工程 20060003014

1

社会环境下网页重要性的研究

中文摘要

近年来，随着internet的不断发展，Web已经成为人们的重要信息来源，为人们提供了丰富的信息资源。与此同时，它所具有的海量数据、复杂性、极强的动态性和用户的多态性等特点也给We资源的发展发掘造成了相当的难度。通过分析和研究作为一种相当成功的基于超链分析的算法Google PageRank，可以有效地衡量网页重要度权值 ,然而进一步的研究也表明 ,这种纯粹依赖于超链分析的算法由于没有考虑到网页访问者对网页重要度权值的影响 ,所以在一定程度上会造成偏差 。因此 ,合理的将两者进行结合,充分利用访问者的知识水平和网页内容特征对PageRank 算法进行改进，得出最终搜索引擎排序优化算法，可以极大的提高这种算法的有效性和正确性。

关键词：超链分析，PageRank，算法，访问者，优化

2

社会环境下网页重要性的研究

ABSTRACT

In recent years, along wi

路由算法是路由协议必须高效地提供其功能，尽量减少软件和应用的开销。 路由器使用路由算法来找到到达目的地的最佳路由。

关于路由器如何收集网络的结构信息以及对之进行分析来确定最佳路由，有两种主要的路由算法： 总体式路由算法和分散式路由算法。采用分散式路由算法时，每个路由器只有与它直接相连的路由器的信息——而没有网络中的每个路由器的信息。这些算法也被称为DV（距离向量）算法。采用总体式路由算法时，每个路由器都拥有网络中所有其他路由器的全部信息以及网络的流量状态。这些算法也被称为LS（链路状态）算法。

收敛是在最佳路径的判断上所有路由器达到一致的过程。当某个网络事件引起路由可用或不可用时，路由器就发出更新信息。路由更新信息遍及整个网络，引发重新计算最佳路径，最终达到所有路由器一致公认的最佳路径。收敛慢的路由算法会造成路径循环或网络中断。

路由算法的核心是路由选择算法，设计路由算法时要考虑的技术要素有：

1、选择最短路由还是最佳路由；

2、通信子网是采用虚电路操作方式还是采用数据报的操作方式； 3、采用分布式路由算法还是采用集中式路由算法；

4、考虑关于网络拓扑、流量和延迟等网络信息的来源；

5、确定采用静态路由还是动态路由。

各路由算法的区别点包括：静态与动态

上海交通大学硕士学位论文目录

目录

第一章绪论 (1)

1.1 研究背景和意义 (1)

1.2 多标签分类 (2)

1.3 国内外研究现状 (3)

1.4 论文的结构安排 (6)

第二章多标签文本分类相关技术 (7)

2.1 文本分类的定义及过程 (7)

2.1.1 文本分类的定义 (7)

2.1.2 文本分类的一般过程 (7)

2.1.3 多标签文本分类评估方法 (8)

2.2 文本分类的分类方法 (9)

2.2.1 决策树算法 (9)

2.2.2 Ricchio算法 (10)

2.2.3 KNN算法 (11)

2.2.4 神经网络算法 (12)

2.2.5 朴素贝叶斯算法 (13)

2.2.6 支持向量机 (14)

2.3 本章小结 (14)

第三章基于中文多标签分类的特征选择 (16)

3.1 文本特征选择 (16)

3.2 特征选择方法 (17)

3.2.1 过滤无意义信息 (17)

3.2.2 汉语文本自动分词 (17)

3.2.3 汉语文本粗降维 (18)

3.2.4 文本表示模型 (18)

3.2.5 常用特征选择方法 (19)

3.3 改进的特征选择方法 (20)

3.3.1 强类别纹理挖掘算法 (20)

3.3.2 常用权重计算方法 (21)

III

万方数据

上海交通大学硕士学位论文目录

实现了基于朴素贝叶斯分类算法

基于朴素贝叶斯的数据分类算法的实现

李永超

(南京大学 计算机科学与技术系, 南京 210093)

Implementation of Data Classification Algorithm Based on Naïve Bayesian

Yongchao Li

(Department of Computer Science and Technology, Nanjing University, Nanjing 210093, China)

Abstract: I implemented a data classification algorithm, which is based on Naïve Bayesian. Data classification is an imperative way of analyzing data, it extracts models depicting important data classifications [1]. There are many methods for data classifications, such as Decision Tre

垃圾邮件分类算法的研究与分析

西北工业大学计算机学院陕西西安710129

(School of Computer, Northwestern Polytechnic University Xi ' an 710129 China)

摘要：随着互联网的高速发展,电子邮件已经成为人们信息获取和信息交流的一个重要的渠道。与此同时垃圾邮件也成为互联网上的一个日益严重的安全问题,引起了越来越多的社会大众和研究人员的重视和关注。

为了有效的分辨垃圾邮件，本文通过对训练数据进行相应的预处理及特征提取，分别使用朴素贝叶斯、C4.5 决策树、支持向量机三种方法来对垃圾邮件进行分类，通过测试结果，比对各个分类算法的优劣，并进行了详细的分析。

关键词：垃圾邮件朴素贝叶斯 C4.5 决策树支持向量机

Abstract ：With the rapid development of the Internet, e-mail plays an important roles in people's information access and information exchange. At the same time, spam has become an incr

阵列信号处理中的DOA（窄带）

空域滤波

波束形成：主要研究信号发射

/接收过程中的信号增强。

空间谱估计

空域参数估计：从而对目标进行定位/给空域滤波提供空域参数。

测向

波达方向估计(DOA)

空间谱：输出功率P关于波达角θ的函数，P(θ).

延迟——相加法/经典波束形成器注，延迟相加法和CBF法本质相同，仅仅是CBF法的最优权向量是归一化了的。

CBF/Bartlett波束形成器

1、传统法常规波束形成

常规波束形成（CBF：

波束形成器

多重信号分类法解相干的MUSIC算法（MUSIC）

基于波束空间的MUSIC算法

2、[object Object]

TAM

旋转不变子空间法

LS-ESPRIT

（ESPRIT）

TLS-ESPRIT

确定性最大似然法（DML：deterministic ML）

3、最大似然法

随机性最大似然法（SML：stochastic ML）

4、综合法：特性恢复与子空间法相结合的综合法，首先利用特征恢复方案区分多个信号，估计空间特征，进而采用子空间法确定波达方向

最大似然估计法是最优的方法，即便是在信噪比很低的环境下仍然具有良好的性能，但是通常计算量很大。同子空间方法不同的是，最大似然法在原信号为相关信号的情况下也能保持良好的性能。

阵列流形矩阵（导向矢量矩阵

阵列信号处理中的DOA（窄带）

空域滤波

波束形成：主要研究信号发射

/接收过程中的信号增强。

空间谱估计

空域参数估计：从而对目标进行定位/给空域滤波提供空域参数。

测向

波达方向估计(DOA)

空间谱：输出功率P关于波达角θ的函数，P(θ).

延迟——相加法/经典波束形成器注，延迟相加法和CBF法本质相同，仅仅是CBF法的最优权向量是归一化了的。

CBF/Bartlett波束形成器

1、传统法常规波束形成

常规波束形成（CBF：

波束形成器

多重信号分类法解相干的MUSIC算法（MUSIC）

基于波束空间的MUSIC算法

2、[object Object]

TAM

旋转不变子空间法

LS-ESPRIT

（ESPRIT）

TLS-ESPRIT

确定性最大似然法（DML：deterministic ML）

3、最大似然法

随机性最大似然法（SML：stochastic ML）

4、综合法：特性恢复与子空间法相结合的综合法，首先利用特征恢复方案区分多个信号，估计空间特征，进而采用子空间法确定波达方向

最大似然估计法是最优的方法，即便是在信噪比很低的环境下仍然具有良好的性能，但是通常计算量很大。同子空间方法不同的是，最大似然法在原信号为相关信号的情况下也能保持良好的性能。

阵列流形矩阵（导向矢量矩阵

网页挂马

解析网页后门与网页挂马

网站被挂马，被植入后门，这是管理员们无论如何都无法忍受的。Web服务器被攻克不算，还“城门失火殃及池鱼”，网站的浏览者也不能幸免。这无论是对企业的信誉，还是对管理员的技术能力都是沉重的打击。下面笔者结合实例对网页后门及其网页挂马的技术进行解析，知己知彼，拒绝攻击。

一、前置知识

网页后门其实就是一段网页代码，主要以ASP和PHP代码为主。由于这些代码都运行在服务器端，攻击者通过这段精心设计的代码，在服务器端进行某些危险的操作，获得某些敏感的技术信息或者通过渗透，提权获得服务器的控制权。并且这也是攻击者控制服务器的一条通道，比一般的入侵更具有隐蔽性。

网页挂马就是攻击者通过在正常的页面中(通常是网站的主页)插入一段代码。浏览者在打开该页面的时候，这段代码被执行，然后下载并运行某木马的服务器端程序，进而控制浏览者的主机。

二、网页挂马的类型

1、框架嵌入式网络挂马

网页木马被攻击者利用iframe语句，加载到任意网页中都可执行的挂马形式，是最早也是最有效的的一种网络挂马技术。通常的挂马代码如下：

解释：在打开插入该句代码的网页后

考点45 算法与程序框图、基本算法语句、

算法案例

一、选择题

1.（2012·广东高考文科·Ｔ9）执行如图所示的程序图，若输入n的值为6，则输出s的值为（ ）

(A)105 (B)16 (C)15 (D)1

【解题指南】本题是考查循环结构的程序框图，要判断准退出循环时，循环变量的值，本小题显然退出循环体时，i=7,因而判断出共执行了三次循环体，到此问题基本得到解决.

【解析】选C.本程序的功能是求S 1 3 5的值，显然S=15.

2.（2012·陕西高考文科·Ｔ5）如图是计算某年级500名学生期末考试（满分为100分）及格率的程序框图，则图中空白框内应填入（ ） (A)

q

NM

q

(B)

q

MN

(C)

q

NM N

(D)

q

MM N

【解题指南】读懂题意，确定程序是计算及格率，再读程序框图，确定M为及格人数，而输入的总人数是M N.

【解析】选D. 及格的人数是用M表示的，计算及格率时，注意总人数不是500，而是输入的人数，即M N，所以

q

M

M N

.

3.（2012·北京高考文科·Ｔ4）与（2012·北京高考理科·Ｔ