文本分类和情感分析的区别

（2014 ---- 2015 学年 第 2 学期）

学院（中心、所）： 计算机与信息技术学院 专 业 名 称： 计算机应用技术 课 程 名 称： 自然语言处理技术 论 文 题 目： 文本分类综述 授课 教师（职称）：

研 究 生 姓 名： 年 级： 学 号： 成 绩： 评 阅 日 期：

山西大学研究生学院 2015年 6 月 2日

文本分类综述

摘要 文本分类就是在给定的分类体系下,让计算机根据给定文本的内容，将其判别为事先确定的若干个文本类别中的某一类或某几类的过程。文本分类在冗余过滤、组织管理、智能检索、信息过滤、元数据提取、构建索引、歧义消解、文本过滤等方面有很重要的应用。本文主要介绍文本分类的研究背

第一章 绪 论

1.1研究背景

当今的时代，是一个信息技术飞速发展的时代。随着信息技术的飞速发展，科学知识也在短时间内发生了急剧的、爆炸性的增长。

据1998年的资料显示[1]，70年代以来，全世界每年出版图书50万种，每一分钟就有一种新书出版。80年代每年全世界发表的科学论文大约500万篇，平均每天发表包含新知识的论文为1.3万-1.4万篇；登记的发明创造专利每年超过30万件，平均每天有800-900件专利问世。近二十年来，每年形成的文献资料的页数，美国约1,750亿页。另据联合国教科文组织所隶属的“世界科学技术情报系统”曾做的统计显示，科学知识每年的增长率，60年代以来已从9.5％增长到10.6％，到80年代每年增长率达12.5％。据说，一位化学家每周阅读40小时，光是浏览世界上一年内发表的有关化学方面的论文和著作就要读48年。而2005年的资料显示[2]，进入20世纪后全世界图书品种平均20年增加一倍，册数增加两倍。期刊出版物，平均10年增加一倍。科技文献年均增长率估计为13％，其中某些学科的文献量每10年左右翻一番，尖端科技文献的增长则更快，约2-3年翻一番。

同时，伴随着Internet的迅猛发展，网站和网页数也在迅速增长，大约

#!/usr/bin/env python # -*-coding:utf8-*-

importos

import codecs

fromsklearn.feature_extraction.text import TfidfVectorizer importnltk

fromsklearn.naive_bayes import MultinomialNB fromsklearn.linear_model import SGDClassifier

def tokenize(text):

tokens = nltk.word_tokenize(text)

# stems = stem_tokens(tokens, stemmer) return tokens

defread_corpus(topics):

print \token_dict = dict() y_train = [] fori in range(6):

dROOT_SUB = u'./data/topic_corpus_cut/' + topics[i].decode(\count = 0

forsubdir, dirs, files in os.walk(dRO

nguistics)，旨在把语言和语言使用与其意识形态意义联系起来的一种分析，使读者认识到语言和社会实践的辩证关系。批评语篇分析本质上是对语篇特别是大众语篇和官方话语进行的一种社会分析，以提高读者对语言的敏感程度，使他们认识到语言和现代社会生活之间微妙的关系以及语言运用和不平等的社会权力关系之间错综复杂的联系，促使读者实现批评阅读(critical reading)。

作为维也纳学派（Vienna School）的代表Wodak指出critical就是指不把任何语言理所当然化，就深入分析文本蕴含的复杂性，去除简化论，教条主义，二歧论乖影响，在研究中不断自省，使权力关系结构和透明化。三、理论框架

正如黄国文指出的，话语分析虽然没有公认的分析步骤，但语篇分析者都会运用一定的分析方法，遵循一定的步骤进行研究。同样的，批评话语分析的研究者们也往往会采用不同的分析方法，在不同的理论框架下进行分析。

CDA最初都是对西方主流语言学和早期社会语言学的批判，将文本分析和社会理论相结合，但因为语言学基础不同，分析的理论框架也不尽相同，国外批评语篇分析的主要流派包括以Fairclough为代表的兰卡斯特学派(Lancaster Scho

Web文本情感分类研究综述

王洪伟/刘勰/尹裴/廖雅国

2012-9-27 14:55:59 来源：《情报学报》(京)2010年5期

【英文标题】Review of Sentiment Classification on Web Text

【作者简介】王洪伟，男，1973年生，博士，副教授／博士生导师，研究方向：本体建模和情感计算，E-mail:hwwang@tongji.edu.cn。同济大学经济与管理学院，上海200092；

刘勰，男，1985年生，硕士研究生，研究方向：数据挖掘与情感计算。同济大学经济与管理学院，上海200092；

尹裴，女，1986年生，硕士研究生，研究方向：商务智能。同济大学经济与管理学院，上海200092；

廖雅国，男，1954年生，博士，教授，研究方向：人工智能与电子商务。香港理工大学电子计算学系，香港

【内容提要】对用户发表在Web上的评论进行分析，能够识别出隐含在其中的情感信息，并发现用户情感的演变规律。为此，本文对Web文本情感分类的研究进行综述。将情感分类划分为三类任务：主客观分类、极性判别和强度判别，对各自的研究进展进行总结。其中将情感极性判别的方法分为基于情感词汇语

基于libsvm的中文文本分类原型

支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本 、非线性 及高维模式识别 中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小 原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。SVM理论的学习，请参考jasper的博客 。

LIBSVM 是台湾大学林智仁(Chih-Jen Lin)博士等开发设计的一个操作简单、易于使用、快速有效的通用 SVM 软件包,可以解决分类问题(包括 C?SVC 、ν?SVC )， 回归问题(包括 ε ? SVR 、v? SVR ) 以及分布估计(one ? class ? SVM ) 等问题,提供了线性、多项式、径向基和 S 形函数四种常用的核函数供选择，可以有效地解决多类问题、交叉验证选择参数、对不平衡样本加权、多类问题的概率估计等。LIBSVM 是一个开源的软件包,。他

论文

情报学报　

　　ＩＳＳＮ１０００－０１３５

第２９卷第５期９３１－９３８，２０１０年１０月

ＪＯＵＲＮＡＬＯＦＴＨＥＣＨＩＮＡＳＯＣＩＥＴＹＦＯＲＳＣＩＥＮＴＩＦＩＣ

ＡＮＤＴＥＣＨＮＩＣＡＬＩＮＦＯＲＭＡＴＩＯＮＩＳＳＮ１０００－０１３５ｄｏｉ：１０．３７７２桙ｊ．ｉｓｓｎ．１０００－０１３５．２０１０．０５．０２３

Ｗｅｂ文本情感分类研究综述

１

１

１

１）

王洪伟　刘　勰　尹　裴　廖雅国

２

（１畅同济大学经济与管理学院，上海２０００９２；２畅香港理工大学电子计算学系，香港）

能够识别出隐含在其中的情感信息，并发现用户情感的演变规摘要　　对用户发表在Ｗｅｂ上的评论进行分析，

律。为此，本文对Ｗｅｂ文本情感分类的研究进行综述。将情感分类划分为三类任务：主客观分类、极性判别和强度判别，对各自的研究进展进行总结。其中将情感极性判别的方法分为基于情感词汇语义特性的识别和基于统计自然语言处理的识别方法。分析了情感分类中的语料库选择和研究难点。最后总结了情感分类的应用现状，并指出今后的研究方向。

关键词　　Ｗｅｂ文本　情感分类　综述　主观性文本

ＬｉｔｅｒａｔｕｒｅＲｅｖｉｅｗｏｆＳｅｎｔｉｍｅｎｔＣｌａｓｓｉｆｉｃａｔｉｏｎｏｎＷｅｂＴｅｘｔ

ＷａｎｇＨｏｎｇｗｅｉ，Ｌｉｕ

文本分类中不平衡数据的处理

中山大学

硕士学位论文

文本分类中不平衡数据的处理

姓名：骆凯敏

申请学位级别：硕士

专业：应用数学

指导教师：姚正安

20050527

文本分类中不平衡数据的处理

中山大学硕士学位论文：文本分类中不平衡数据的处理

文本分类中不平衡数据的处理

专业：应用数学

硕（博）士生：骆凯敏

指导教师：姚正安教授

摘要

随着计算机软硬件技术的飞速发展，计算机的各种应用已经深入到我们日常生活的每一个角落．生活中大量的电子文本使得人们难以对其进行整理，因为传统的信息检索方法只针对于以纸张存储的信息，对电子文本的存储格式则无用武之地．于是学者开始运用各种机器学习、数据挖掘的方法对电子文本进行处理，以便人们对其进行检索，从中搜寻有用信息．在各种相关的研究中，文本分类（ＴｅｘｔＣａｔｅｇｏｒｉｚａｔｉｏｎ）是学者研究的一个热点．

文本分类的方法很多，诸如朴素贝叶斯分类方法、决策树分类方法、基于实例的分类方法、支持向量机分类方法等．评价分类方法的好坏会使用分准率（Ｐｒｅｃｉｓｉｏｎ）、分全率（Ｒｅｃａｌｌ）、Ｆｌ值或是使用它们的均值．在以往的大部分文本分类论文中，学者倾向于使用Ｆｌ的微观均值．使用Ｆ１微观均值可以从总体上综合评价分类器的分类效果，但是掩盖了少数类分类精度低

上海交通大学硕士学位论文目录

目录

第一章绪论 (1)

1.1 研究背景和意义 (1)

1.2 多标签分类 (2)

1.3 国内外研究现状 (3)

1.4 论文的结构安排 (6)

第二章多标签文本分类相关技术 (7)

2.1 文本分类的定义及过程 (7)

2.1.1 文本分类的定义 (7)

2.1.2 文本分类的一般过程 (7)

2.1.3 多标签文本分类评估方法 (8)

2.2 文本分类的分类方法 (9)

2.2.1 决策树算法 (9)

2.2.2 Ricchio算法 (10)

2.2.3 KNN算法 (11)

2.2.4 神经网络算法 (12)

2.2.5 朴素贝叶斯算法 (13)

2.2.6 支持向量机 (14)

2.3 本章小结 (14)

第三章基于中文多标签分类的特征选择 (16)

3.1 文本特征选择 (16)

3.2 特征选择方法 (17)

3.2.1 过滤无意义信息 (17)

3.2.2 汉语文本自动分词 (17)

3.2.3 汉语文本粗降维 (18)

3.2.4 文本表示模型 (18)

3.2.5 常用特征选择方法 (19)

3.3 改进的特征选择方法 (20)

3.3.1 强类别纹理挖掘算法 (20)

3.3.2 常用权重计算方法 (21)

III

万方数据

上海交通大学硕士学位论文目录

介绍了Markov逻辑网的理论模型、学习算法和推理算法,并将其应用于中文文本分类中。实验结合了判别式训练的学习算法,MC—SAT、吉布斯抽样和模拟退火等推理算法,结果表明基于Markov逻辑网的分类方法能够取得比传统K邻近(KNN)分类算法更好的效果

第2 9卷第 l 0期2 00年 19月0文编号章：01 98 ( 901 2 2 0 10— 0 1 2 ) 0— 709— 4

算计应机用 Ju nl o oue pia n i o r fa mCp trA p lts co Vo . No 1 9 21 .0 0 .2c 0 t 9

M0kav辑网逻及其文在本分类 中的应用 ro张芳玉，黄涛，东梅，艾熊忠 阳(重庆学大计算机学，重庆院4 04 0 40(a ).nh g@ irc rit t tmlao ) n.

n摘要:介绍了 Mkva辑的网论理型模 ro、逻习学法和算推理算，法将并应用于其中文本分类文中实。验结合了判

别训练的学式习算，—A吉布法抽斯样模和退拟等火推算理法，MS T、 C结果表基明于M ao rv逻辑网的类分方法够能取k得传比统 K邻 近 N )(类算法好更的效果。 NK 分关键词:统计系学习；器关学；习ro机 a