文本情感分类数据集

Web文本情感分类研究综述

王洪伟/刘勰/尹裴/廖雅国

2012-9-27 14:55:59 来源：《情报学报》(京)2010年5期

【英文标题】Review of Sentiment Classification on Web Text

【作者简介】王洪伟，男，1973年生，博士，副教授／博士生导师，研究方向：本体建模和情感计算，E-mail:hwwang@tongji.edu.cn。同济大学经济与管理学院，上海200092；

刘勰，男，1985年生，硕士研究生，研究方向：数据挖掘与情感计算。同济大学经济与管理学院，上海200092；

尹裴，女，1986年生，硕士研究生，研究方向：商务智能。同济大学经济与管理学院，上海200092；

廖雅国，男，1954年生，博士，教授，研究方向：人工智能与电子商务。香港理工大学电子计算学系，香港

【内容提要】对用户发表在Web上的评论进行分析，能够识别出隐含在其中的情感信息，并发现用户情感的演变规律。为此，本文对Web文本情感分类的研究进行综述。将情感分类划分为三类任务：主客观分类、极性判别和强度判别，对各自的研究进展进行总结。其中将情感极性判别的方法分为基于情感词汇语

论文

情报学报　

　　ＩＳＳＮ１０００－０１３５

第２９卷第５期９３１－９３８，２０１０年１０月

ＪＯＵＲＮＡＬＯＦＴＨＥＣＨＩＮＡＳＯＣＩＥＴＹＦＯＲＳＣＩＥＮＴＩＦＩＣ

ＡＮＤＴＥＣＨＮＩＣＡＬＩＮＦＯＲＭＡＴＩＯＮＩＳＳＮ１０００－０１３５ｄｏｉ：１０．３７７２桙ｊ．ｉｓｓｎ．１０００－０１３５．２０１０．０５．０２３

Ｗｅｂ文本情感分类研究综述

１

１

１

１）

王洪伟　刘　勰　尹　裴　廖雅国

２

（１畅同济大学经济与管理学院，上海２０００９２；２畅香港理工大学电子计算学系，香港）

能够识别出隐含在其中的情感信息，并发现用户情感的演变规摘要　　对用户发表在Ｗｅｂ上的评论进行分析，

律。为此，本文对Ｗｅｂ文本情感分类的研究进行综述。将情感分类划分为三类任务：主客观分类、极性判别和强度判别，对各自的研究进展进行总结。其中将情感极性判别的方法分为基于情感词汇语义特性的识别和基于统计自然语言处理的识别方法。分析了情感分类中的语料库选择和研究难点。最后总结了情感分类的应用现状，并指出今后的研究方向。

关键词　　Ｗｅｂ文本　情感分类　综述　主观性文本

ＬｉｔｅｒａｔｕｒｅＲｅｖｉｅｗｏｆＳｅｎｔｉｍｅｎｔＣｌａｓｓｉｆｉｃａｔｉｏｎｏｎＷｅｂＴｅｘｔ

ＷａｎｇＨｏｎｇｗｅｉ，Ｌｉｕ

文本分类中不平衡数据的处理

中山大学

硕士学位论文

文本分类中不平衡数据的处理

姓名：骆凯敏

申请学位级别：硕士

专业：应用数学

指导教师：姚正安

20050527

文本分类中不平衡数据的处理

中山大学硕士学位论文：文本分类中不平衡数据的处理

文本分类中不平衡数据的处理

专业：应用数学

硕（博）士生：骆凯敏

指导教师：姚正安教授

摘要

随着计算机软硬件技术的飞速发展，计算机的各种应用已经深入到我们日常生活的每一个角落．生活中大量的电子文本使得人们难以对其进行整理，因为传统的信息检索方法只针对于以纸张存储的信息，对电子文本的存储格式则无用武之地．于是学者开始运用各种机器学习、数据挖掘的方法对电子文本进行处理，以便人们对其进行检索，从中搜寻有用信息．在各种相关的研究中，文本分类（ＴｅｘｔＣａｔｅｇｏｒｉｚａｔｉｏｎ）是学者研究的一个热点．

文本分类的方法很多，诸如朴素贝叶斯分类方法、决策树分类方法、基于实例的分类方法、支持向量机分类方法等．评价分类方法的好坏会使用分准率（Ｐｒｅｃｉｓｉｏｎ）、分全率（Ｒｅｃａｌｌ）、Ｆｌ值或是使用它们的均值．在以往的大部分文本分类论文中，学者倾向于使用Ｆｌ的微观均值．使用Ｆ１微观均值可以从总体上综合评价分类器的分类效果，但是掩盖了少数类分类精度低

（2014 ---- 2015 学年 第 2 学期）

学院（中心、所）： 计算机与信息技术学院 专 业 名 称： 计算机应用技术 课 程 名 称： 自然语言处理技术 论 文 题 目： 文本分类综述 授课 教师（职称）：

研 究 生 姓 名： 年 级： 学 号： 成 绩： 评 阅 日 期：

山西大学研究生学院 2015年 6 月 2日

文本分类综述

摘要 文本分类就是在给定的分类体系下,让计算机根据给定文本的内容，将其判别为事先确定的若干个文本类别中的某一类或某几类的过程。文本分类在冗余过滤、组织管理、智能检索、信息过滤、元数据提取、构建索引、歧义消解、文本过滤等方面有很重要的应用。本文主要介绍文本分类的研究背

第一章 绪 论

1.1研究背景

当今的时代，是一个信息技术飞速发展的时代。随着信息技术的飞速发展，科学知识也在短时间内发生了急剧的、爆炸性的增长。

据1998年的资料显示[1]，70年代以来，全世界每年出版图书50万种，每一分钟就有一种新书出版。80年代每年全世界发表的科学论文大约500万篇，平均每天发表包含新知识的论文为1.3万-1.4万篇；登记的发明创造专利每年超过30万件，平均每天有800-900件专利问世。近二十年来，每年形成的文献资料的页数，美国约1,750亿页。另据联合国教科文组织所隶属的“世界科学技术情报系统”曾做的统计显示，科学知识每年的增长率，60年代以来已从9.5％增长到10.6％，到80年代每年增长率达12.5％。据说，一位化学家每周阅读40小时，光是浏览世界上一年内发表的有关化学方面的论文和著作就要读48年。而2005年的资料显示[2]，进入20世纪后全世界图书品种平均20年增加一倍，册数增加两倍。期刊出版物，平均10年增加一倍。科技文献年均增长率估计为13％，其中某些学科的文献量每10年左右翻一番，尖端科技文献的增长则更快，约2-3年翻一番。

同时，伴随着Internet的迅猛发展，网站和网页数也在迅速增长，大约

This was the 1983 ASA Data Exposition dataset. The dataset was collected by Ernesto Ramos and David Donoho and dealt with automobiles. Data on mpg, cylinders, displacement, etc. (8 variables) for 406 different cars. The dataset includes the names of the cars.

汽车数据集(cars dataset)

数据摘要：

This was the 1983 ASA Data Exposition dataset. The dataset was collected by Ernesto Ramos and David Donoho and dealt with

automobiles. Data on mpg, cylinders, displacement, etc. (8 variables) for 406 different cars. The dataset includes the names

#!/usr/bin/env python # -*-coding:utf8-*-

importos

import codecs

fromsklearn.feature_extraction.text import TfidfVectorizer importnltk

fromsklearn.naive_bayes import MultinomialNB fromsklearn.linear_model import SGDClassifier

def tokenize(text):

tokens = nltk.word_tokenize(text)

# stems = stem_tokens(tokens, stemmer) return tokens

defread_corpus(topics):

print \token_dict = dict() y_train = [] fori in range(6):

dROOT_SUB = u'./data/topic_corpus_cut/' + topics[i].decode(\count = 0

forsubdir, dirs, files in os.walk(dRO

IBT-SAT小马过河—专业备考社区

听写是提高听力的唯一途径

注意：

新托福市面上没有真题，备考最佳材料就是旧托福的真题！然而——普通的PBT 真题历年在 考场上偷录的声音质量存在严重的问题，影响我们学习使用！ 特点：

小马过河*p04X9小马过河新托福专业备考社区3dw@UC96{0d5~1m本材料取材于旧托福CBT 机考的真题，声音质量很清晰 按照场景分类去学习，同话题横听段子，事半功倍

场景分类如下：音频地址：http://www.xiaoma.com/bbs/thread-2167-1-1.html

（1） 历年旧托福mp3 及脚本 http://www.xiaoma.com/bbs/forum-24-1.html （2） 什么是听写 http://www.xiaoma.com/bbs/thread-10089-1-1.html （3） 怎样听写 http://www.xiaoma.com/bbs/thread-105-1-1.html

（4） 语音识别问题起因 http://www.xiaoma.com/bbs/thread-10833-1-1.html （5） 因听写而进步 http://www.xiaoma.com/bbs/th

外国垃圾分类落实现状

最近，广州政府出台了“垃圾分类，违者罚款”新规定，4月1日起开始执行。随着中国城市化进程的加快发展，垃圾处理以及由此引发的环境和社会问题已经成为困扰各级城市政府管理者的难题。但许多广州市民认为政府的这项处罚政策“不尽人情”，那么我们不妨了解一下世界其它国家和地区应对城市垃圾问题的举措和民众行动，看是否有特别值得学习和借鉴的招数和点子。

瑞典：垃圾分类深入社区

瑞典也是一个重视垃圾回收利用的国家。日常生活中人们就有意识地把各类金属、塑料、玻璃等种类的废品收集，攒多了就扔到分类垃圾回收站。在瑞典的社区中心或大的加油站旁边，总排列着一个个绿色的金属罐，每个体积约3立方米，供分类回收垃圾用，罐上分别标着：金属、有色玻璃、无色玻璃、报纸、硬纸壳、塑料等，每星期，回收公司都派人把这些箱子里的东西运走，处理后重新利用。除此之外，每个社区还专门设立一些大的垃圾处理场，居民可以把废弃的电器和大件家具等扔到这里。对住别墅的瑞典居民，自家修整花园所产生的园艺垃圾需被送到指定地点，粉碎后沤肥或制造纸浆。对少数易燃易爆、腐蚀性强的危险品垃圾，如油漆、染料、酸碱等物品，瑞典人会极其仔细地包装它们，运到指定的密闭性良好的专门回收点，此外，废旧电池也有

第33卷第5期2014年5月

情报杂志

JOUＲNALOFINTELLIGENCE

Vol．33No．5May2014

面向网络舆情的评论文本情感分析研究

李光敏

1

!

张行文

1

张磊

2

杨朋英

1

（1．湖北师范学院计算机科学技术学院2．河南大学数据与知识工程研究所

摘

要

黄石435000；开封475004）

随着Internet的迅速发展，互联网超越传统媒体成为反映社会舆情的主要载体。如何有效地从其中获取社

情民意以引导社会健康发展是政府等职能部门所关注的重要问题。首先提出对日益增多的网络评论文本进行情感分析研究的必要性。然后从主题识别、主客观性分类、情感极性分类等方面介绍针对网络舆情的情感分析在国内外的研究进展。最后列举出情感分析在网络舆情监控方面的应用和今后需深入研究的问题。关键词

网络舆情

情感分析

主题识别

极性分类

A

文章编号1002－1965（2014）05－0157－04

中图分类号

TP391．1

文献标志码

DOI10．3969/j．issn．1002－1965．2014．05．028

ＲesearchonTextSentimentAnalysisforOnlineOpinion

LiGuangmin1

ZhangXingwen1

ZhangLei2

YangPengying1