pytorch文本情感分类

Web文本情感分类研究综述

王洪伟/刘勰/尹裴/廖雅国

2012-9-27 14:55:59 来源：《情报学报》(京)2010年5期

【英文标题】Review of Sentiment Classification on Web Text

【作者简介】王洪伟，男，1973年生，博士，副教授／博士生导师，研究方向：本体建模和情感计算，E-mail:hwwang@tongji.edu.cn。同济大学经济与管理学院，上海200092；

刘勰，男，1985年生，硕士研究生，研究方向：数据挖掘与情感计算。同济大学经济与管理学院，上海200092；

尹裴，女，1986年生，硕士研究生，研究方向：商务智能。同济大学经济与管理学院，上海200092；

廖雅国，男，1954年生，博士，教授，研究方向：人工智能与电子商务。香港理工大学电子计算学系，香港

【内容提要】对用户发表在Web上的评论进行分析，能够识别出隐含在其中的情感信息，并发现用户情感的演变规律。为此，本文对Web文本情感分类的研究进行综述。将情感分类划分为三类任务：主客观分类、极性判别和强度判别，对各自的研究进展进行总结。其中将情感极性判别的方法分为基于情感词汇语

论文

情报学报　

　　ＩＳＳＮ１０００－０１３５

第２９卷第５期９３１－９３８，２０１０年１０月

ＪＯＵＲＮＡＬＯＦＴＨＥＣＨＩＮＡＳＯＣＩＥＴＹＦＯＲＳＣＩＥＮＴＩＦＩＣ

ＡＮＤＴＥＣＨＮＩＣＡＬＩＮＦＯＲＭＡＴＩＯＮＩＳＳＮ１０００－０１３５ｄｏｉ：１０．３７７２桙ｊ．ｉｓｓｎ．１０００－０１３５．２０１０．０５．０２３

Ｗｅｂ文本情感分类研究综述

１

１

１

１）

王洪伟　刘　勰　尹　裴　廖雅国

２

（１畅同济大学经济与管理学院，上海２０００９２；２畅香港理工大学电子计算学系，香港）

能够识别出隐含在其中的情感信息，并发现用户情感的演变规摘要　　对用户发表在Ｗｅｂ上的评论进行分析，

律。为此，本文对Ｗｅｂ文本情感分类的研究进行综述。将情感分类划分为三类任务：主客观分类、极性判别和强度判别，对各自的研究进展进行总结。其中将情感极性判别的方法分为基于情感词汇语义特性的识别和基于统计自然语言处理的识别方法。分析了情感分类中的语料库选择和研究难点。最后总结了情感分类的应用现状，并指出今后的研究方向。

关键词　　Ｗｅｂ文本　情感分类　综述　主观性文本

ＬｉｔｅｒａｔｕｒｅＲｅｖｉｅｗｏｆＳｅｎｔｉｍｅｎｔＣｌａｓｓｉｆｉｃａｔｉｏｎｏｎＷｅｂＴｅｘｔ

ＷａｎｇＨｏｎｇｗｅｉ，Ｌｉｕ

（2014 ---- 2015 学年 第 2 学期）

学院（中心、所）： 计算机与信息技术学院 专 业 名 称： 计算机应用技术 课 程 名 称： 自然语言处理技术 论 文 题 目： 文本分类综述 授课 教师（职称）：

研 究 生 姓 名： 年 级： 学 号： 成 绩： 评 阅 日 期：

山西大学研究生学院 2015年 6 月 2日

文本分类综述

摘要 文本分类就是在给定的分类体系下,让计算机根据给定文本的内容，将其判别为事先确定的若干个文本类别中的某一类或某几类的过程。文本分类在冗余过滤、组织管理、智能检索、信息过滤、元数据提取、构建索引、歧义消解、文本过滤等方面有很重要的应用。本文主要介绍文本分类的研究背

第一章 绪 论

1.1研究背景

当今的时代，是一个信息技术飞速发展的时代。随着信息技术的飞速发展，科学知识也在短时间内发生了急剧的、爆炸性的增长。

据1998年的资料显示[1]，70年代以来，全世界每年出版图书50万种，每一分钟就有一种新书出版。80年代每年全世界发表的科学论文大约500万篇，平均每天发表包含新知识的论文为1.3万-1.4万篇；登记的发明创造专利每年超过30万件，平均每天有800-900件专利问世。近二十年来，每年形成的文献资料的页数，美国约1,750亿页。另据联合国教科文组织所隶属的“世界科学技术情报系统”曾做的统计显示，科学知识每年的增长率，60年代以来已从9.5％增长到10.6％，到80年代每年增长率达12.5％。据说，一位化学家每周阅读40小时，光是浏览世界上一年内发表的有关化学方面的论文和著作就要读48年。而2005年的资料显示[2]，进入20世纪后全世界图书品种平均20年增加一倍，册数增加两倍。期刊出版物，平均10年增加一倍。科技文献年均增长率估计为13％，其中某些学科的文献量每10年左右翻一番，尖端科技文献的增长则更快，约2-3年翻一番。

同时，伴随着Internet的迅猛发展，网站和网页数也在迅速增长，大约

#!/usr/bin/env python # -*-coding:utf8-*-

importos

import codecs

fromsklearn.feature_extraction.text import TfidfVectorizer importnltk

fromsklearn.naive_bayes import MultinomialNB fromsklearn.linear_model import SGDClassifier

def tokenize(text):

tokens = nltk.word_tokenize(text)

# stems = stem_tokens(tokens, stemmer) return tokens

defread_corpus(topics):

print \token_dict = dict() y_train = [] fori in range(6):

dROOT_SUB = u'./data/topic_corpus_cut/' + topics[i].decode(\count = 0

forsubdir, dirs, files in os.walk(dRO

IBT-SAT小马过河—专业备考社区

听写是提高听力的唯一途径

注意：

新托福市面上没有真题，备考最佳材料就是旧托福的真题！然而——普通的PBT 真题历年在 考场上偷录的声音质量存在严重的问题，影响我们学习使用！ 特点：

小马过河*p04X9小马过河新托福专业备考社区3dw@UC96{0d5~1m本材料取材于旧托福CBT 机考的真题，声音质量很清晰 按照场景分类去学习，同话题横听段子，事半功倍

场景分类如下：音频地址：http://www.xiaoma.com/bbs/thread-2167-1-1.html

（1） 历年旧托福mp3 及脚本 http://www.xiaoma.com/bbs/forum-24-1.html （2） 什么是听写 http://www.xiaoma.com/bbs/thread-10089-1-1.html （3） 怎样听写 http://www.xiaoma.com/bbs/thread-105-1-1.html

（4） 语音识别问题起因 http://www.xiaoma.com/bbs/thread-10833-1-1.html （5） 因听写而进步 http://www.xiaoma.com/bbs/th

外国垃圾分类落实现状

最近，广州政府出台了“垃圾分类，违者罚款”新规定，4月1日起开始执行。随着中国城市化进程的加快发展，垃圾处理以及由此引发的环境和社会问题已经成为困扰各级城市政府管理者的难题。但许多广州市民认为政府的这项处罚政策“不尽人情”，那么我们不妨了解一下世界其它国家和地区应对城市垃圾问题的举措和民众行动，看是否有特别值得学习和借鉴的招数和点子。

瑞典：垃圾分类深入社区

瑞典也是一个重视垃圾回收利用的国家。日常生活中人们就有意识地把各类金属、塑料、玻璃等种类的废品收集，攒多了就扔到分类垃圾回收站。在瑞典的社区中心或大的加油站旁边，总排列着一个个绿色的金属罐，每个体积约3立方米，供分类回收垃圾用，罐上分别标着：金属、有色玻璃、无色玻璃、报纸、硬纸壳、塑料等，每星期，回收公司都派人把这些箱子里的东西运走，处理后重新利用。除此之外，每个社区还专门设立一些大的垃圾处理场，居民可以把废弃的电器和大件家具等扔到这里。对住别墅的瑞典居民，自家修整花园所产生的园艺垃圾需被送到指定地点，粉碎后沤肥或制造纸浆。对少数易燃易爆、腐蚀性强的危险品垃圾，如油漆、染料、酸碱等物品，瑞典人会极其仔细地包装它们，运到指定的密闭性良好的专门回收点，此外，废旧电池也有

第33卷第5期2014年5月

情报杂志

JOUＲNALOFINTELLIGENCE

Vol．33No．5May2014

面向网络舆情的评论文本情感分析研究

李光敏

1

!

张行文

1

张磊

2

杨朋英

1

（1．湖北师范学院计算机科学技术学院2．河南大学数据与知识工程研究所

摘

要

黄石435000；开封475004）

随着Internet的迅速发展，互联网超越传统媒体成为反映社会舆情的主要载体。如何有效地从其中获取社

情民意以引导社会健康发展是政府等职能部门所关注的重要问题。首先提出对日益增多的网络评论文本进行情感分析研究的必要性。然后从主题识别、主客观性分类、情感极性分类等方面介绍针对网络舆情的情感分析在国内外的研究进展。最后列举出情感分析在网络舆情监控方面的应用和今后需深入研究的问题。关键词

网络舆情

情感分析

主题识别

极性分类

A

文章编号1002－1965（2014）05－0157－04

中图分类号

TP391．1

文献标志码

DOI10．3969/j．issn．1002－1965．2014．05．028

ＲesearchonTextSentimentAnalysisforOnlineOpinion

LiGuangmin1

ZhangXingwen1

ZhangLei2

YangPengying1

　　生活垃圾分类是一个需要公众参与、需要我们全社会成员行动起来，树立“垃圾分类，呵护环境”的环保理念，养成爱护环境、勤俭节约、物尽其用、减少废弃的文明习惯，共同营造“垃圾分类、你我参与”的社会氛围。以下是小编为大家整理的《垃圾分类倡议书文本参考》，供大家参考学习，欢迎阅读

垃圾分类倡议书文本参考【一】

　　各位老师、同学：

　　你们好！

　　地球是我们共同的家园，与我们息息相关，我们每一个人都不离开它。我们的课本上有这么一句话“我们的地球是一个美丽、可爱的蓝色星球！”可如今环境污染越来越严重，而生活垃圾是当今世界十大环境问题之一。这些垃圾埋不胜埋，烧不胜烧，造成了一系列严重危害。虽然垃圾可以通过卫生填埋、焚烧、堆肥等无害化处理以达到降低污染的效果。但垃圾无害化处理的费用是高昂的，处理一吨垃圾的费用约为一百至几百元不等。而且更多地方的垃圾则常常被简易堆放或填埋，导致臭气蔓延，并且污染土壤和地下水体。

　　要解决垃圾处理和污染问题，可以通过减少垃圾的排放，改善生产、生活方式。此外，我们还可以通过垃圾分类的方法，解决垃圾处理和污染问题。为了保护我们的家园环境，我校倡议：

　　1.全校师生要

第33卷第5期2014年5月

情报杂志

JOUＲNALOFINTELLIGENCE

Vol．33No．5May2014

面向网络舆情的评论文本情感分析研究

李光敏

1

!

张行文

1

张磊

2

杨朋英

1

（1．湖北师范学院计算机科学技术学院2．河南大学数据与知识工程研究所

摘

要

黄石435000；开封475004）

随着Internet的迅速发展，互联网超越传统媒体成为反映社会舆情的主要载体。如何有效地从其中获取社

情民意以引导社会健康发展是政府等职能部门所关注的重要问题。首先提出对日益增多的网络评论文本进行情感分析研究的必要性。然后从主题识别、主客观性分类、情感极性分类等方面介绍针对网络舆情的情感分析在国内外的研究进展。最后列举出情感分析在网络舆情监控方面的应用和今后需深入研究的问题。关键词

网络舆情

情感分析

主题识别

极性分类

A

文章编号1002－1965（2014）05－0157－04

中图分类号

TP391．1

文献标志码

DOI10．3969/j．issn．1002－1965．2014．05．028

ＲesearchonTextSentimentAnalysisforOnlineOpinion

LiGuangmin1

ZhangXingwen1

ZhangLei2

YangPengying1