文本分类应用场景

（2014 ---- 2015 学年 第 2 学期）

学院（中心、所）： 计算机与信息技术学院 专 业 名 称： 计算机应用技术 课 程 名 称： 自然语言处理技术 论 文 题 目： 文本分类综述 授课 教师（职称）：

研 究 生 姓 名： 年 级： 学 号： 成 绩： 评 阅 日 期：

山西大学研究生学院 2015年 6 月 2日

文本分类综述

摘要 文本分类就是在给定的分类体系下,让计算机根据给定文本的内容，将其判别为事先确定的若干个文本类别中的某一类或某几类的过程。文本分类在冗余过滤、组织管理、智能检索、信息过滤、元数据提取、构建索引、歧义消解、文本过滤等方面有很重要的应用。本文主要介绍文本分类的研究背

第一章 绪 论

1.1研究背景

当今的时代，是一个信息技术飞速发展的时代。随着信息技术的飞速发展，科学知识也在短时间内发生了急剧的、爆炸性的增长。

据1998年的资料显示[1]，70年代以来，全世界每年出版图书50万种，每一分钟就有一种新书出版。80年代每年全世界发表的科学论文大约500万篇，平均每天发表包含新知识的论文为1.3万-1.4万篇；登记的发明创造专利每年超过30万件，平均每天有800-900件专利问世。近二十年来，每年形成的文献资料的页数，美国约1,750亿页。另据联合国教科文组织所隶属的“世界科学技术情报系统”曾做的统计显示，科学知识每年的增长率，60年代以来已从9.5％增长到10.6％，到80年代每年增长率达12.5％。据说，一位化学家每周阅读40小时，光是浏览世界上一年内发表的有关化学方面的论文和著作就要读48年。而2005年的资料显示[2]，进入20世纪后全世界图书品种平均20年增加一倍，册数增加两倍。期刊出版物，平均10年增加一倍。科技文献年均增长率估计为13％，其中某些学科的文献量每10年左右翻一番，尖端科技文献的增长则更快，约2-3年翻一番。

同时，伴随着Internet的迅猛发展，网站和网页数也在迅速增长，大约

#!/usr/bin/env python # -*-coding:utf8-*-

importos

import codecs

fromsklearn.feature_extraction.text import TfidfVectorizer importnltk

fromsklearn.naive_bayes import MultinomialNB fromsklearn.linear_model import SGDClassifier

def tokenize(text):

tokens = nltk.word_tokenize(text)

# stems = stem_tokens(tokens, stemmer) return tokens

defread_corpus(topics):

print \token_dict = dict() y_train = [] fori in range(6):

dROOT_SUB = u'./data/topic_corpus_cut/' + topics[i].decode(\count = 0

forsubdir, dirs, files in os.walk(dRO

IBT-SAT小马过河—专业备考社区

听写是提高听力的唯一途径

注意：

新托福市面上没有真题，备考最佳材料就是旧托福的真题！然而——普通的PBT 真题历年在 考场上偷录的声音质量存在严重的问题，影响我们学习使用！ 特点：

小马过河*p04X9小马过河新托福专业备考社区3dw@UC96{0d5~1m本材料取材于旧托福CBT 机考的真题，声音质量很清晰 按照场景分类去学习，同话题横听段子，事半功倍

场景分类如下：音频地址：http://www.xiaoma.com/bbs/thread-2167-1-1.html

（1） 历年旧托福mp3 及脚本 http://www.xiaoma.com/bbs/forum-24-1.html （2） 什么是听写 http://www.xiaoma.com/bbs/thread-10089-1-1.html （3） 怎样听写 http://www.xiaoma.com/bbs/thread-105-1-1.html

（4） 语音识别问题起因 http://www.xiaoma.com/bbs/thread-10833-1-1.html （5） 因听写而进步 http://www.xiaoma.com/bbs/th

RabbitMQ的应用场景以及基本原理介绍

1.背景

RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue)的开源实现。 2.应用场景 2.1异步处理

场景说明：用户注册后，需要发注册邮件和注册短信,传统的做法有两种1.串行的方式;2.并行的方式

(1)串行方式:将注册信息写入数据库后,发送注册邮件,再发送注册短信,以上三个任务全部完成后才返回给客户端。 这有一个问题是,邮件,短信并不是必须的,它只是一个通知,而这种做法让客户端等待没有必要等待的东西.

(2)并行方式:将注册信息写入数据库后,发送邮件的同时,发送短信,以上三个任务完成后,返回给客户端,并行的方式能提高处理的时间。

假设三个业务节点分别使用50ms,串行方式使用时间150ms,并行使用时间100ms。虽然并性已经提高的处理时间,但是,前面说过,邮件和短信对我正常的使用网站没有任何影响，客户端没有必要等着其发送完成才显示注册成功,英爱是写入数据库后就返回.

(3)消息队列

引入消息队列后，把发送邮件,短信不是必须的业务逻辑异步处理

由此可以看出,引入消息队列后，用户的响应时间就等于写入数据

介绍了Markov逻辑网的理论模型、学习算法和推理算法,并将其应用于中文文本分类中。实验结合了判别式训练的学习算法,MC—SAT、吉布斯抽样和模拟退火等推理算法,结果表明基于Markov逻辑网的分类方法能够取得比传统K邻近(KNN)分类算法更好的效果

第2 9卷第 l 0期2 00年 19月0文编号章：01 98 ( 901 2 2 0 10— 0 1 2 ) 0— 709— 4

算计应机用 Ju nl o oue pia n i o r fa mCp trA p lts co Vo . No 1 9 21 .0 0 .2c 0 t 9

M0kav辑网逻及其文在本分类 中的应用 ro张芳玉，黄涛，东梅，艾熊忠 阳(重庆学大计算机学，重庆院4 04 0 40(a ).nh g@ irc rit t tmlao ) n.

n摘要:介绍了 Mkva辑的网论理型模 ro、逻习学法和算推理算，法将并应用于其中文本分类文中实。验结合了判

别训练的学式习算，—A吉布法抽斯样模和退拟等火推算理法，MS T、 C结果表基明于M ao rv逻辑网的类分方法够能取k得传比统 K邻 近 N )(类算法好更的效果。 NK 分关键词:统计系学习；器关学；习ro机 a

介绍了Markov逻辑网的理论模型、学习算法和推理算法,并将其应用于中文文本分类中。实验结合了判别式训练的学习算法,MC—SAT、吉布斯抽样和模拟退火等推理算法,结果表明基于Markov逻辑网的分类方法能够取得比传统K邻近(KNN)分类算法更好的效果

第2 9卷第 l 0期2 00年 19月0文编号章：01 98 ( 901 2 2 0 10— 0 1 2 ) 0— 709— 4

算计应机用 Ju nl o oue pia n i o r fa mCp trA p lts co Vo . No 1 9 21 .0 0 .2c 0 t 9

M0kav辑网逻及其文在本分类 中的应用 ro张芳玉，黄涛，东梅，艾熊忠 阳(重庆学大计算机学，重庆院4 04 0 40(a ).nh g@ irc rit t tmlao ) n.

n摘要:介绍了 Mkva辑的网论理型模 ro、逻习学法和算推理算，法将并应用于其中文本分类文中实。验结合了判

别训练的学式习算，—A吉布法抽斯样模和退拟等火推算理法，MS T、 C结果表基明于M ao rv逻辑网的类分方法够能取k得传比统 K邻 近 N )(类算法好更的效果。 NK 分关键词:统计系学习；器关学；习ro机 a

雅思听力必备。

景点  

hotsprings温泉、fountain泉水、喷泉、beaches海滩、spotlight tour聚光灯旅行、four‐wheel drive四驱车、crocodile cruise、waterfalls瀑布、castle城堡、museum 博物馆、art gallery 画廊  

活动  

swimming、diving潜水、跳水、Scuba Diving器械潜水、surfing冲浪、water skiing滑水、hang gliding悬挂滑翔、water polo水球、skiing 滑雪、hiking 徒步旅行、bag‐packer 肩背大包进行自助旅行的人、hitch‐hike 搭便车旅行  

地理场景  

Antarctica 南极洲、north pole 北极、Ski‐equipped planes、h

RabbitMQ的应用场景以及基本原理介绍

1.背景

RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue)的开源实现。 2.应用场景 2.1异步处理

场景说明：用户注册后，需要发注册邮件和注册短信,传统的做法有两种1.串行的方式;2.并行的方式

(1)串行方式:将注册信息写入数据库后,发送注册邮件,再发送注册短信,以上三个任务全部完成后才返回给客户端。 这有一个问题是,邮件,短信并不是必须的,它只是一个通知,而这种做法让客户端等待没有必要等待的东西.

(2)并行方式:将注册信息写入数据库后,发送邮件的同时,发送短信,以上三个任务完成后,返回给客户端,并行的方式能提高处理的时间。

假设三个业务节点分别使用50ms,串行方式使用时间150ms,并行使用时间100ms。虽然并性已经提高的处理时间,但是,前面说过,邮件和短信对我正常的使用网站没有任何影响，客户端没有必要等着其发送完成才显示注册成功,英爱是写入数据库后就返回.

(3)消息队列

引入消息队列后，把发送邮件,短信不是必须的业务逻辑异步处理

由此可以看出,引入消息队列后，用户的响应时间就等于写入数据

上海交通大学硕士学位论文目录

目录

第一章绪论 (1)

1.1 研究背景和意义 (1)

1.2 多标签分类 (2)

1.3 国内外研究现状 (3)

1.4 论文的结构安排 (6)

第二章多标签文本分类相关技术 (7)

2.1 文本分类的定义及过程 (7)

2.1.1 文本分类的定义 (7)

2.1.2 文本分类的一般过程 (7)

2.1.3 多标签文本分类评估方法 (8)

2.2 文本分类的分类方法 (9)

2.2.1 决策树算法 (9)

2.2.2 Ricchio算法 (10)

2.2.3 KNN算法 (11)

2.2.4 神经网络算法 (12)

2.2.5 朴素贝叶斯算法 (13)

2.2.6 支持向量机 (14)

2.3 本章小结 (14)

第三章基于中文多标签分类的特征选择 (16)

3.1 文本特征选择 (16)

3.2 特征选择方法 (17)

3.2.1 过滤无意义信息 (17)

3.2.2 汉语文本自动分词 (17)

3.2.3 汉语文本粗降维 (18)

3.2.4 文本表示模型 (18)

3.2.5 常用特征选择方法 (19)

3.3 改进的特征选择方法 (20)

3.3.1 强类别纹理挖掘算法 (20)

3.3.2 常用权重计算方法 (21)

III

万方数据

上海交通大学硕士学位论文目录