机器学习算法

目录

键入章标题(第 1 级) ...................................................................................................................... 1

键入章标题(第 2 级) .............................................................................................................. 2

键入章标题(第 3 级) ...................................................................................................... 3

键入章标题(第 1 级) ...................................................................................................................... 4

键入章标题(第 2 级) .

目录

键入章标题(第 1 级) ...................................................................................................................... 1

键入章标题(第 2 级) .............................................................................................................. 2

键入章标题(第 3 级) ...................................................................................................... 3

键入章标题(第 1 级) ...................................................................................................................... 4

键入章标题(第 2 级) .

机器学习期末报告

（一）决策树

一、决策树简介

决策树是一种用来表示人们为了做出某个决策而进行的一系列判断过程的树形图。决策树方法的基本思想是：利用训练集数据自动地构造决策树，然后根据这个决策树对任意实例进行判定。

决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。

决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。 决策树算法构造决策树来发现数据中蕴涵的分类规则．如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。第一步，决策树的生成：由训练样本集生成决策树的过程。一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。第二步，决策树的剪技：决策树的剪枝是对上一阶段生成的决策树进行检验、校

Lecture 1 Introduction to Supervised Learning

（1）Expectatin Maximization(EM) Algorithm (期望值最大) （2）Linear Regression Algorithm(线性回归) （3）Local Weighted Regression(局部加权回归)

（4）k-Nearest Neighbor Algorithm for Regression(回归k近邻) （5）Linear Classifier(线性分类)

（6）Perceptron Algorithm (线性分类)

（7）Fisher Discriminant Analysis or Linear Discriminant Analysis(LDA) （8）k-NN Algorithm for Classifier(分类k近邻) （9）Bayesian Decision Method(贝叶斯决策方法)

Lecture 2 Feed-forward Neural Networks and BP Algorithm

（1）Multilayer Perceptron(多层感知器) （2）BP Algor

在之前的消息传递算法中，谈到了聚类图模型的一些性质。其中就有消息不能形成闭环，否则会导致“假消息传到最后我自己都信了”。为了解决这种问题，引入了一种称为团树（clique tree)的数据结构，树模型没有图模型中的环，所以此模型要比图模型更健壮，更容易收敛。

1.团树模型

链模型是一种最简单的树模型，其结构如下图所示，假设信息从最左端传入则有以下式子。

假设要对变量 CD 进行推断，则应该求 Belief(3) = deta 2->3 *deta 4->3 * phi(3).

从这里可以看出，团树算法是一种精确推断算法。它和变量消除算法在理论推导上是等价的。

上面的例子只是一种非常简单的团树，团树的本质还是聚类图，只不过是一种特殊的聚类图。对于更一般的概率图，也可以生成团树图。

其中，每个cluster都是变量消除诱导图中的一个最小map。

2.团树模型的计算

从上面分析可知，团树模型本质上和变量消除算法还有说不清道不明的关系（团树模型也是精确推理模型）。但是这个算法的优势在于，它可以利用消息传递机制达到收敛。之前提过，聚类图模型中的收敛指的是消息不变。除此之外，聚类图的本质是一种数据结构，它可以储存很多中间计算

基于机器学习的miRNA靶基因预测算法研究概况

摘要：首先小结目前所发现的mirna:mrna对的统计特征，然后对基于机器学习的各类靶基因预测算法逐一作研究，最后对现有靶基因预测算法的研究现状及优缺点给出系统的结论。 关键词：micrornas；靶基因预测；生物信息学；rna干扰 图1mirna:target绑定结构

由于已知靶标数目有限，而预测结果不精确，因此上述特征不全面且易导致偏倚。

2各类机器学习靶基因预测算法 2.1pictar

pictar认为基因3’utr序列是由mirna绑定点及背景序列组成。在考虑一个utr被m个mirna同时作用的情况时，该隐马尔科夫模型有1+m个隐含状态，状态间概率为pi，示转换为背景序列的概率，pi

i∈{0,…,m} ，p0表

i∈{1,…,m}表示从当前状态到第

i个mirna绑定点位的概率。当某mirna绑定点位状态被选择，代表mirna绑定点位7nt或8nt长的序列会被产生，而此绑定点位是完全种子匹配的概率为p，非完全种子匹配的概率为1-p；否则会产生碱基以表示转移到背景序列状态。pictar利用baum

welch

算法来计算3’utr序列是由此隐马尔科夫模型产生的最大似然概率。 2.2mitarget

基于机器学习的miRNA靶基因预测算法研究概况

摘要：首先小结目前所发现的mirna:mrna对的统计特征，然后对基于机器学习的各类靶基因预测算法逐一作研究，最后对现有靶基因预测算法的研究现状及优缺点给出系统的结论。 关键词：micrornas；靶基因预测；生物信息学；rna干扰 图1mirna:target绑定结构

由于已知靶标数目有限，而预测结果不精确，因此上述特征不全面且易导致偏倚。

2各类机器学习靶基因预测算法 2.1pictar

pictar认为基因3’utr序列是由mirna绑定点及背景序列组成。在考虑一个utr被m个mirna同时作用的情况时，该隐马尔科夫模型有1+m个隐含状态，状态间概率为pi，示转换为背景序列的概率，pi

i∈{0,…,m} ，p0表

i∈{1,…,m}表示从当前状态到第

i个mirna绑定点位的概率。当某mirna绑定点位状态被选择，代表mirna绑定点位7nt或8nt长的序列会被产生，而此绑定点位是完全种子匹配的概率为p，非完全种子匹配的概率为1-p；否则会产生碱基以表示转移到背景序列状态。pictar利用baum

welch

算法来计算3’utr序列是由此隐马尔科夫模型产生的最大似然概率。 2.2mitarget

一、属性选择：

1、理论知识：

见以下两篇文章：

数据挖掘中的特征选择算法综述及基于WEKA的性能比较_陈良龙 数据挖掘中约简技术与属性选择的研究_刘辉

2、weka中的属性选择

2.1评价策略（attribute evaluator）

总的可分为filter和wrapper方法，前者注重对单个属性进行评价，后者侧重对特征子集进行评价。

Wrapper方法有：CfsSubsetEval Filter方法有：CorrelationAttributeEval

2.1.1 Wrapper方法： （1）CfsSubsetEval

根据属性子集中每一个特征的预测能力以及它们之间的关联性进行评估，单个特征预测能力强且特征子集内的相关性低的子集表现好。

Evaluates the worth of a subset of attributes by considering the individual predictive ability of each feature along with the degree of redundancy between them.Subsets of features that are highly correlate

均值滤波

其采用的主要方法为邻域平均法。线性滤波的基本原理是用均值代替原图像中的各个像素值，即对待处理的当前像素点（x，y），选择一个模板，该模板由其近邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素点（x，y）。

不足之处：不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊，不能很好地去除噪声点。

高斯滤波

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。

具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

低通滤波

低通滤波(Low-pass filter) 是一种过滤方式，规则为低频信号能正常通过，而超过设定临界值的高频信号则被阻隔、减弱。

高通滤波

高通滤波(high-pass filter) 是一种过滤方式，规则为高频信号能正常通过，而低于设定临界值的低频信号则被阻隔、减弱。

Roberts算子

是一种利用局部差分算子寻找边缘的算子，他采用对角线方向相邻两象素之差近似梯度幅值检测边缘

机器学习复习重点

判断题（共30分，每题2分，打√或×）

1、如果问题本身就是非线性问题，使用支持向量机（SVM）是难以取得好的预测效果的。（×） 2、只要使用的半监督学习方法合适，利用100个标记样本和1000个无标记样本的预测效果，同样可以达到利用1100个标记样本使用监督学习方法的预测效果。（×） 3、深度学习中应该尽量避免过拟合。（×）

4、在随机森林Bagging过程中，每次选取的特征个数为m，m的值过大会降低树之间的关联性和单棵树的分类能力。（×）

5、决策树学习的结果，是得到一组规则集，且其中的规则是可以解释的。（√） 6、在FCM聚类算法中交替迭代优化目标函数的方法不一定得到最优解。（√） 7、在流形学习ISOMAP中，测地距离即是欧氏距离。（×） 8、贝叶斯决策实质上是按后验概率进行决策的。（√）

9、非参数估计需要较大数量的样本才能取得较好的估计结果。（√） 10、不需要显示定义特征是深度学习的优势之一。（√）

判断题为反扣分题目；答对得2分，不答得0分，答错得-2分；

问答题（共60分）

1、 从样本集推断总体概率分布的方法可以归结为哪几种类型？请分别简要解释之。 监督参数估计：样本所属的类别和各类的类条件概率