r语言做logistic回归

写在前面的废话

2014，又到了新的一年，首先祝大家新年快乐，也感谢那些关注我的博客的人。

现在想想数据挖掘课程都是去年的事了，一直预告着，盘算着年内完工的分类算法也拖了一年了。

本来打算去年就完成分类算法，如果有人看的话也顺带提提关联分析，聚类神马的，

可是，

。

借着新年新气象的借口来补完这一系列的文章，

可是，这明明就是在发

。

尽管这个是预告里的最后一篇，但是我也没打算把这个分类算法就这么完结。尽管每一篇都很浅显，每个算法

都是浅尝辄止的，在deep learning那么火的今天，掌握这些东西算起来屌丝得不能再屌丝了。考虑到一致性

与完备性，最后补上两篇一样naive的：组合方法提高分类效率、几种分类方法的绩效讨论。希望读到的人喜欢。

算法六：logistic回归

由于我们在前面已经讨论过了神经网络的分类问题(参见《R语言与机器学习学习笔记(分类算法)(5)》

)，如今再从最优化的角度来讨论logistic回归就显得有些不合适了。Logistic回归问题的最优化问题可以表述为：

寻找一个非线性函数sigmoid的最佳拟合参数，求解过程可使用最优化算法完成。它可以看做是用sigmoid函数作为 二阈值分类

Logistic回归模型

1 Logistic回归模型的基本知识 1.1 Logistic模型简介

主要应用在研究某些现象发生的概率p，比如股票涨还是跌，公司成功或失败的概率，以及讨论概率

p与那些因素有关。显然作为概率值，一定有0?p?1，因此很难用线性模型描述概率p与自变量的关

系，另外如果p接近两个极端值，此时一般方法难以较好地反映p的微小变化。为此在构建p与自变量关系的模型时，变换一下思路，不直接研究p，而是研究p的一个严格单调函数G(p)，并要求G(p)在p接近两端值时对其微小变化很敏感。于是Logit变换被提出来：

Logit(p)?lnp1?p （1）

其中当p从0?1时，Logit(p)从?????，这个变化范围在模型数据处理上带来很大的方便，

解决了上述面临的难题。另外从函数的变形可得如下等价的公式：

Logit(p)?lnp1?p??XT?p?e?TXT1?e? （2）

X 模型(2)的基本要求是，因变量是个二元变量，仅取0或1两个值，而因变量取1的概率P(y?1|X)T就是模型要研究的对象。而X?(1,x1,x2,?,xk)，其中xi表示影响y

由詹鹏整理，仅供交流和学习

根据南京财经大学统计系孙瑞博副教授的课件修改，在此感谢孙老师的辛勤付出！ 教材为：Luke Keele: Semiparametric Regression for the Social Sciences. John Wiley & Sons, Ltd. 2008.

------------------------------------------------------------------------- 第一章 introduction: Global versus Local Statistic 一、主要参考书目及说明

1、Hardle(1994). Applied Nonparametic Regresstion. 较早的经典书

2、Hardle etc (2004). Nonparametric and semiparametric models: an introduction. Springer. 结构清晰

3、Li and Racine(2007). Nonparametric econometrics: Theory and Practice. Princeton. 较全面和深入的介绍，

由詹鹏整理，仅供交流和学习

根据南京财经大学统计系孙瑞博副教授的课件修改，在此感谢孙老师的辛勤付出！ 教材为：Luke Keele: Semiparametric Regression for the Social Sciences. John Wiley & Sons, Ltd. 2008.

------------------------------------------------------------------------- 第一章 introduction: Global versus Local Statistic 一、主要参考书目及说明

1、Hardle(1994). Applied Nonparametic Regresstion. 较早的经典书

2、Hardle etc (2004). Nonparametric and semiparametric models: an introduction. Springer. 结构清晰

3、Li and Racine(2007). Nonparametric econometrics: Theory and Practice. Princeton. 较全面和深入的介绍，

COX回归与logistic回归区别

logistic回归，与线性回归并成为两大回归，应用范围一点不亚于线性回归，甚至有青出于蓝之势。因为logistic回归太好用了，而且太有实际意义了。解释起来直接就可以说，如果具有某个危险因素，发病风险增加2.3倍，听起来多么地让人通俗易懂。线性回归相比之下其实际意义就弱了。logistic回归与线性回归恰好相反，因变量一定要是分类变量，不可能是连续变量。分类变量既可以是二分类，也可以是多分类，多分类中既可以是有序，也可以是无序。二分类logistic回归有时候根据研究目的又分为条件logistic回归和非条件logistic回归。条件logistic回归用于配对资料的分析，非条件logistic回归用于非配对资料的分析，也就是直接随机抽样的资料。无序多分类logistic回归有时候也成为多项logit模型，有序logistic回归有时也称为累积比数logit模型。

cox回归，cox回归的因变量就有些特殊，因为他的因变量必须同时有2个，一个代表状态，必须是分类变量，一个代表时间，应该是连续变量。只有同时具有这两个变量，才能用cox回归分析。cox回归主要用于生存资料的分析，生存资料至少有两个结局变量，

第十一章 多元线性回归与logistic回归

一、教学大纲要求

（一）掌握内容

1．多元线性回归分析的概念：多元线性回归、偏回归系数、残差。

2．多元线性回归的分析步骤：多元线性回归中偏回归系数及常数项的求法、多元线性回归的应用。

3．多元线性回归分析中的假设检验：建立假设、计算检验统计量、确定P值下结论。 4．logistic回归模型结构：模型结构、发病概率比数、比数比。 5．logistic回归参数估计方法。

6．logistic回归筛选自变量：似然比检验统计量的计算公式；筛选自变量的方法。 （二）熟悉内容

常用统计软件（SPSS及SAS）多元线性回归分析方法：数据准备、操作步骤与结果输出。

（三）了解内容

标准化偏回归系数的解释意义。

二、教学内容精要

(一) 多元线性回归分析的概念

将直线回归分析方法加以推广，用回归方程定量地刻画一个应变量Y与多个自变量X间的线形依存关系，称为多元线形回归（multiple linear regression），简称多元回归（multiple regression）

基本形式：

??b?bX?bX?????bX Y01122kk?为各自变量取某定值条件下应变量均数的估计值，X，X，…，X

###1.R introduction #### #语言历史和特点 #1.1 R语言历史####

#R是S语言的一种实现。S语言是由AT&T贝尔实验室开发的一种用来进行数据探索、 #统计分析、作图的解释型语言。最初S语言的实现版本主要是S-PLUS.

#S-PLUS是一个商业软件，它基于S语言，并由MathSoft公司的统计科学部进一步完善。 #后来Auckland大学的Robert Gentleman和Ross Ihaka及其他志愿人员开发了一个R系统 #R的使用与S-PLUS有很多类似之处，两个软件有一定的兼容性

#1.2 R的特点####

#1.有效地数据处理和保存机制 #2.拥有一整套数组和矩阵的操作运算符 #3.一系列连贯而又完整的数据分析中间工具

#4.图形统计可以对数据直接进行分析和显示，可用于多种图形设备。

#5.一种相当完善、简洁和高效的程序设计语言。包括条件语句、循环语句、用户自定义的递归函数以及输入输出接口。

#6.R语言是彻底面向对象的统计编程语言

#7.R语言和其他编程语言、数据库之间有很好的接口

#8.R语言是自由软件，可以放心大胆地使用，但其功能却不必任何其他同类软件差 #9.R语言具有丰富的网上资源

###

Logistic回归分析模型

2016-10-24

1各位老师，同学们大家上午好：非常感谢大家抽出宝贵的时间来

参加沙龙，感谢我的导师对沙龙内容及PPT制作过程中的悉心指导，今天和大家一起分享的是在课题中用到的一种统计学分析方法，Logistic回归分析。

2这是CNKI学术搜索给出的近年来Logistic回归分析方法的学术关注度，由此可见，Logistic回归分析方法在当前学术研究中应用比较广泛、流行，关注度比较高，是进行科研数据分析不可缺少的利器。 3下面我将分以下几个部分对回归模型做详细的介绍： 1.Logistic回归的基本概念与原理；2.Logistic回归的应用范畴；3.Logistic回归的类型及实例分析；这是本次沙龙的重点部分。4.应用Logistic回归的注意事项；5.小结与答疑。

4首先来了解一下Logistic回归模型的基本概念与原理：Logistic 回归又称「Logistic 回归分析」，是一种「概率型非线性回归」，主要用于危险因素分析以及预后评估等方面，是目前流行病学和医学中最常用的分析方法之一。近年来已逐渐成为发表高质量 SCI 论文必不可少的重要统计学分析利器。 Logistic 回归本质上

Matlab软件包与Logistic回归

在回归分析中，因变量y可能有两种情形：（１）y是一个定量的变量，这时就用通常的regress函数对y进行回归；（２）y是一个定性的变量，比如，y?０或１，这时就不能用通常的regress函数对y进行回归，而是使用所谓的Logistic回归。

Logistic回归的基本思想是，不是直接对y进行回归，而是先定义一种概率函数?，令

??Pr?Y?1|X1?x1,X2?x2,???,Xn?xn?

要求0???1。此时，如果直接对?进行回归，得到的回归方程可能不满足这个条件。在现实生活中，一般有0???1。直接求?的表达式，是比较困难的一件事，于是，人们改为考虑

1????y?1的概率?k

y?1的概率一般的，0?k???。人们经过研究发现，令

??Pr?Y?1|X1?x1,X2?x2,???,Xn?xn??11?a?e?b1X1?????bnXn

?a?0,bj?0?

即，?是一个Logistic型的函数，效果比较理想。于是，我们将其变形得到：

?1??log???然后，对log?????b0?b1x1?????bnxn ?1????进行通常的线性回归。 ???

1

例１ 企业到金融商业机构贷款，金融商业机构

用R语言进行分位数回归：基础篇

詹鹏

（北京师范大学经济管理学院 北京）

本文根据文献资料整理，以介绍方法为主要目的。作者的主要贡献有：（1）整理了分位数回归的一些基本原理和方法；（2）归纳了用R语言处理分

位数回归的程序，其中写了两个函数整合估计结果；（3）写了一个分位数分解函数来处理MM2005的分解过程；（4）使用一个数据集进行案例分析，完整地展现了分析过程。

第一节 分位数回归介绍

（一）为什么需要分位数回归？

传统的线性回归模型描述了因变量的条件均值分布受自变量X的影响过程。其中，最小二乘法是估计回归系数的最基本方法。如果模型的随机误差项

来自均值为零、方差相同的分布，那么回归系数的最小二乘估计为最佳线性无偏估计（BLUE）；如果随机误差项是正态分布，那么回归系数的最小二乘估计与极大似然估计一致，均为最小方差无偏估计（MVUL）。此时它具有无偏性、有效性等优良性质。

但是在实际的经济生活中，这种假设通常不能够满足。例如当数据中存在严重的异方差，或后尾、尖峰情况时，最小二乘法的估计将不再具有上述优良

性质。为了弥补普通最小二乘法（OLS）在回归分析中的缺陷，1818年Laplace和Bassett

[2]提出了中位数回归（最小绝对偏差估计）。在