第四章 支持向量机在地下工程回归分析中的应用研究 -

山东科技大学硕士学位论文 4 支持向量机在地下工程回归分析中的应用研究

4 支持向量机在地下工程回归分析中的应用研究

4.1 引言

由于地下工程现场量测的数据具有一定的离散性，它包含着偶然误差的影响。根据实测数据绘制的变形随时间而变化的散点图出现上下波动，很不规则，难于据此进行分析，并且散点图存在不少缺点：超过三个变量就难于用图形表示；绘图含有人为的因素；同一实测数据因选择的坐标和比例尺的不同也有较大的差异。所以现场量测数据不经过数学处理是难于利用的，例如要求某一时刻某点的位移速率，简单地将相邻两时刻测得的数据相减后除于两时刻的时间间隔为位移变化速率显然是不确切的。正确的做法是对所有的数据进行回归分析，即用曲线u?f(t)对时间—位移散点图进行拟合，然后计算时刻t的函数一阶导数

dudt的值，即为该时刻位移速率。

回归分析是一种统计工具,它利用两个或两个以上变量之间的关系,由一个或几个变量来预测另一个变量或几个变量。回归分析过程就是根据抽样数据,用一定的统计方法来求解变量之间相互关系的过程,传统的回归分析方法和步骤可参考文献[25]。回归分析是工程应用和科学实验等领域广泛应用的方法之一,主要应用于预测、描述、控制等。

但传统的回归分析方法存在以下缺陷：

(1)不管是对一元线性回归还是一元非线性回归,首先,都要做出散点图,根据散点图来判断回归曲线的类型。因此,回归出的曲线只能刻画变量之间的大致关系,对回归曲线的细节刻画不足。其次,基本回归曲线类型很少,并且有许多曲线不能化为线性问题进行处理。所以,回归出的曲线在一定程度上描述不出变量之间的本质关系,误差较大。

(2)多元回归计算量太大,随着变量数目的增加,计算量剧增，且要相互比较的曲线数目也剧增,选择一条最优回归曲线较难。并且,选用不同的回归方法,对变量取值还有一定程度的限制。

(3)对多元线性和非线性回归需要较深的数学知识,对于某些较复杂的多元回归仍然是比较困难的事情。

23

山东科技大学硕士学位论文 4 支持向量机在地下工程回归分析中的应用研究

尽管通过线性系统建模来进行回归分析的理论和方法比较成熟,但由于地下工程特殊性、复杂性等原因，实际的模型大多是非线性模型,因此非线性模型更具一般的表达能力,能更精确地表达真实系统的模型。对于非线性系统而言,系统模型的建立并没有统一的方法,目前，在地下工程领域用得较多的方法有神经网络中的BP模型，它具有在复杂的非线性系统中较高的建模能力以及对数据良好的处理能力。

但是，神经网络建模也存在不少问题[77，85，86]：

1. 网络输入节点数难于确定：模型的输入节点数在神经网络建模中起重要作用，但目前且没有一个确定该参数的好方法，一般由经验确定。

2. 隐层单元数难于确定：如果隐层单元数太少，则网络所能获取的用以解决问题的信息太少，导致可能训练不出来或网络不强壮，不能识别以前没有看到的样本，容错性差；相反，隐层单元数过多，则不仅增加了训练时间，而且过多的隐层可能出现“过度吻合”问题，即网络把训练集里一些无关紧要非样本东西也学得惟妙惟肖，当输入新的非训练样本时，网络性能极差。

3. BP算法问题：BP网络训练算法为一种梯度下降寻优法，它存在局部极小点、过学习以及结构和类型的选择过分依赖于经验等缺陷,导致存在较大误差，与工程实际应用还有较大差距，严重降低了其应用和发展的效果。

4. 神经网络的外延性问题：神经网络建模的回归分析实质上就是利用神经网络的外延性（即泛化能力），而神经网络需要大量的训练样本，才能具有较好的外延性，但在复杂的地下工程中数据往往是有限的，这就导致了地下工程中神经网络建模的外延性差。

而基于统计学习理论的支持向量机是专门针对有限样本情况的，具有优秀的学习能力、良好的推广能力、较强的处理非线性动态数据能力和非线性系统建模能力等方面的优势，可以高效、及时地处理和分析利用地下工程现有的有限信息（如现场量测数据等），从而为解决地下工程中遇到的“瓶颈”问题（即“数据有限”、“模型参数给不准”和“许多问题机理不清”）[3]提供一种新的解决途径。并且，支持向量机的训练算法是一个二次寻优问题，从理论上说，得到的将是全局最优解，成功地克服了神经网络的这些缺陷。因而,本文基于支持向量机原理，针对复杂地下工程领域的特点，建立基于支持向量机的回归模型，来进行支持向量机在地下工程回归分析中的应用研究，是一个新颖而有发展前途的研究方向。

24

山东科技大学硕士学位论文 4 支持向量机在地下工程回归分析中的应用研究

4.2 基于支持向量机的回归方法[4-25]

4.2.1基本思想

已知未知分布函数的数据：

S?{(x1,y1),(x2,y2),?,(xn,yn)} 其中xi?Rd,yi?R，及函数集：

Nn F?f{f|f(x)?其中?i(x):Rd?R为已知函数，N?w?ii?1i(x)

w?(w1,w2,?,wn)为待定参数。

方法的目标是找到f?F使风险函数：

R(f)??L(y?f(x),x)dp(x,y) 达到最小。

风险函数R(f)为给定损失函数L(?,x)下的平均误差，它可衡量逼近函数的好坏。但由

n于p(x,y)未知，常使用其它风险函数。在数理统计中用最小化Remp??L(y?i?1f(x),x)来求

参数w。在输入数据维数较大时，为取得更好的逼近效果，SVM回归方法采用如下风险函数：

Rridg?eRemp?kw (4.1)

Vapnik设计了一个??insensitive的损失函数：

L(?,x)???2????0??????????? (4.2)

其中，??y?f(x,w)。

25

山东科技大学硕士学位论文 4 支持向量机在地下工程回归分析中的应用研究

4.2.2 SVM线性回归方法

给定训练样本：

{(x1,y1),(x2,y2),?,(xl,yl)},x?Rn (4.3)

设所求回归线性函数为：

f(x)?(w·x)?b (4.4)

使用Vapnik的??insensitive的损失函数，则当y?f(x)??时，Remp?0，取

k?12,则Rridge?12w2。

此时yi 的SVM回归问题表示为如下二次规划问题：

Minw

212???(f(xi)?yi)?0 ? (4.5)

??(y?f(x))?0ii?其中f(x)?(w·上式保证所有数据点满足y?f(x)??。而实际应用中可允许有x)?b，一定的误差，故还需引进松散因子?i和?i*满足：

1lixi?b????i?yi?w·?*w·x?b?y????iii?*

此时(4.1)式中Remp?(??li?1??i)，故(4.5)式变为：

Min12w2l?C?(?i??i)

*i?1 ?xi?b????i?yi?w·xi?b?yi????i?w·* ，?i和?i*都大于等于零 (4.6)

式(4.6)中第一项使函数更为平坦，从而提高泛化能力，第二项则为减小误差，常数C对两者做出折中。?为一正常数表示逼近程度，?i和?i*为松散因子。

这是一个凸二次优化问题，引入Lagrange函数：

26

山东科技大学硕士学位论文 4 支持向量机在地下工程回归分析中的应用研究

L(w,b,a,a,?i,?)?l**i12w2ll*i?C?(?i??)?i?1l*?ai?1*i(???i?yi?w·xi?b)

(4.7)

??ai?1*i(???i?yi?w·xi?b)??(?i?i??i?i)i?1*同3.2节类似，函数L的极值满足：问题转化为如下对偶问题：

?L?L?L?L?0，?0,?0,?0*?b?w??i??i，从而可将这一

maxHa,a*(a,a)?*maxa,a*?1lill(a?2i,j?1?a)(aj?a)(xi·xj)?*i*j?yi?1(ai?a)?i*i?(ai?1i?ai)?

*或变为：

a,a?*argmina,a*1lll?2(ai?a)(aj?a)(xi·xj)?*i*j?i?1yi(ai?a)?*i?i?1i*(ai?ai)?

i.j?1约束条件：

?l*(a?a)?0??ii ?i?1

?0?a,a*?C,i?1,?,lii?可求得Lagrange乘子a,a*，从而得到超平面：

l f(x)?引入KKT条件：

?(ai?1i?ai)(xi·x)?b

* (4.8)

xi?b)?0； (1) ai(???i?yi?w·xi?b)?0； (2) ai*(???i*?yi?w·(3) (C?ai)?i?0； (4) (C?ai*)?i*?0。

由条件(3)和(4),对位于不敏感宽带之外的点，有?i?0或?i*?0,则ai?C或ai*?C。再由条件(1) 和(2)可求得b：

b?yi?w·xi???,ai?(0,C)b?yi?w·xi???,a?(0,C)27

*i

本文来源：https://www.bwwdw.com/article/bpit.html