3 层次分析法

3 层次分析法

层次分析法是解决定性事件定量化或定性与定量相结合问题的有力决策分析方法。它主要是将人们的思维过程层次化、，逐层比较其间的相关因素并逐层检验比较结果是否合理，从而为分析决策提供较具说服力的定量依据。层次分析法不仅可用于确定评价指标体系的权重，而且还可用于直接评价决策问题，对研究对象排序，实施评价排序的评价内容。本章简单地介绍层次分析法的主要内容，详细内容可参考文献[1]。

3.1 引言

在日常生活和科学研究中，我们经常面临着具有多因素影响的决策评价问题。这些因素中有些是可以定量描述的指标，有些却是无法定量刻画的定性指标，只能从性质上比较各指标的强弱。在处理这种复杂而模糊的问题时，如何尽可能地克服因主观臆断而造成的片面性，系统而全面地比较分析指标，从而科学地做出评价决策呢?美国学者T.L.Satty于20世纪70年代提出了以定性与定量相结合,系统化、层次化分析解决问题的方法，这就是层次分析法（Analytic Hiearchy Process），简称AHP。

层次分析法是一种比较简明的决策思维方式，它是把复杂的决策问题分解为多种组成属性，并将这些属性指标按支配关系分组形成有序的递阶结构，通过两两比较的方式确定层次中各指标的相对重要性，然后综合人的判断以决定各属性指标相对重要性的总顺序。这些都体现了AHP在解决问题时的基本特征：分解、判断、综合。

层次分析法是一种有力的决策工具，它具有许多突出的优点：（1）适用性。用AHP决策分析时，输入的信息主要是决策者的选择与判断，决策过程充分反映了决策者对决策问题的认识。同时，层次分析法易于掌握使得以往决策者与决策分析者难于互相沟通的状况得到改变。在绝大多数情况下，决策者就可直接应用AHP进行决策分析，加大了决策的有效性。（2）实用性。AHP不仅能进行定量分析，而且还能够进行定性分析。它把决策过程中定性与定量因素有机地结合起来，用一种统一方式进行处理。AHP也是一种最优化技术，从学科的隶属关系看，人们往往把AHP归为多目标决策的一个分支。但AHP改变了最优化技术只能处理定量分析问题的传统观念，使它的应用范围大大扩展。许多决策问题如资源分配、冲突分析、方案评比、计划等均可使用AHP，对某些预测、系统分析、规划问题，AHP也不失为一种有效方法。（3）简洁性。AHP原理简单，掌握容易，计算步骤

清楚，结果简单明了。（4）系统性。人们的决策大体有三种方式。第一种是因果推断方式，在相当多的简单决策中，因果推断是基本方式，它形成了人们日常生活中判断与选择的思维基础。事实上，对于简单问题的决策，因果推断是够用的。当决策问题包含了不确定因素，则需要应用非因果关系进行决策推断，暂称为第二种决策方式，这包含了概率统计方式、模糊决策方式、灰色决策方式。近年来发展起来的系统方式是第三种决策思维方式。它的特点是把问题看成一个系统，在研究系统各组成部分相互关系以及系统所处环境的基础上进行决策。对于复杂问题系统方式是明效的决策思维方式。相当广泛的一类系统具有递阶层次的形式。AHP恰恰反映了这类系统的决策特点。

虽然说层次分析法有如此多的优点，但它在应用上还是有一些局限性，这是我们在做系统分析决策时必须注意的问题，应该设法避开或者结合其它方法代替AHP的这些不足。AHP的不足主要有如下三个方面。（1）AHP的应用主要是针对那种方案大抵确定的决策问题，一般来说它只能从已知方案中选优，而不能生成方案。也就是说，应用AHP时，事先对决策的各种方案要有比较明确的规定。（2）AHP得出的结果是粗略的方案排序。对于那种有较高定量要求的决策问题，单纯运用AHP是不适合的。当然，并不排斥把AHP与其它决策方法结合起来。例如，在运用多目标规划时，把AHP作为目标加权的方法已故为实践证明是有效的。也可采用AHP自身派生出来的一些方法。例如资源分配的AHP，成本效益分析的AHP，使某些定量分析要求精度不很高的问题有满意的解答。（3）在AHP的使用过程中，无论建立层次结构还是构造判断矩阵，人的主观判断、选择、偏好对结果的影响极大，也就是说AHP进行决策主观成分很大。规划论采用比较严格的数学计算，以期把人的主观判断降到最低程度，但得出的结果有时往往难于被决策者所接受。AHP的本质是试图使人的判断条理化，但所得到的结果基本上依据人的主观判断。当决策者的判断过多地受其主观偏好影响，而产生某种对客观规律的歪曲时，AHP的结果显然就靠不住。

总的说来，层次分析法已越来越广泛地应用于决策分析，虽然其理论还存在某种缺陷，但是它的应用价值是无容否认的。层次分析法在综合评价领域也起着举足轻重的作用，它不仅能够用于计算评价指标体系的权重，而且还能用于对评价对象评价排序。

3.2 AHP数学原理

在应用AHP解决决策问题时，有固定的计算步骤，这些步骤包含：（1）建立

研究对象的递阶层次结构；（2）选择比例标度体系，构造判断矩阵；（3）单层指标权重的计算及其一致性检验；（4）总的指标权重计算及其一致性检验。由于构造判断矩阵和单层权重的计算内容较多，后面分节介绍。这里讨论如何建立递阶层次结构，如何产生合成权重，如何处理递阶层次结构中的结构信息依存性问题。

3.2.1 建立递阶层次结构

对于考察的决策对象，当应用层次分析法进行系统分析时，首先就是要根据问题的内部因果将其分解为互不相交的不同属性层次，通常可表示为目标层（最高层）、准则层（中间层，可能不止一层）、方案措施层（最低层）。一般而言，上一层元素对相邻的下一层全部或部分元素具有支配作用，形成按层次从上至下的逐层支配关系，处于同一层内部的元素没有支配关系或依存关系，具有这种性质的层次就称为递阶层次。建立研究对象的递阶层次结构是应用层次分析法的核心内容。通用递阶层次结构图如下所示（图3-1）。

总目标

准则1 准则2 ?

方案1 方案2 ?

递阶层次结构图3-1

这里的递阶层次结构图是应用最多的普通三层结构。实际上，除了最高层的总目标和最后一层的方案层不能再细分以外，中间的准则层还可细分为一些子准则层。这些子准则层的多少没有限制，可以根据具体问题细分为两层、三层、四层等。

准则m 方案n 3.2.2 确定综合权重

对决策问题给出了递阶层次结构以后，就可讨论权重的计算。为了计算每个方案关于总目标的权重，假设准则层关于总目标的权重为

W1?w1,w2,?,wm?111?T （3.1）

方案层关于准则层的权重矩阵为

W22?w11?2?w21?????w2?n1w12w22?wn2222????2w1m??2w2m? （3.2） ???2?wnm?n?m对于矩阵W2，第j（j=1，2，?，m）列的值表示所有方案在第j个准则下的权重。则所有方案关于总目标的权重为

21 W?WW

如果有不止三层，则有类似的总权重计算公式

W?W?WWk21 （3.3）

其中的符号含义类似。至于这些权重是如何产生的，我们将在第四节介绍。

3.2.3 递阶层次中的结构依存性问题

对于决策问题计算的最终权重W，通常被用着排序。从上面的计算过程自然会问（3.3）这种合成计算总权重是否依然保序？回答是肯定的。但是，元素之间的依存性对保序性起着非常重要的作用。依存性主要有两种，一是功能依存性，一是结构依存性。此处仅讨论结构依存性，功能性依存见文献[1]。

结构依存性有两种：结构支配依存性和结构信息依存性。结构支配依存性，是定性依存性，包括层次间的外部依存性。在递阶层次结构中，一个层次的元素作为支配因素影响下一个层次因素的相对重要性，递阶层次并不考虑下一层次元素对上一层次元素的反馈支配作用。事实上这种反馈支配作用有时是存在的，例如，民主集中制下的组织机构不同层次之间就存在这种结构反馈依存性。递阶层次结构由此扩展到反馈系统结构，那里的排序不仅考虑方案对目标的排序，也考虑准则对方案的排序。反馈系统的排序问题有比较完整的理论，详细内容可参考文献[1]。

对于结构依存性是指结构信息依存性，即一个层次元素的排序权值根据与系统结构有关的信息加以调整所表现的依存性。递阶层次中的结构信息总是存在的，因此，结构信息依存性也总是存在的。

例3.1 在一所大学内要根据教学与科研两个方面的贡献对学校的教师进行考核，一个高度简化的递阶层次结构如图3-2。

第一层次为层次分析的目标，第二层次为教学与科研两个方面，第三个层次为被考核的教师。七名教师中一名未从事教学工作，五名未从事科研工作。假定第二层次两个因素教学与科研的排序权值分别为0.7，0.3，前六名教师相对教

学因素的排序权值分别为0.28，0.22，0.15，0.13，0.12，0.10，教师5，7相对于科研因素的排序权值为0.3，0.7，按照公式（3.3）可计算出这7名教师合成排序权重为

W=(W1,W2,?,W7)=(0.20,0.15,0.11,0.09,0.17,0.07,0.21) (3.4) 教师的贡献 教学 科研 教师2 教师3 教师4 教师5 教师6 教师7 教师1

大学教师对学校的贡献评价结构图3-2

这就是7名教师对大学的贡献值。如果这样的结果考查教师，则难于令人心服。因为从事教学与科研的人数不等，应该考虑人员比例对第二层权重进行调整，也就是利用结构信息对综合权重进行二次加权平均，这就是所谓的结构信息的依存性。

现在讨论结构信息依存性的一般处理方式。假设在m个准则C1，C2，，Cm下n个方案相对重要性的权重矩阵为（3.2），令

?w1?1??S1????0?w2?1?0??????1?wm?

其中

nwj??wk?1kj

则权重矩阵（3.2）每列规范化相当于W2S1。这种规范化表明在每一个准则下比较元素的相对重要性时，各准则处于同等重要的地位。准则的差别只有在组合规范时才能体现出来，这就是为什么将矩阵S1视为一种结构依存性的表示。通常情况下，这种结构信息是合理的，S1提供了方案对准则的权重不发生影响的结构信息。

但是，在大多数情况下每个准则下方案的数目对准则的权重有影响，由于方案数的不同，准则不再“一视同仁”地对待每一个方案，它在对方案起支配作用

时地位要发生变化。假定准则Ck支配的方案数是rk，即

mN??rk?1k

令结构信息矩阵

?r1?N??????0????? （3.5） ??rm?N?0S2r2N?以及结构信息矩阵

?N?r1?S3?????0????? （3.6） ??N?rm?0Nr2?为了实现每个准则所支配方案的多少对权重的修正，我们可以从两方面考虑结构信息矩阵（3.5）和（3.6）对权重的修正：

（1）如果考虑准则支配的方案越多，其相对重要性增加的比率越大，则权重规范合成后的权重为

WS1S2 （3.7）

2（2）如果考虑准则支配的方案越少，其相对重要性增加的比率越大，则权重规范合成后的权重为

WS1S3 （3.8）

2用结构信息矩阵可以根据所掌握的递阶层次结构中的两两比较判断以外的信息灵活地对合成排序施加影响，使决策过程更符合客观规律。

现在回到例3.1。利用结构信息矩阵

S2?6???8?0???0??2??8?

则7位教师通过教学与科研两方面对学校贡献的合成权重为

?0.28??0.22?0.15?W??0.13?0.12??0.10??00??0?0??6??0??8??0.3?0??0??0.7??0.147??0.116?0.079?0?0.7????????0.068?2??0.3????0.086?8??0.053??0.053???????????

经规范化后得7位教师对学校总贡献权向量为

W?(0.25,0.19,0.13,0.11,0.14,0.09,0.09)T （3.9）

对比（3.4）与（3.9）便知结论的合理性。

3.3 判断矩阵

对于复杂的决策问题，建立的递阶层次结构反映了决策属性因素之间的相互关系，例3.1的递阶层次结构图3-2就反映了大学教师对学校贡献的分析关系。一般的决策问题中各属性指标之间的关系可完全通过递阶层次结构图3-1反映出来。但是，每个准则在目标衡量中所占的比重并不相同，对于决策者而言，它们各占有一定的比例。在确定一个准则下诸因素所占比重时，最困难的问题就是“这种比重”不易量化。Saaty等人建议构造固定量化标准下两两比较判断矩阵的办法解决这一问题。因此，这里讨论AHP的比例标度和两两比较判断矩阵的构造问题。

3.3.1 AHP的比例标度

AHP从决策角度提出定性事件定量化的测度方式。测度过程存在两种标度，导出性标度和规定性标度。导出性标度用于被比较元素相对重要性的测度，标度值为区间[0，1]上的实数。利用两两比较判断矩阵，通过一定的数学方法如特征向量法导出测度结果。

规定性标度用于在给定准则下两个元素相对重要性的测度，属于比例标度。测量方法是两两比较判断，其结果表示为正的互反矩阵。对于比例标度问题，可以用多种标度值给出。但是这里还涉及到两个基本问题。一是人对事物属性做比较时，要保持判断的一致，其所能感知的最小差异是多少？这个问题属于实验心理学范畴。许多心理学家在这方面做过实验研究。AHP应用的是Miller的成果。G.A.Miller[2]认为，人在判断事物属性差异时，其最高差异极限为9。因此，比例标度最高可用1—9这9个整数表示事物属性差异。

人在判断时，被比较的对象属性应该相差不大，比较接近，否则定性分析无多大意义，例如我们没有必要将地球与物质组成的原子比较。当被比较对象属性差异较大时，需要将“小的因素”聚类，“大的因素”分解。当被比较因素属性差异接近时，人们的判断趋于用相等、较强、强、很强、绝对强这类语言表述。如果还要细分，则可以在相邻判断之间加入一档。因此，1—9之间的整数完全可以满足这种判断要求。注意，当一个因素比另一个因素的强度判断用上述数字表达时，后一个因素与前一个因素相比，其判断用这个数的倒数表达。

在实际应用中，1—9标度基本能够满足要求。有人提出，如果在某一准则下比较的元素较多，则9标度不能表达元素之间的差异，应该用更多的数字表达。例如，Saaty在1980年就列出了26种标度方法。但通过比较研究，还是9标度比较合理。如果比较元素较少，或者元素之间差异不大时，有人建议可以用更少数值标度，这就出现了所谓5标度，3标度等。但是，这些比例标度本质上没有多大差异。

为了应用方便，此处列出集中常见的比例标度，具体见表3-1、3-2、3-3、3-4。

9比例标度表3-1 xi比xj 量化值 绝对强 9 强 7 很强强 5较等 3 1 相7比例标度表3-2 xi比xj 量化值 5比例标度表3-3 xi比xj 量化值 3比例标度表3-4 强 很强 5 较等 3 1 相强 7 很强较强 5等 3 1 相xi比xj 量化值

强介于“强与相等”之间 32 等 相1 3.3.2 构造判断矩阵

对于给定的评价对象，假设有m个元素?x1,x2,?,xm?，需要确定其权重

W?(w1,w2,?,wm)T

在某一准则Ck下，选定AHP比例标度（表3-1—表3-4），根据各元素在准则下的相互重要性构造判断矩阵A??aij?m?m，其中aij表示第i个元素与第j个元素相比的相对重要性量化值，则矩阵A满足条件： （1）aij?0； （2）aij?1aji?i,j?1,2,?,m?

通常，我们将具有这两条性质的矩阵称为正互反矩阵。显然，正互反矩阵的对角线元素恒为1。

应用这种办法构造成对比较判断矩阵时，虽然能够减少其它因素的干扰影响，较客观地反映出各元素影响力的差异。但综合比较结果时，其中难免包含一定程度的非一致性。事实上，如果比较结果完全一致，则判断矩阵还应该满足

aijajk?aik?1?i,j,k?m)? (3.10)

定义3.1 如果正互反矩阵满足（3.10），则此矩阵称为一致矩阵。 如果判断完全一致，则构造的判断矩阵应当是一个一致矩阵。但构造比较判

2断矩阵A一共要作Cm次比较，保证A是正互反矩阵是比较容易的，但要同时要

求所有比较结果严格满足一致性，这显然是非常困难的。尤其是比较两元素的重要性时，已经采用了1—9标度，带有一定的误差，自然不应该要求判断矩阵具有严格一致性。但是，又如何检验构造的判断矩阵具有满足要求的一致性呢？这就是所谓的一致性检验。为此，我们不加证明地引进下列结论以便应用。

定理3.1 如果矩阵Am?m是一致矩阵，则 （1）A必为正互反矩阵； （2）AT也是一致矩阵； （3）rank(A)=1；

（4）A的最大特征根?max?m，其余特征根为零。 （5）A的最大特征根对应特征向量W??w1,w2,?,wm?T满足

aij?wiwj,i,j?1,2,?,m

定理3.2正互反矩阵Am?m为一致矩阵，当且仅当?max?m。如果矩阵Am?m非一致，则有?max?m。

一致性检验包含两方面的内涵，一是单准则下判断矩阵的一致性检验，二是总的一致性检验。首先讨论单准则下的一致性检验。应用上面的定理，假设方案在准则k下的判断矩阵为Am?m，其最大特征根和特征向量如定理3.1和定理3.2，则可以根据?max?m是否成立来检验矩阵的一致性。如果?max比m大得多，Am?m的非一致性程度就越严重，?max的标准化特征向量就越不能真实地反映出

?x1,x2,?,xm?

的权重。因此，定义一致性指标

CIk??max?mm?1 (3.11)

和平均随机一致性指标RIk（一致性度量标准），见表3-5[1] 。

平均随机一致性指标标准值表3-5

m RI m RI

然后定义随机一致性比率

CRk?CIk3 0.52 10 1.49 4 0.90 11 1.52 5 1.12 12 1.54 6 1.25 13 1.56 7 1.35 14 1.58 8 1.42 15 1.59 9 1.46 RIk (3.12)

如果通过计算得

CRk?0.10 (3.13)

则认为构造的判断矩阵具有满意的一致性，否则，要重新调整判断矩阵，直到获得满意的一致性为止。

现在讨论总的一致性检验问题。假设递阶层次结构为三层，如图3-1，计算出的单层权重为（3.1）和（3.2），第三层各方案关于第二层每个准则的一致性

指标为CIk，k=1，2，?，m，相应的随机一致性指标为RIk，k=1，2，?，m，则总的一致性检验比率为

m?wCR?k?1m1kCIk (3.14)

1k?wk?1RIk如果下式成立

CR?0.10 (3.15) 则总的一致性满足，所计算的总权重有效。

3.4 单层权重的计算方法

构造了满意的判断矩阵后，需要计算他的最大特征根及其对应的特征向量以作为权重。但对于判断矩阵的阶m非常大时，要计算它的最大特征根和特征向量却非常困难，需要求高次代数方程及其高阶线性方程组。由于判断矩阵A的元素

aij反映的是决策者主观看法在一定精度范围的量化，具有一定的模型误差。因

此，在求判断矩阵A的特征根时，就没有必要去精确计算最大特征根和特征向量，可以应用简便的计算方法。下面给出一些简便的算法供参考应用。

3.4.1 方根法

计算判断矩阵Am?m的最大特征根和特征向量的方根法步骤如下。 步1：计算判断矩阵每行元素之积

mMi??aj?1ij,i?1,2,?,m

步2：计算Mi的方根

wi?mMi

步3：规范化wi就可获得最大特征根对应的特征向量分量

wi?wim?wj?1j

则特征向量为

W?(w1,w2,?,wm)T

步4：计算判断矩阵最大特征根

?max?1mm?i?1(AW)iwi

其中，?AW?i表示AW的第i个分量。

3.4.2 幂法

幂法计算判断矩阵最大特征根和特征向量的步骤如下。 步1：任取一标准化向量W0，并指定精度??0，置k=0。 步2：迭代计算W步3：标准化

Wk?1k?1?AWk。

?Wmk?1

k?1?(Wi?1)i其中?W|Wik?1?表示第i个分量。如果

?Wi|??,i?1,2,?,m,

kk?1则取W?Wk?1为A的特征向量近似值。否则，置k?k?1,转步2。

步4：计算最大特征根

?max?1mm?i?1(AW)iwi

3.4.3 和积法

和积法计算判断矩阵最大特征根和特征向量的步骤如下。 步1：将判断矩阵A的每一列标准化，

aij?aijm,i,j?1,2,?,mkj?ak?1

并令A??aij?m?m。

步2：计算

mwi??aj?1ij,i?1,2,?,m.

步3：规范化得权重向量分量

wi?wim?wj?1j

由此获得权重向量

W?(w1,w2,?,wm)T

步4：计算最大特征根

?max?1mm?i?1(AW)iwi

3.5 AHP的应用技术

根据前面几节的讨论，AHP的计算步骤可概括如下： 步1：确定决策问题的指标体系，建立递阶层次结构；

步2：选定AHP比例标度，构造每层在上层某准则下的判断矩阵。 步3：选定方法，计算构造的判断矩阵的最大特征根和对应特征向量； 步4：单准则判断矩阵的一致性检验。如果通过（3.12）计算的一致性比率满足（3.13），则转入下一步。否则，转入步2；

步5：层次总的一致性检验。如果通过（3.14）计算的总的一致性比率满足（3.15），则转入下一步。否则，转入步2；

步6：应用（3.3），甚至结合（3.7）或（3.8），计算决策问题综合权重。 层次分析法在决策中可用于解决以下问题。 一、综合评价

假如决策问题是综合评价问题，则最后的方案层是综合评价问题的基本评价指标。此时的决策问题通常是确定评价指标对评价对象的综合贡献。综合评价中AHP用于计算评价指标权重。设评价指标为

?x1,x2,?,xm?

它们对评价对象的相对重要性（权重）为

?w1,w2,?,wm?

于是通常可选择如下的线性评价公式

y?w1x1?w2x2???wmxm

当然，根据前面的讨论，评价模式也可以选择其它评价模式，具体可参考前一章内容。

例4.1 人员招聘问题

某处招聘工作人员，建立了如下结构层次模型，见图3-3。其中最后一层是评价指标体系，定义如下：

x1=语文知识；

x2=外语知识；

x3=国内外政治经济时事知识； x4=计算机操作能力； x5=公关能力； x6=容貌与风度； x7=体形高矮与胖瘦； x8=音色。

0.237

x1 x2 x3 x4 x5 x6 x7 x8 0.5 0.154 0.346 0.25 0.75 0.492 0.36 0.147 知识 0.348 能力 0.415 表现 综合得分 0.119 0.036 0.082 0.087 0.261 0.204 0.15 0.061

人员招聘递阶层次结构图3-3

通过计算各层元素权重已标在图3-3上，计算出每个指标的综合权重已标在图3-3的最下边，于是评价公式

y=0.119x1+0.036 x2+0.082 x3+0.087 x4+0.261 x5+0.204 x6+0.15 x7+0.061 x8

（3.13）

规定考核时，每项指标均采用5分制。假设有三个人应聘，他们的考核成绩如下表3-6。

甲、乙、丙三人招聘成绩表3-6 1x2x3x4x5x6x7x8x

523 544 552 455 355 445534

甲5乙3丙3应用评价公式（3.13），根据甲、乙、丙三人的考核成绩表3-6，可计算出

三人的综合评分分别为4.181、4.567、4.286。因此，三人的综合能力排序为

乙?丙?甲

二、估计或预测

层次分析法可用于决策问题的某些预测或估计问题。在这种问题中，把权系数当成离散型概率来看，最高层是行为方式，最底层是可能出现的前景或可能产生的后果，所有权系数形成一个概率分布。当然，这样计算的概率只是先验估计值，还有待遇其他方法结合考察应用。

例4.2预测运动成绩

根据我队实力及其状态分析，将我队参赛结果分为三类指标：x1=第一名；x2=第二名至第八名；x3=第九名及其以后。然而，队员参赛水平的发挥主要受到三种因素影响：实力、斗志、环境。于是，我队比赛成绩可应用层次分析法分析预测。对此问题，应用层次分析法建立递阶层次结构图如图3-4。

0.424 0.314 x1 x2 x3 x1 x2 x3 x1 x2 x3 0.48 实力 0.206 0.517 0.32 斗志 0.163 0.173 环境 0.497 0.33 0.424 0.152 比赛成绩 0.134 0.203 0.087 0.219 0.136 0.069 0.026 0.05 0.076

运动比赛成绩预测的递阶层次结构图3-4

应用前面讲的方法计算出每层元素权重都标在图3-4对应位置上，综合权重标在图3-4最后一行。因此，获得第一名的概率可看成x1在每项指标（实力、斗志、环境）下的权重之和，即

P(x1)=0.134+0.219+0.026=0.379 同样可计算其它比赛结果的概率 P(x2)=0.203+0.136+0.05=0.389 P(x3)=0.087+0.069+0.076=0.232

因此，应用AHP可预测出我队获得第一名、第二至八名、第九名以后的概率

本文来源：https://www.bwwdw.com/article/hnu2.html