软件测试准则的有效性度量研究

维普资讯

计算机研究与发展J u n l fC mp trReerha dDe eo me t o ra o ue sac n v lp n o

I S l 0 2 9 CN 1。7 7 1P S N O 0 1 3| 1 7| 1

4 ( ) 4 7 4 3,2 0 3 8:1 5~1 6 06

软件测试准则的有效性度量研究赵 亮王建民孙家广 北京 1 0 8 ) 0 0 4

(清华大学计算机科学与技术系北京 10 8 ) 0 0 4(华大学软件学院清

( h oin 0@ mal.sn h a e u c ) zal g2 a i tig u .d .n s

A u y o o t r s ie i n Efe tv n s e s r St d f S fwa e Te tCr t r o f c i e e s M a u eZ a in h o La g一，W a g Ja mi n u ig a g n in n,a dS nJa u n z( p rme to o ue cec n c n lg Dea t n f C mp trS in ea d Teh oo y,Tsn h a Unv ri ig u iest y,B iig 1 0 8 e n 0 0 4) j ( c o l S fwa e S h o o t r,Tsn h a Un vri f o ig u i sy,B i n 0 0 4 e t e ig 1 0 8 ) j

Ab ta t Ho t e s e t fe tv ne soft s rt ro s a m p ra t p o lm o o t r u l y sr c w o m a ur he e fc i e s e tc ie in i n i o t n r b e f r s fwa e q a i t

a s r n e.Ti o,n o sse t me s r s h v e n a hiv d.I h s p p r o e ilf iu e d sa c su a c ln w l o c n it n a u e a e b e c e e n t i a e,p t nta al r it n e

( f )i p o o e sa n iain o h fe t e eso e tciein.I e ad h fet e eso et p d s r p sd a n idc t ft eefci n s fts r r o v t o trg r st eefci n s fts vc ie i n o p r iua s fwa e a h f n t o s e iia in

, pr g a, f u t y e n c ie in. I rt ro n a tc lr o t r s t e u c i on f p cfc to o rm al t p a d rt ro t p o e d e s e fo h onto ntr c in b t e fw a e a d ts rt ro r c e sm a ur r m t e p i f i e a to e we n s t r n e t c ie in. Co p r d w ih o h r o m ae t t e r lt d wo k. i e lc s t e a h e e o fd n e o he c re t e s o eibi t b u h fwa e a t r ea e r t r fe t h c iv d c n i e c n t o r c n s r r l l y a o t t e s t r fe a i o ts i g.T h e s r o i e e sb e c m p rs n o h fe tv n s f t s rt ra o fwa e.T h e tn e m a u e pr v d s a f a i l o a i f t e ef c ie e s o e tc ie i n s t r o o e m e s e c n h l o d sg o e ts a e s fwa e a ur a ep t e i n m r e t bl o t r . Ke y wor s ts rt ro d e tc ie in;e f c ie e s;m e s r fe tv n s a u e;c m p rs n o ai o

摘要测试准则的有效性是软件质量保障的一个重要问题，至今仍没有一个有效的度量方法.已有但的度量对于全面表示测试效果、高软件质量的作用非常有限.在失效距离( f)测试准则对软件提潜 pd将的测试有效性视为以规范、程序、陷类型和测试准则为自变量的函数，缺从软件和测试准则交互的角度来度量测试的有效性.已有的度量相比较，度量反映了软件经过满足测试准则的充分测试后获得与该

的可靠性，比较测试准则的测试效果提供了可行的方法，为为设计更易测试的软件提供了指标.关键词测试准则；效性；量；有度比较中图法分类号 TP 1 . 3 15

测试准则定义了测试数据选择/生成的基本原则，规定了对软件达到充分测试时测试集必须满足

个体效力的随机性使得根据现有度量模型来

比较准则的有效性有以下不足：根据测试发现至少一个①

的基本要求，但是目前还没有一个公认有效的方法来表示测试准则的有效性 .从统计的角度来看，满足一定测试准则的所有测试集的测试效力具有一定的稳定性；是就单个测试集而言，所包含的具体但其用例依赖于测试者的经验和技巧，试效力具有一测定的随机性.种整体效力的稳定性和单个测试集这收稿日期：0 5 7 0;回日期：0 6 2 2 2 0 0 1修 2 0 0— 3

缺陷的概率 (下文称为 P度量 )或者测试能发现的，缺陷数量的期望值 (下文称为 E度量 )比较测试来准则的有效性…,需要根据测试准则对输入域划分进行假设，于结构覆盖准则，难建立结构覆盖与对很

输入域划分的对应关系，得该度量很难用于结构使覆盖准则的测试效力度量；部分度量将检测效力②

基金项目：家“六三”国八高技术研究发展计划基金项目(0 3 A4 34 )国家“ 20A Z00;九七三”点基础研究发展规划基金项目(0 2 B 10 0重 2 0 C 32 0 )

维普资讯

1 5 48

计算机研究与发展

2 0,4 ( ) 0 6 3 8

视为缺陷类型和测试准则的函数，使得度量结果对于抽象的缺陷类型有效而对具体的软件无效或者度量效果不好【 ③基于现有的度量进行准则间测 2;。

据状态 (ro)错误的数据状态被传递到软件的输 err;出，现为软件的一次失效 (a ue .由于不同的软表 fi r) l件具有不同的结构和程序语义，得相同准则对不使同的软件中的相同缺陷类型具有不同的检测能

试效力比较时，量结果与准则的测试能力存在不度一

致情况，至例外的情况占很大的比例…;已甚④

力【. 2同时，同的问题、现可能包含的缺陷类型 J不实发生频率不同 .此准则的有效性更准确的定义应因

有度量都没反映实际的操作和运行中不同缺陷导致软件失效的概率以及因为测试而带来的软件可靠性

该是规范、序、陷类型和准则的函数即 E=程缺厂 S cfc t n, o r m, a l— p, i ro

. ( ii i Prg a F u t Tv e Crt in) ao e

的提高 .因此如果我们更重视软件经过测试后的正确性或者可靠性，则需要定义新的度量.

我们根据该定义来研究测试准则的有效性.

1软件测试准则及其有效性 根据测试准则要覆盖的对象的不同可以将它们分为输入域覆盖准则和结构覆盖准则 .入域覆盖输测试准则又称为分区测试，它根据软件的功能、界边

2测试有效性度量的基本定义定义 1测试集 .据测试准则的充分性要求 .根选择的测试用例组成的集合 .测试集的大小为其所包含的测试用例的数量 .定义 2 .缺陷语义度 (e ni f ls e【 . sma t a t i )6缺 c u z J

值和特征值等将输入域划分为多个子域，每个子域作为一个输入等价类 .试时根据准则要求从每个测等价类中选择测点作为输入 .构覆盖准则以软件结规范和程序结构覆盖为目标，覆盖软件相同部件的输入被视为是等价的.测试过程中选择那些能够在提高覆盖水平的输入组成测试集 .输入域的划分依赖于测试者对于软件的理解和个人技巧，分的粒度具有较大的主观性 .种主划这观性使得满足相同准则的测试集的测试能力变化范

陷语义度表示输入域中因软件中包含的缺陷而导致软件执行失效的输入占整个输入空间的比例，即=

I /l , Drl l D

其中 I I示导致软件失效的输入空间的大小， D,表 I I 示整个输入空间的大小 . D表

定义 3 .有效性矩阵 (f ciemar )设软件 ef t t x . e v i

P包含了 Fl F2…,等 m个缺陷，,, F根据测试准则 C,生成 Tl T2…,等 n个测试集， n个测，, T则试集对 m个缺陷的检测结果构成准则 C对软件 P 的有效性矩阵 E(,,中 e=0表示测试集 m n)其 T没有检测到缺陷 F;=1表示测试集 T能够 e 检测到缺陷 . 根据有效性矩阵 (表 1所示 )可以从某测试如，集检测到的缺陷数和满足某测试准则的所有测试集检测到某缺陷的次数两个角度来分别定义单个测试集的测试有效性和测试准则对某个缺

陷的有效性度量 . 定义 4缺陷检测效力 ( u e co f tee, . f ldt t ne e i ns a t ei f v s c

围很大，增加了度量和比较测试准则有效性的难度.而结构覆盖准则以满足一定的软件结构覆盖为目 标，对于给定的软件而言，目标更具有客观性，该因此本文主要研究结构覆盖准则的有效性度量 . F a k, uc is等人研究了不同覆盖率水平 rn lH thn下分支覆盖和数据流覆盖准则的有效性l j L .我们 2 0认为当覆盖水平小于 1 0 0%时，同的覆盖水平可相能覆盖的是软件的不同部分，因此造成的有效性变化会影响对准则有效性的分析；且只有当测试的而

充分度达到准则规定的 1 0时，发现缺陷的能 0%其力才能最大发挥【;外，覆盖水平达到 10 4另 当 0%后，增加测试用例，再覆盖率水平不变，而测试的有效性会变化 .一部分有效性不是准则要求产生这

)给定测试集 T和软件 P, . T对 P的缺陷检测效力定义为 T所检测到的缺陷占 P所包含的缺陷

的，因此在度量准则的有效性时不应该计算在内.根据以上分析，文研究达到最小的 1 0本 0%结构覆盖时，试准则的有效性 .测

的比即例，

=∑ ej /,m.i 1=

定义 5 .缺陷检测概率 (aldt t np bbi, f t ee i r ai y u c o o l t

f p .软件 P所包含的缺陷类型 F, d )对 满足测试准则 C的所有测试集中能检测到该缺陷的测试集的

缺陷是软件的缺陷，存在于具体的软件结构中. 根据缺陷/效模型lj一次测试能发现软件中的缺失 5,陷需满足 3个条件：试数据执行了软件中包含缺测

数目在整个测试集集合中所占的比例，即] .

陷的语句(a l; fut该执行导致软件产生了错误的数 )

fp d i

2 , n 5e J i/

维普资讯

赵

亮等：件测试准则的有效性度量研究软Ta l Th f c i e M a r x of Cr t r o f o r m be 1 e Ef e t v t i ie i n C or Pr g a P

15 49

表 1测试准则 c对程序 P的有效性矩阵 ;

0 1 0

1 1 0

0 0 1

0

0

21/1 1

1/

缺陷检测效力 (d )义了满足一定准则 C的 f e定

经过满足测试准则 C充分性要求的测试集测试并修复其发现的缺陷后，软件仍可能失效的概率 .该 该值越小则说明经过该准则的充分测试后，的可 P靠性越高.

单个测试集的特征，陷检测概率 ( d )义了测缺 fp定试准则对软件包含的某一种缺陷类型的检测能力 . 因为不同缺陷在实际运行中导致软件失效的概率不

同，因此不同缺陷的检测对测试后软件可靠性/确正性的贡献不同.为表示软件 P经过满足准则 C的充

根据该定义，算 p d需要知道缺陷在实际应计 f用中导致失效的概率，决定于软件的操作剖面 .这 该信息在测试阶段一般不可获得，因此需要一种近似.假设输入操作在输入空间中均匀分布，若则P。以用 s来表示，据某准则 C测试发现…可 根

分的测试后可获得的对软件正确性或可靠性的程

度，需要综合考虑缺陷的发生频率和准则的检测效果.们给出如下定义 .我 定义 6 .潜在失效距离 (oet laued t c, p t i i r ia e n a fl s n

缺陷的概率 Pd可以用对应缺陷的 f p来近似. l e d

pd)对软件 P,对测试准则 C的潜在失效距离 f .其定义为根据测试准则 C对 P进行充分的测试后，该程序仍可能失效的概率.pd= ff l=

3测试准则测试效力的度量和比较为了验证潜在失效距离 ( f的合理性和有效 p d)性，们选择 Se e s序作为实验对象 j度量我 i n程 m 7来和比较分支覆盖准则和随机测试对不同软件的测试有效性 .了比较的公平，为分支覆盖测试集和对应随机测试集的大小一致 .于 Se n程序的描述关 i me s见表 2.

…× ( 1一 P一

i

),

其中， P

表示实际操作中分别由于各缺陷导致

软件失效的概率，值与规范、其软件结构特征及操作的分布有关；幽表示经过某测试准则的测试后， P 缺陷被移除的概率 .

在失效距离 ( f表示软件潜 p d)

Ta l T eDeci t n fS betPrg a s be2 h srpi so u jc o rm o

表 2实验程序基本特征

维普资讯

计算机研究与发展

2 0, 3 8 06 4 ()

注： os L c列表示代码行数， d e列表示各程序 E gs中包含的分支数， u D s列表示各程序中变量的定义和引用次数，#Ves列表示缺陷版本数量 ( r *表示缺陷数与原软件发布包中的略有不同 ) T s P o, et o l Sz列表示测试池中包含的测试用例的数量 . i e 实验步骤如下：

测试集的测试能力具有一定的随机性，整体测试效力则分布在一定的概率范围内.

①根据分支覆盖准则充分性的要求，成最小生分支覆盖测试集和对应相同大小的随机测试集； ②构造最小分支覆盖和随机测试对各程序缺陷的有效性矩阵； ③根据每个程序对不同准则的有效性矩阵，按照定义 4 5和 6分别计算 f e f p和 p d;,, d,d f

④根据计算结果讨论和比较度量的有效性.3 1测试集生成 .

根据定义 5 6度量测试准则的 f p和 p d需，, d f要获得满足准则的所有 I∞J集 l。叫c0l理0 l矗，测试∞ c的特征 . I论j 根 l 0∞ ^ I j l。 I上 8

Fg.2 l ev r t no d frn o tsigs i . i ai i ff eo a d m et ut h ao n e

图 2随机测试集 f e O化情况 d变 O O7 6 5

O 4

O 3

O 2

O 1

据程序输入域和结构特征，足某种测试准则的测满试集的数量有可能是无限的 .际应用中，据概实根

缺陷检测概率 (d )映了满足测试准则的测 fp反试集对某一个缺陷的检测情况 .图 3为对程序 s eue hd l 2所包含的缺陷，满足最小分支覆盖的测当试集的数量由 1 0逐步增加到 10 0 0 0时 f p的变化 d

率理论和采样定理，当样本足够大时，样本数据的极

限即可以作为对应准则特征度量的近似 .据最小根分支覆盖准则，我们分别生成 1 0 0 0个最小分

支覆盖的测试集和相同大小的随机测试集，别用分Ba c_ o r nh C y和 R n C y来表示 . a _o 3 2测试准则的有效性度量 .

情况.随着测试集数量的增多，则对各缺陷的准f p逐渐趋向一个稳定的值.极限值表明测试准 d该则对某一缺陷的检测能力.

在每个缺陷版本上运行测试池中所有测试用例，统计各缺陷的有效测试用例 E C= F i I￡) ≠ P( P ( ),=1…,,后构造各程序对于各准则的 ￡}i, 然 有效性矩阵 E c和 E B^ R .: _

暑C

堂

构造出有效性矩阵后，照定义 4 5计算出满按，,足各准则的测试集 f e和 f p. 1和图 2分别为 d d图

0=

善

最小分支覆盖测试集和随机测试集 fe的变化情况 . d 从图 1和图 2的比较可以看出，足每个准则的各满O 1 2 3 4 5 6 7 8 9 Nu b r f a l m e ut o F

F g l e v r t n o,户 f rmi i l r n h c v r g i .3 a i i f- h ao d o n ma b a c o e a ec ie in o c du e2. rtro n s he l

图 3最小分支覆盖准则对 sh d l c e u 2的 f p的变化情况 e d

图 4为 1 0 0 0个分支覆盖测试集和随机测试集对于各个程序中缺陷 f p的变化情况 .图中曲线 d s z表示各缺陷的语义度，每个缺陷的有效测试用用例在测试池中的分布情况来近似 .图 4可以看从出，陷语义度 z与各测试准则对其的 f p有一缺 d定的关联关系 .为验证该假设，们计算它们的我

P asn关联系数 . er o计算结果如表 3所示 . 3的结表Fg.1 Th ait n o d f rn h cv rg rtr n i ev r i ff eo a c o ea eciei ao b o

果表明， s和随机测试之间有较强的关联关 在 z

图 1最小分支覆盖测试集 f e变化情况 d

系，而与分支覆盖测试的关联关系则较弱 .

维普资讯

赵亮等：件测试准则的有效性度量研究软

:

8:0、 0、 F utn e

a lId x () a F utn e a lId x

() b

:

:0、 0、 F ut n e a lId x F utn e a lId x

() c10 0 5、 00 . F utn e a lId x

() d

() e10、 05、 00、 F utn e a lId x

() f10、 05, 0 0、 F utn e a lId x

() g

Fg 4 Th i r u i f ah f l s i. ed t b t no c a t si o e u’

a de c r ei’ f p.( )sh d l;( )sh d l;( )p it k n; n a hci r n s d t o a c e u l b c eue e 2 C r t el no

( )pito e 2;( )rpae f cs n g o if. d r tk n n e e lc;()ta;a d( )tt o n

图 4各程序缺陷的

及分支覆盖测试集与随机测试集 f p的分布情况 d

T be T e e ro o rlt n C ef i t e en C i r nf p a d ss a l 3 h a sn C reai o f c n t e r e i d n z P o ie B w t o f 表 3各准则 f p与 ss d f z之间的 P as n相关系数 e ro

为获得准则对程序的检测效力的综合评价，根据定义 6利用，和作为近似，我们计算各准则对各程序的 p d,算结果如表 4所示 .了比 f计为较， 4同时列出了各程序随机测试有效性的 P度表量和 E度量 .

Ta l Co pa i o f e e t Ef e t v ne s M e s r s be 4 m r s n of Di f r n f c i e s a ue

表 4测试有效性度量比较

其中 P量：=一Ⅱ (一，,度 P 1 1芋)一 1 “k

E度量： E=∑ . 1¨ i=

k为输入域划分的子域数量，为每个子域内缺陷 m,的有效用例数，子域内输入的数量. d为

维普资讯

16 42

计算机研究与发展

2 0, 3 8 06 4 ()

33讨 .

论

效果 .

( )根据度量结果比较两准则对各程序的测试 1效果：

3.度量有效性分析 4

作为一种准则有效性度量，须考虑其有效性必问题 .内部有效性在于我们是否

真正度量了测试准

分支覆盖准则和随机测试准则对 pit k n r t el no程序最有效，而对 ta的测试效果较差. cs ( )根据度量结果比较两准则对同一程序的测 2试效果：

则对程序的测试有效性 .p d主要从统计的角度来 f

分析和度量，没有考虑程序语义、构等影响有效性结的因素 .

①除 sh d l c e ue l外，他所有程序都有分支覆其盖测试优于随机测试的效果 .此，然分支覆盖因虽提高了测试成本，同时也带来了测试效果的改善 .但 从这一点上来说，本的增加是值得的.成 ②对 scd l, h e ue随机测试优于分支覆盖的测试 l效果.根据表 3对 f p和 z的关联系数分析， d分支覆盖准则强制从不包含可导致软件失效的子域中 选择测试用例，降低了检测到缺陷的概率. ( )比较 pd度量与 E度量和 P度量： 3 f ①对随机测试而言，度量和 P度量的 E

外部有效性在于该度量能否推广到其他软件或者缺陷类型.因为目前的软件工程界对程序的代表性和缺陷的典型性等问题还有争论 .因此从有限的实验得到的结论是否具有一般性还需要更多的实践证明 .着软件开发成熟度的提高， f可以得到随 pd

更准确的度量结果.在构造最小分支覆盖测试集时没有使用回归的方法，因此生成的测试集仍可能会有一定的冗余 .

该冗余可能对度量结果造成一定的影响.外实际另应用中，造 1 0构 0%结构覆盖的测试集比较困难 .

S er n关系数为 1它们和软件包含的缺陷数 pama相，的相关系数为 0 8 5为强相关， .7,即根据 E度量和 P 度量来比较测试效果和简单的缺陷计数方式基本是一

4结论和进一步的研究已有的测试有效性度量没有考虑缺陷存在的上

样的，种度量方式对评估测试后软件可靠性的这帮助不大.

下文和实际运行中导致软件失效的概率，能准确不反映测试准则对软件中缺陷的测试能力 .文将测本试准则的有效性视为以规范、序、陷类型和测试程缺准则为自变量的函数，义了准则有效性的 p d度定 f量，通过实验比较了分支覆盖准

则和随机测试对不

②对随机测试，陷数与 p d度量的相关系数缺 f为 05; .7对分支覆盖测试准则，件包含的缺陷数软与 pd度量的相关性为 0 3,弱相关.这是因为 f .2为

pd度量综合考虑了缺陷导致失效的概率和被相对 f于测试准则充分的测试检测到的概率，能反映经更

同程序中缺陷的检测效果，证了该度量的合理性 .验要提高测试的有效性，以通过更严格的测试准则可

测试后对软件可靠性的置信程度 .③对于分支覆盖准则，难计算其对应的 P度很量和 E度量， p d度量则更易于获得 .而 f ( )与其他实验 l3比： 3 2 -相 J ①我们度量的是满足最小分支覆盖准则的测试集和相同大小的随机测试集的测试效力 .小覆最

或者软件易测性设计 .来的工作包括对更多的测未试准则进行度量，为软件易测性分析，改进软件设计和软件质量作指导 . ’

参考文献[] EJW eu e.C nw auesf r et gefcvn s? 1 y kr a emesr ot et i f t ees wa sn ei[ .I:Po fte1tlt1Sf r tc S mp s m. C] n rco h s n’ ot eMer s y oi wa i uLo a t s CA:I s Almio, EEE mp t r o i t e,1 9 Co u e ce y Pr s S 9 3.1 0— 017 0

盖消除了因为覆盖水平小于 1 0 0%时的模糊性和超

过 10 0%后冗余测试用例带来的测试效力上的变化，少了不确定因素造成的度量结果的歧义 .减 ② Huc is实验与我们采用相同的测试程 thn的序和准则，其将测试有效性视为缺陷类型和测试准则的函数，结果有 4 2个缺陷根据其度量结果不能判定分支测试和随机测试效果的优劣.们将测试准我则的有效性视以规范、程序、陷类型和测试准则为缺自变量的函数，具体程序的上下文中考虑测试的在

[] PG rn l a onn o ute mpr a s de fts 2 Fa k,0 Iku ek .F rhre icl t i 0 et i u s efcvns c] n rco h t I S T’ 8 S

一 f t ees[ .I:Po fte6h SG OF 9/F E6. eiNe Yo k:ACM e .1 9 w r Pr s 9 8.1 3 6 5—1 2

[] M thn,H F se,e a . pr ns nte f cvns 3 Hueis otr l 1 Exe meto h f t ee i ee i o aalw a d cnrlo—ae etaeu c rei C] fdtf—n otof w bsd ts dqay ci r o l t a[ .I n:Pr c o h 6 h l t 1 n n S fwa e En i e r g.Ne o ft e 1 t n’ o C fo t r g n e n o i w Yo k:I r EEE Pr s,1 9 e 9 4.1 -2 0 9l 0

维普资讯

4

5

6

7

赵

亮等：件测试准则的有效性度量研究软P G Fr n 1 a k .S N W e s . An e p r e t lc mp r o f h i s x e i n a o m a i n o t e s

16 43

ef t e eso rn h ts n n aaf w ts n J .I E f ci n s f ac e t g a d d t l e t g[] EE e v b i o iTrn nS fwaeEn ie r g,1 9 a so o t r gn ei n 9 3,1 ( ):7 4— 8 98 7 77D Rih rs n, J c ad o M C Th mp o o s n. An n lss f et aa a ayi o ts d t

sl t nc i r s g te rl d lo a l d tci[] e ci r ei ui h ea mo e ffut eet n J . e o t a n y oI EEE a so ot r gn eig,1 9 Trn nS fwa eEn ie rn 9 3,1 ( 9 6):5 3 53 3 5A f t,J H Ha es.A e nt d lo po r m a l JOfu t yr sma i mo e f r g a fut c s

[ .I: P o f t e I t1S mp o f r e t g a d C] n rc o h n’ y n S t e T s n n o wa iAn l s .Ne Yo k:ACM es,1 9 ay i s w r Pr s 9 6.1 5 2 0 9— 0

Ar tt eerh Gru[] t: www.C gt h eu

iol R aac o p OL .ht/ s e p/ C .ae .d/ ca i ol T o/ ot hml 0 3 r t t/ o l d s . t,2 0 s e s

Zh o Li g,b n i 1 71. Ph a an or n 9 D a di t c n da ei h p rm e t o n t e De a t n fCom p e ce e a d utr S inc n Te h lgy,Tsn hu nie st c noo i g a U v riy.H i m an s i rs a c i e e t i ld s t ae t tn ee r h nt rs s ncu e ofw r e ig s

a d s fwa e t sa i t n l i. n t r e t b l y a ayss o i

e i e i g,d t b s t ngne rn a a a e ec.

赵亮， 9 1年生，士研究生，要研究方向为软件测试、 17博主软件易测性分析 .

孙家广，9 6年生，授，士生导师，国工程院院士， 14教博中主要研究方向为 C D、件工程、据库 . A软数

Re e c c r u s ar h Ba kg o nd

Efe tv e tn a ep f rs fw a eq l y as r n e.How o i ia et fe tv n s ft s rtrai n i p tntp o e fci e ts ig c n h l o t r uai s u a c o t t ndc t hee fc ie e o e tc ie i sa m ora r blmo t r n i e rn o f rs fwa e e g n e ig c m m u t Ex sig c ie i S efctv ne a u e pa s a lm ie ol n s fwa e q aiy a ur n e I o niy. itn rt ra’ fe i e s me s r ly i td r e i t r u lt s a c . n o

t i p p r o tnilfi r i a c pd i p o sd a f cie e n iain o at ua e tci r n a d s f r ar hs a e,p e t al eds n e( f ) s r p e sef t n s idc t fp ri lrts r ei n t ep i.Ou a u t o e v o c t o o wa re pe i e e u t h w h tt w e s ec n gv

o p e n i ev e ofe fc ie e sm e s r x rm ntr s ls s o t a hene m a ur a ie ac m r he sv iw fe tv n a u e,whih f cl isc mpai n o s c a ite o i rs f o

t tng e fci e e n a c e e o r m u lt s e i fe tv n s a d h sa hiv d pr g a q a iy.Ourwo k i u o re h to lHi— c s a c n v lp e t r ss pp td by t e Na ina gh Te h Re e rh a d De eo m n

P a fC iau d rga tNo 2 0 AA4 3 4 n h t n l s se rh P o rm fChn ( 7 o rm )u d rg a tNo lno hn n e rn 0 3 Z 0 0 a d te Nai a Bai Re ac rg a o ia 9 3 Prga o c n e rn 2 2CB3】 00. 00 20

本文来源：https://www.bwwdw.com/article/yjq4.html