语音信号处理大纲

27483语音信号处理大纲

南京理工大学编 （高纲号 0553）

Ⅰ、课程性质与设置目的要求

“语音与图象信号处理”是江苏省高等教育自学考试电子工程专业的必修课，是为了培养和检验自学应考者信号处理的基本知识和基本技能而设置的一门专业课程，本课程分为两大部分，第一部分是语音信号处理，第二部分是数字图象处理。

语音信号处理是一门比较实用的电子工程的专业课程，语音是人类获取信息的重要来源和利用信息的重要手段。通过语言相互传递信息是人类最重要的基本功能之一。语言是人类特有的功能，它是创造和记载几千年人类文明史的根本手段，没有语言就没有今天的人类文明。语音是语言的声学表现，是相互传递信息的最重要的手段，是人类最重要、最有效、最常用和最方便的交换信息的形式。语音中除包含实际发音内容的语言信息外，还包括发音者是谁及喜怒哀乐等各种信息。在人类已构成的通信系统中，语音通信方式早已成为主要的信息传递途径之一，具有最方便和最快捷的特点。语言和语音也是人类进行思维的一种依托，它与人的智力活动密切相关，与文化和社会的进步紧密相连，具有最大的信息容量和最高的智力水平。语音信号处理是研究用数字信号处理技术对语音信号进行处理的一门学科，它是一门新兴的学科，同时又是综合性的多学科领域和涉及面很广的交叉学科。

除了语音之外，图像是人类获取信息的另外一个重要来源，大约70%的信息是通过人眼获得的图像信息。图像信号是指将图像作为一种二维信号，采用数字信号处理的方法来对图像进行描述。今后为了表示方便，图像信号就称为图像。在近代科学研究、军事技术、工农业生产、气象、医学等领域中，人们越来越多地利用图像来认识和判断事物，解决实际问题。例如：人们利用人造卫星所拍摄的地面照片，来分析获取地球资源、全球气象和污染情况，利用“和平号”宇宙飞船所拍摄的月球表面照片，分析月球的形成。在医学上，通过CT断层扫描，医生可以观察和诊断人体内部是否有病变组织。在公安侦破中，采用指纹提取并处理进行破案。在军事上，目标的自动识别和自动跟踪都需要进行图像处理。

图像信号的数字处理技术，按照人们通常的习惯，也称为数字图像处理技术，是指用计算机对图像进行处理。它建立在以计算机为中心的包括各种输入、输出及显示设备在内的数字图像处理系统上进行的。有时，结合数字语音处理系统，构成多媒体处理系统。 设置本课程的目的要求

使自学应考者能够掌握与人类密切相关的两种信息：语音信号和图象信号的基本概念和基本原理，能够应用数字信号处理的基本原理和方法对语音信号和图象信号进行各种处理，如：语音信号数字模型的建立，语音信号的分析、合成、识别、编码的基本原理的基本方法，数字图像信号的采集、表达、各种变换方法和图象信号的编码压缩等。同时能够对语音信号和图象信号处理的最新研究成果与发展趋势有所了解，以适应现代社会对信息处理越来越高的要求。 Ⅱ、考试目标（考核知识点，考核要点） 第一部分 语音信号处理 第一章 绪论

一、考核知识点

（一）语音信号处理的基本概念 （二）语音信号处理的发展概况 二、考核要点

（一）语音信号处理的基本概念

1.识记：（1）语音信号对人类的重要性。通过语音传递信息是人类最重要的基本功能之一。语言是人类特有的功能，它是记载和创造几千年人类文明的基本手段，没有语言就没有今天的人类文明。（2）语音信号处理的应用领域。

（二）语音信号处理的发展概况

1.识记：（1）语音信号处理的发展历史。

（2）语音编码、语音合成、语音识别的基本概论。语音编码技术是伴随着语音的数字化而产生的，目前主要应用在数字语音通信领域。语音合成的目的是使计算机能象人一样说话，而语音识别使能够听懂人说的话。

第二章 语音信号处理的基本知识 一、考核知识点 （一）语音产生的过程 （二）语音信号的特性 （三）语音信号产生的数字模型 （四）人耳的听觉特性 二、考核要求

（一）语音产生的过程

1.识记：声音是一种波，能被人耳听到，振动频率为20-20000Hz之间。自然界中包含各种各样的声音，而语音是声音的一种，它是由人的发音器官发出的，具有一定语法和意义的声音。

2.领会：（1）语音产生的过程与人类发声的基本原理。（2）清音、浊音、共振峰的基本概念。语音由声带震动或不经声带震动产生，其中由声带震动产生的音统称为浊音，而不由声带震动而产生的音统称为清音。声道是一个分布参数系统，它是一个谐振腔，有许多谐振频率，称为共振峰，它是声道的重要声学特征。

（二）语音信号的特性

1.识记：（1）语音的物理性质，包括音质、音调、响度、音长等特性。语音是人的发音器官发出的一种声波，具有声音的物理属性。基中音质是一种声音区别于其它声音的基本特征。音调就是声音的高低，

取决于声波的频率：频率高则音调高，频率低则音调低。响度就是声音的强弱，又称音量。它是由声波振动幅度决定的。声音变的长短也称音长，它取决于发音持续时间的长短。

（2）音素、音节、单词、句子的基本概念以及它们之间的关系。音素是语音的最小、最基本的组成单位，音素都有其独立的各不相同的发音方法和发音部位，它是使听者能区别一个单词和另一个单词的声音的基础。音节是最小的语言片段，一个音节由一个或几个音素组成。单词是由音节结合而成的更大单位，是有意义的语言的最小单位。句子是单词的进一步组合。 （3）语音信号的统计特性。

2.领会：语音的时间波形和频谱特性，特别是清音和浊音的频谱特性、共振峰特性，二者之间的区别。 （三）语音信号间生的数字模型

1.识记：（1）语音信号被看成是线性时不变系统（声道）在随机噪声或准调周期脉冲序列激励下的输出。在满足这样的假设条件下，产生了语音信号的基本数字模型，是语音处理技术的基础。 （2）语音信号产生的数字模型的框图结构。

2.领会：语音信号数字模型各部分的组成依据和数学描述，包括激励模型、声道模型（声管模型和共振峰模型）和辐射模型。 （四）人耳的听觉特性

1.识记：（1）声音的三要素：响度、音调和音色的基本概念。人的听觉系统具有复杂的特性，没有哪一种物理仪器具有人耳那样的特性。听觉机构不但是一个非常灵敏的声音接收器，还具有选择性，此外还有判别声音的强弱、音调和音色的本领。响度是人耳对声音的强弱程度的主管反映，响度取决于声音的幅度，主要是声压的函数，但和频率和波形也有关，人耳对3000～4000Hz的声音感觉最灵敏。音调也称音高，是一种主观心理量，是人耳对声音频率高低的感受。音色也叫音质，反映了声音属性。人根据音色在主观感觉上区别具有相同响度和音调的两个声音。 （2）听觉“掩蔽效应”的基本概念与应用。 第三章 语音信号的时域分析 一、考核知识点

（一）语音信号的数字化和预处理 （二）短时能量分析 （三）短时过零分析 （四）短时相关分析 二、考核要求

（一）语音信号的数字化和预处理

1.识记：（1）取样和量化的基本概念。为了将原始的模拟语音信号变成数字信号，必须经过取样和量化两个步骤，从而得到在时间和幅度上均为离散的数字语音信号。取样是将时间上连续的语音信号离散化

为一个样本序列。根据取样定理，当取样频率大于信号的两倍带宽时，取样过程不会丢失信息，且从取样信号中可以精确地重构原始信号的波形。量化是指将取样后得到的样本序列的幅度再离散化，量化过程是将整个幅度值分割为有限个区间，将落入同一区间的样本赋予相同的幅度值。

（2）抗混迭滤波器的作用。它是一个具有良好截止特性的模拟低通滤波器，主要是为了防止混迭失真和噪声干扰。

（3）短时分析技术的基本概念。语音信号是一种随时间而变化的信号，可能是浊音激励也可能是清音激励，浊音的基音周期以及信号幅度等语音牧场生也都随时间变化，但这种变化是缓慢的，在一小段短时间内10～30ms，语音信号近似不变。于是，我们把变化的语音信号分成一些相继的短时间段来处理。而每一段时间段具有固定的特性，这种方法称为“短时”处理方法。 2.领会：（1）取样率和量化字长的选取原则，理论依据。 （二）短时能量分析

1.识记：语音信号的能量分析是基于语音号能量随时间有相当大的变化，特别是清音段的能量一般比浊音段的小得多。能量分析包括能量和幅度两个方面。

2.领会：（1）直角窗与海明窗的频率特性。海明窗的带宽大约是同等宽度矩形窗小得多，而且通带与阻带的起伏比较小。

（2）窗口长度的选取原则。N选择太大，则短时能量En随时间变化就很小，不能充分反映语音信号的幅度变化；而N选择得小，即选择N等于或小于一个基音周期时，En将按照信号波形的细微变化而起伏不定，以致短时能量En不够匀化和平滑。因此，折衷考虑N的值，在通常情况下，当取样频率为10kHz，N=100～200被认为是合适的。

（3）短时平均能量的主要用途。根据短时能量函数可以大致区分浊音和清音，在高信噪化情况下，利用短时能量函数En也可区分有声和无声。 3.应用：（1）短时平均能量的计算方法。 （2）利用短时能量来区分清/浊音。 （三）短时过零分析

1.识记：过零分析与平均过零率的基本概念。对于离散时间信号的相邻两个取样值具有不同符号时，便出现“过零”现象。单位时间过零的次数叫做“过零率”。对于窄带信号系统，过零率可以比较准确地反映该信号的频率。在宽带信号情况下，过零率只能粗略反映信号的频谱特性。 2.领会：过零分析的用途。

3.应用：（1）短时平均过零数的计算方法。 （2）利用短时平均过零数来区分清/浊音。 （四）短时相关分析

1.识记：（1）短时自相关函数的物理意义，性质。对于浊音语音来说，短时自相关函数具有明显的峰值且呈周期分布，而对于清音来说，则没有很强的自相关周期峰，其性质类似于噪声。

（2）短时平均幅度函数的作用。

2.应用：（1）短时自相关函数的计算方法，实现框图。 （2）修正的短时自相关函数的计算方法。 （3）利用短时自相关函数区分清/浊音。 （4）短时平均幅度差函数的计算方法。 第四章 语音信号的短时傅里叶分析 一、考核知识点

（一）傅里叶分析在信号分析与处理中的地位与作用 （二）短时傅里叶变换的定义与物理意义 （三）短时傅里叶变换的取样率 （四）语音信号的短时综合 二、考核要点

（一）傅里叶分析在信号分析与处理中的地位与作用

1.识记：傅里叶分析的重要性，短时傅里叶分析的基本概念。在语音信号处理中，傅里叶表示在传统上，一直起主要作用。其原因一方面在于稳态语音的产生模型由线性系统组成，此系统被一随时间作周期变化或随机变化的源所激励，因而系统输出频谱具有非常明显的语言声学意义，可以获得某些重要的语音特征。同时，语音的感知过程与人类听觉系统具有频谱分析功能是紧密相关的。 （二）短时傅里叶变换的定义与物理意义

1.识记：（1）短时傅里叶分析的重要性。短时傅里叶分析是分析缓慢时变频谱的一种简便方法，是用稳态分析方法处理非稳态信号的一种方法，在语音处理中是一个非常重要的工具。 （2）短时傅里叶变换的定义。

2.领会：（1）标准傅里叶变换的解释。（2）窗口序列的特性，理论分析。（3）海明窗与直角窗对浊音语音的频谱分析对比。（4）短时傅里叶变换的滤波器的解释，滤波器框图的组成。 （三）短时傅里叶变换的取样率

1.识记：（1）时域取样率的基本概念。（2）频域取样率的基本概念。（3）总取样率的基本概念。 2.领会：理解分析加窗与不加窗时总取样率的区别。 （四）语音信号的短时综合

1.领会：由复频域表达恢复复时域波形的几种方法，包括滤器组成求和法的基本原理与实现框图，数学证明，快速傅里叶变换求和法的基本原理，两者的关系。 第五章 语音信号的同态滤波及倒谱分析

一、考核知识点

（一）卷积与解卷的基本概念 （二）同态信号处理的基本原理 （三）复倒谱和倒谱的基本概念

（四）语音信号两个卷积分量复倒谱的性质 （五）避免相位卷绕的几种算法 二、考核要求

（一）卷积与解卷积的基本概念

1.识记：（1）根据语音信号的产生模型，可以将其用一个线性非时变系统的输出表示，即看作是声门激励信号和声道冲激响应的卷积。

（2）为了分离加性组合信号，常采用线性滤波方法。而为了分离非加性信号（如乘积性或卷积性组合）信号，常采用同态滤波技术。 （二）同态信号处理的基本原理

1.识记：同态信号处理的基本概念与作用。同态信号处理的作用就是将非线性问题转化为线性问题来处理。根据实现原理分为乘积同态处理和卷积同态处理。

2.领会：同态信号处理的基本实现方法，实现框图，数字证明。 （三）复倒谱和倒谱

1.识记：复倒谱与倒谱的基本概念，定义。 （四）语音信号两个卷积分量复倒谱的性质

1.识记：（1）一个周期冲激的有限长度序列，其复倒谱也是一个周期冲激序列，而且长度Np不变，只是序列变为无限长度序列。同时其振幅随着K值的增大南昌衰减。 （2）声道冲激响应序列复倒谱的性质。 2.领会：（1）声门激励的数学描述。

（2）声道冲激响度序列的零标点模型描述，各个零标点结系统响应的影响。 （五）避免相位卷绕的几种算法

1.领会：（1）从傅里叶变换的角度说明相位卷绕产生的原因。 （2）利用微分法消除相位卷绕的数学描述和实现框图。 （3）利用最小相位法求信号复倒谱的原理实现。 （4）利用递推法求信号复倒谱的基本方法及其局限性。

第六章 语音信号的线性预测分析 一、考核知识点

（一）线性预测分析的基本概念 （二）线性预测分析的基本原理 （三）线性预测方程组的建立

（四）利用自相关法求解线性预测方程组 （五）利用协方差法求解线性预测方程组 （六）利用格型法求解线性预测方程组 （七）LPC谱估计和LPC复倒谱 （八）线谱对分析原理与参数求解 （九）极零模型 二、考核要点

（一）线性预测分析的基本概念

1.识记：线性预测分析包含的基本概念是，一个语音的抽样能够用过去若干个语音抽样的线性组合来逼近。通过使实际语音抽样和线性预测抽样之间差值的平方和（在一个有限间隔上）达到最小值，即进行最小均方误差的逼近，能够决定唯一的一组预测系数。 （二）线性预测分析的基本原理

1.识记：采用全极点模型分析语音信号的理论依据。全极点模型最易于计算，对全极点模型作参数估计是对线性方程组的求解过程；有时无法知道输入序列；人的听觉对于那种只能用零点来表示的频谱陡峭谷点是迟钝的；如果不考虑鼻音和摩擦音，那么语音的声道传递函数就是一个全极点模型。 2.领会：线性预测分析的物理意义与优越性。 （三）线性预测方程组的建立 1.识记：最小均方误差准则。

2.领会：线性预测方程组的建立，根据线性预测器和最小均方误差准则则能够最终得到线性预测方程组，并进行简化。

3.应用：线性预测方程组的数学推导。 （四）利用自相关法求解线性预测方程组 1.识记：自相关函数的定义，性质。

2.领会：自相关法求解线性预测方程组的矩阵形式。 3.应用：自相关法矩阵方程组的具体求解过程。

（五）利用协方差法求解线性预测方程组

1.识记：（1）协方差法与自相关法的不同之处在于这种方法无需对语音信号加窗，即不规定信号的长度范围，它可使信号的N个样点上误关最小，即把计算均方误差的间隔固定下来。

（2）自相关与协方差法二者的优缺点比较2.领会：协方差法的线性预测方程组矩阵表示，图解表示。 （六）利用格型法求解线性预测方程组

1.识记：（1）格型法的基本原理。（2）格型法分析滤波器结构。（3）格型滤波器的优点。 2.领会：（1）格型法求解的基本方法，包括正向格型法、反向格型法、几何平均格型法、伯格法、协方差格型法。

（七）LPC谱估计和LPC复倒谱

1.识记：（1）线性预测分析的阶数p的选取原则，首先要保证有足够的极点来模拟声道响应的谐振结构，但p值达到12～14后，若进一步增加则误差改善很小。

（2）在线性预测分析中，分析帧长度N同样重要，N尽可能小有好处，在LPC线性方程组求解中，计算量都与N成正比。但谱估计的精度随着N的增加而提高。通常取N为2～3个基音周期长度。 （3）复倒谱的计算方法，复倒谱分析的优点。 （八）线谱对分析原理与参数求解 1.识记：（1）线谱对分析的优点。

（2）线谱对分析的基本原理（3）线谱对参数求解的基本方法。 （九）极零模型

1.识记：将极零模型转变为全极点模型的基本方法。 第七章 语音信号的矢量量化 一、考核知识点 （一）矢量量化概述 （二）矢量量化的基本原理 （三）失真测度

（四）最佳矢量量化器和码本的设计 二、考核要求 （一）矢量量化概述

1.识记：（1）矢量量化的理论依据与优越性。根据仙农信息论可以得出，矢量理化总是优于标题量化，且矢量维数越大性能越优越。因为矢量量化有效利用了矢量中各分量间的各种相互关联的性质。采用矢量理化技术对信号波形数据进行压缩，可以获得非常高的压缩比。

（2）矢量量化的基本概念。矢量量化是将若干个取样信号分成一组，即构成一个乔量，然后对此矢量一次进行量化，即作为一个整体进行量化。 （二）矢量量化的基本原理

1.识记：（1）矢量量化的过程。将语音信号波形的K个样点的每帧，或有K个参数的每一帧参数，构成K维空间中的一个矢量，然后对这个矢量进行量化。 （2）矢量量化的实现原理框图。 （三）失真测度

1.识记：（1）失真测度必须具备的几个特性。必须在主观评价上有意义；必须是易于处理的；平均失真存在且可计算；易于硬件实现。

（2）欧式距离—均方误差的基本概念。 （四）最佳矢量量化器和码本的设计

1.识记：（1）矢量量化器最佳设计的两个条件。最佳划分和最佳码书。 （2）初始码书的生成方法。随机选取法、分裂法和乘积码书法 第九章 语音检测分析 一、考核知识点 （一）基音检测 （二）共振峰估值 二、考核要点 （一）基音检测

1.识记：（1）基音检测的重要性与难点。基音的提取和估计是语音信号处理中十分重要的一个问题，准确地检测语音信号的基音周期对于高质量的语音分析与合成、语音压缩编码、语音识别和说话人确认等具有重要意义。在低速率语音编码中，准确的基音检测是非常关键的，它直接影响到整个系统的性能。 （2）基音检测的三种方法：波形估计法、相关处理法和变换法。 （3）并行处理法的基本原理与实现框图。 2.领会：（1）中心削波法的基本原是与实现图。 （2）利用倒谱法提取基音的基本原理与实现方法。

（3）利用简化逆滤波器法进行基音检测的基本原理与实现方法。 （二）共振峰估值

1.识记：（1）共振峰估计中存在的问题。

（2）带通滤波器组法提取共振峰特性的基本原理。

第十章 语音编码（一）——波形编码 一、考核知识点

（一）语音编码的目的与应用前景 （二）语音信号的压缩编码原理

（三）脉冲编码的调制（PCM）及其自适应 （四）预测编码及自适应预测编码原理

（五）自适应差分脉冲编码调制及自适应增量调制 （六）子带编码 （七）自适应变换编码 二、考核要求

（一）语音编码的目的与应用前景

1.识记：（1）话音编码的目的是在保持可以接受的失真的情况下采用尽可能少的比特数表示语音。 2.语音信号数字传输的应用前景。 （二）语音信号的压缩编码原理

1.识记：（1）语音压缩的必要性。语音编码的目的是在保持可以接受的失真情况下，采用尽可能少的比特数表示语音。如果对语音直接数字化，则传输或存储语音的数据量太大。为了降低传输或存储的费用，必须对其压缩。

（2）语音压缩的基本依据及理论分析。 （3）语音通信质量的分类。

（4）波形编码与声码器的性能比较。 （三）脉冲编码调制及其自适应

1.识记：（1）PCM的基本原理。（2）均匀PCM中，信噪比与量化比特数的关系。（3）非均匀PCM的基本思想。（4）U律与A律的压扩特性。 2.领会：自适应PCM的基本原理与实现框图。 （四）预测编码及其自适应APC

1.识记：（1）预测编码的基本概念。（2）短时预测与长时预测的基本概念。 （五）自适应差分脉冲编码调制（ADPCM）及自适应增量调制（ADM） 1.识记：（1）DPCM的基本原理与实现框图。 （2）ADPCM的实现原理。

本文来源：https://www.bwwdw.com/article/sb87.html