如何剔除测量中的异常数据

实验数据中总有那些数据比较异常,但是又不能随意删除,又不想放入数据中应用,这篇论文利用DPS剔除测量数据中的异常值。

误差与数据处理　

利用DPS剔除测量数据中的异常值

周中汉　王汉江　李　梅　郭定和

(湖北大学物理学与电子技术学院,武汉430062)

摘　要　本文简述判别测量值异常的三种统计学方法,并结合实例介绍如何利用DPS软件发现及剔除实验数据中异常值,该方法简单、直观、快捷,适合学生用于物理实验的数据处理和分析。

关键词　DPS;测量数据;异常值剔除

0　引言

在科学实验中,由于外界条件的改变和主观因

素的影响,实验测量的数据中个别数据往往会产生较大误差,即出现异常值。这些异常值的存在往往会掩盖研究对象的变化规律,因此,精度。

仔细检查和分析原始数据的记录、操作方法、实验条件等过程,找出异常值出现的原因并将相应值剔除,此方法称为物理方法;如果上述方法无法作出判断,就应采用统计学方法,即给定一个显著水平,即发生概率,一般为1%或5%,并确定一个相应的置信限,凡超出该误差范围的测量值都是小概率事件,造成该误差的值就为异常值,应予以剔除。

用计算机剔除实验数据异常值的方法有关文献[1-3]作了报道。本文将结合实例给出一种“傻瓜式”的新方法,该方法更加简单、快键,

1.拉依达准则法（3δ）：简单，无需查表。测量次数较多或要求不高时用。是

最常用的异常值判定与剔除准则。但当测量次数《=10次时，该准则失效。

如果实验数据值的总体x是服从正态分布的，则

式中，μ与σ分别表示正态总体的数学期望和标准差。此时，在实验数据值中出现大于μ＋3σ或小于μ—3σ数据值的概率是很小的。因此，根据上式对于大于μ＋3σ或小于μ—3σ的实验数据值作为异常值，予以剔除。

在这种情况下，异常值是指一组测定值中与平均值的偏差超过两倍标准差的测定值。与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。在处理数据时，应剔除高度异常的异常值。异常值是否剔除，视具体情况而定。在统计检验时，指定为检出异常值的显著性水平α=0.05，称为检出水平；指定为检出高度异常的异常值的显著性水平α=0.01，称为舍弃水平，又称剔除水平(reject level)。

标准化数值（Z-score）可用来帮助识别异常值。Z分数标准化后的数据服从正态分布。因此，应用Z分数可识别异常值。我们建议将Z分数低于-3或高于3的数据看成是异常值。这些数据的准确性要复查，以决定它是否属于该数据集。

2.肖维勒准则法（Chauvenet）：经典方法，改善了拉依达准

6级5级异常数据核心基地

初始怪 1430 30 长明监狱长 第一波 1988 78 长明监狱长 第二波 3084 60 长明看护者 第三波 1580 96 核心堡垒

初始怪 2054 63 新生看护者 第一波 2944 48 苏醒的典狱官 第二波 3518 162 长明守卫 第三波 3252 144 明镜

初始怪 3334 54 第一波 3406 132 第二波 3168 84 奇怪的能源读数

初始怪 1742 39 第一波 2406 144 第二波 3366 78 核心兵站

初始怪 802 0 第一波 1542 72 第二波 1920 72 第三波 1402 33 核心要塞

初始怪 692 0 第一波 1928 24 第二波 756 18 第三波 2718 24 傲怒子欧

6级5级异常数据核心基地

初始怪 1430 30 长明监狱长 第一波 1988 78 长明监狱长 第二波 3084 60 长明看护者 第三波 1580 96 核心堡垒

初始怪 2054 63 新生看护者 第一波 2944 48 苏醒的典狱官 第二波 3518 162 长明守卫 第三波 3252 144 明镜

初始怪 3334 54 第一波 3406 132 第二波 3168 84 奇怪的能源读数

初始怪 1742 39 第一波 2406 144 第二波 3366 78 核心兵站

初始怪 802 0 第一波 1542 72 第二波 1920 72 第三波 1402 33 核心要塞

初始怪 692 0 第一波 1928 24 第二波 756 18 第三波 2718 24 傲怒子欧

拉依达准则法,肖维勒准则法,狄克逊准则法,罗马诺夫斯基(t检验)准则法,格拉布斯准则法(Grubbs)各类剔除异常值方法的比较。

1.拉依达准则法（3δ）：简单，无需查表。测量次数较多或要求不高时用。是最常用的异常值判定与剔除准则。但当测量次数《=10次时，该准则失效。

如果实验数据值的总体x是服从正态分布的，则

式中，μ与σ分别表示正态总体的数学期望和标准差。此时，在实验数据值中出现大于μ＋3σ或小于μ—3σ数据值的概率是很小的。因此，根据上式对于大于μ＋3σ或小于μ—3σ的实验数据值作为异常值，予以剔除。

在这种情况下，异常值是指一组测定值中与平均值的偏差超过两倍标准差的测定值。与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。在处理数据时，应剔除高度异常的异常值。异常值是否剔除，视具体情况而定。在统计检验时，指定为检出异常值的显著性水平α=0.05，称为检出水平；指定为检出高度异常的异常值的显著性水平α=0.01，称为舍弃水平，又称剔除水平(reject level)。

标准化数值（Z-score）可用来帮助识别异常值。Z分数标准化后的数据服从正态分布。因此，应用Z分数可识别异常值。我们建议将Z分数低于-3或高于3的数据看成是异常值。这

题目：数据的预处理问题

摘要

数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响着人类社会发展的进程。数据补充，异常数据的鉴别及修正，在各个领域也起到了重要作用。 对于第一问，我们采用了多元线性回归的方法对缺失数据进行补充，我们将1960-2015.xls（见附表一）中的数据导入matlab。首先作出散点图，设定y(X59287)与x1(X54511)、x2(X57494)的关系为二元线性回归模型，即y=b0+b1x1+b2x2。之后作多元回归，求出系数b0=18.014，b1=0.051，b2=0.354，所以多元线性回归多项式为:Y=18.014+0.051*x1+0.354*x2。再作出残差分析图验证拟合效果，残差较小，说明回归多项式与源数据吻合得较好。若x1=30.4，x2=28.6时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=29.6888。类似地，若x1=40.6,x2=30.4时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=30.8462，即可补充缺失数据。 对于第二问，我们使用了异常值检验中标准差未知的t检验法。将除可疑测定值xd以外的其余测定值当做一个

012. 数据预处理（1）——剔除异常值及平滑处理

测量数据在其采集与传输过程中，由于环境干扰或人为因素有可能造成个别数据不切合实际或丢失，这种数据称为异常值。为了恢复数据的客观真实性以便将来得到更好的分析结果，有必要先对原始数据（1）剔除异常值；

另外，无论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上“噪声”干扰（反映在曲线图形上就是一些“毛刺和尖峰”）。为了提高数据的质量，必须对数据进行（2）平滑处理（去噪声干扰）；

（一）剔除异常值。

注：若是有空缺值，或导入Matlab数据显示为“NaN”（非数），需要①忽略整条空缺值数据，或者②填上空缺值。

填空缺值的方法，通常有两种：A. 使用样本平均值填充；B. 使用判定树或贝叶斯分类等方法推导最可能的值填充（略）。

一、基本思想：

规定一个置信水平，确定一个置信限度，凡是超过该限度的误差，就认为它是异常值，从而予以剔除。

二、常用方法：拉依达方法、肖维勒方法、一阶差分法。

注意：这些方法都是假设数据依正态分布为前提的。

1. 拉依达方法（非等置信概率）

如果某测量值与平均值之差大于标准偏差的三倍，则予以剔除。

xi?x?3Sx

其中，x?差。

?112S?(x?x)为样

光电效应以及普朗克常数的测量实验数据分析

自化136 张鹏（1307010613） 一.求各波长光的截止电压。

1.波长为546的对应截止电压：

电压 无光暗电流/*10^-10 波长546暗电流/*10^-10

-2 -1.8 -1.6 -1.4 -1.2 -1 -0.8 -0.6 -0.4 -0.2 0 -18 -132.4 -115.2 -98.3 -81.9 -65.6 -49.4 -34 -2.2 13.4 29.1 29 -127.7 -110.7 -94.6 -78.7 -62.8 -47.2 -31.7 -16.3 -1.3 14

交点：（0.0285716 , 26.8571）

2.波长为405的对应截止电压：

电压 -2 -1.8 -1.6 -1.4 -1.2 -1 -0.8 -0.6 -0.4 -0.2 0 无光暗电流-132.4 -115.2 -98.3 -81.9 -65.6 -49.4 -34 -18 -2.2 13.4 29.1 /*10^-10 波长405暗电流-130 -110.6 -94.4 -78.5 -62.7 -47.1 -31.8 -16

无机材料的介电常数及磁导率的测定

一、实验目的

1. 掌握无机材料介电常数及磁导率的测试原理及测试方法。 2. 学会使用Agilent4991A射频阻抗分析仪的各种功能及操作方法。 3. 分析影响介电常数和磁导率的的因素。

二、实验原理

1.介电性能

介电材料（又称电介质）是一类具有电极化能力的功能材料，它是以正负电荷重心不重合的电极化方式来传递和储存电的作用。极化指在外加电场作用下，构成电介质材料的内部微观粒子，如原子，离子和分子这些微观粒子的正负电荷中心发生分离，并沿着外部电场的方向在一定的范围内做短距离移动，从而形成偶极子的过程。极化现象和频率密切相关，在特定的的频率范围主要有四种极化机制：电子极化 (electronic polarization，1015Hz)，离子极化 (ionic polarization，1012～1013Hz)，转向极化 (orientation polarization，1011～1012Hz)和空间电荷极化 (space charge polarization，103Hz)。这些极化的基本形式又分为位移极化和松弛极化，位移极化是弹性的，不需要消耗时间，也无能量消耗，如电子位移极化和离子位移极化。而松弛极

基于摆动式单波束微地形探测的高程异常值剔除算法研究

第23卷 第7期 2009年7月

电子测量与仪器学报 Vol. 23 No. 7

· 17 ·

JOURNAL OF ELECTRONIC MEASUREMENT AND INSTRUMENT

基于摆动式单波束微地形探测的高程异常

值剔除算法研究*

罗柏文1 夏毅敏2 卜英勇2 周知进1

(1. 湖南科技大学机电工程学院, 湘潭 411201; 2. 中南大学机电工程学院, 长沙 410083)

摘 要: 针对摆动式单波束探测水下微地形出现的高程异常值, 提出一种剔除异常值的新算法。首先根据摆动式单波束的探测原理以及与多波束探测的等价性采用数据加窗法, 其中Z方向窗口尺寸通过3 准则确定, X、Y方向窗口尺寸依据地形变化坡度小于45o的经验准则。然后利用反射回波与散射回波在能量上的差异确定起始加窗点; 加窗点采用实测点, 并要求起始加窗点尽可能靠近一条测线上实测点的高程均值。在摆动式单波束探测装置探测随机微地形中, 其结果表明该算法能成功剔除高程异常值。

关键词: 单波束；微地形；高程异常值；加窗；能量

中图分类号: TB559 文献标识码: A 国家标准学科分类代码: 42