数据量单位换算

海量数据处理之Bloom Filter详解

2011-08-14 13:192510人阅读评论(0)收藏举报

海量数据处理之Bloom Filter详解

前言

本博客内曾已经整理过十道海量数据处理面试题与十个方法大总结。接下来，本博客内会重点分析那些海量数据处理的方法，并重写十道海量数据处理的面试题。如果有任何问题，欢迎不吝指正。谢谢。

一、什么是Bloom Filter

Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，Bloom Filter不适合那些“零错误”的应用场合。而在能容忍低错误率的应用场合下，Bloom Filter通过极少的错误换取了存储空间的极大节省。

有人可能想知道它的中文叫法，倒是有被译作称布隆过滤器。该不该译，译的是否恰当，由诸君品之。下文之中，如果有诸多公式不慎理解，也无碍，只作稍稍了解即可。

1.1、集合表示和元素查询

下面我们具体来看Bloom Filter是如何用

单位换算——匹与千瓦、焦耳与卡之间换算。

1匹等于1马力，单位为HP；1匹=0.735KW

电机一般是以马力为单位的，

1HP（0.75KW) 1.5HP（1.1KW) 2HP（1.5KW) 3HP（2.2KW) 5HP（3.7KW) 7.5HP（5.5KW) 10HP（7.5KW) 15HP（11KW) 20HP（15.KW) 25HP（18.5KW) 30HP（22KW) 40HP（30KW) 50HP（37KW) 75HP（55KW) 100HP（75KW)

空调等制冷设备及变频器也是按以上的规格生产的！ 国外用匹分析：horsepower（hp 马力）：功率的常用单位，它是工程技术上常用的一种计量功率的单位。是指米制马力而不是英制马力，英国、美国等一些国家采用的是英制马力。1英制马力等于550英尺·磅/秒，等于745.7瓦特。在18世纪后期，英国物理学家瓦特（1736—1819）为了测定新制造出来的蒸汽机的功率，他把马力的定义规定为在1分钟内把1000磅的重物升高33英尺的功，这就是英制马力，用字母HP表示。指的是米制的马力，它的规定完全是人为的，它取了一个非常接近英制马力的值。规定1米制马力是在1秒钟内完成75千克力·米的功。即

单位换算——匹与千瓦、焦耳与卡之间换算。

1匹等于1马力，单位为HP；1匹=0.735KW

电机一般是以马力为单位的，

1HP（0.75KW) 1.5HP（1.1KW) 2HP（1.5KW) 3HP（2.2KW) 5HP（3.7KW) 7.5HP（5.5KW) 10HP（7.5KW) 15HP（11KW) 20HP（15.KW) 25HP（18.5KW) 30HP（22KW) 40HP（30KW) 50HP（37KW) 75HP（55KW) 100HP（75KW)

空调等制冷设备及变频器也是按以上的规格生产的！ 国外用匹分析：horsepower（hp 马力）：功率的常用单位，它是工程技术上常用的一种计量功率的单位。是指米制马力而不是英制马力，英国、美国等一些国家采用的是英制马力。1英制马力等于550英尺·磅/秒，等于745.7瓦特。在18世纪后期，英国物理学家瓦特（1736—1819）为了测定新制造出来的蒸汽机的功率，他把马力的定义规定为在1分钟内把1000磅的重物升高33英尺的功，这就是英制马力，用字母HP表示。指的是米制的马力，它的规定完全是人为的，它取了一个非常接近英制马力的值。规定1米制马力是在1秒钟内完成75千克力·米的功。即

大数据时代中国数据量有多大？ 氧分子网

这是一个注定要被拍砖的问题，但是这样拍着改着也可能就真明确了。

所以无论如何，还是先抛出块砖头吧。

我们都在说大数据时代来临，信息和数据大爆炸。从2013年初开始，对于大数据爆发的焦虑感，紧迫感，不由自主地被卷入的甚至无力的感觉，驱动众多行业、企业和团体去关注和开始接触和了解大数据，自觉或不自觉的，主动或不得已地去融入这波洪流。但是，真的说到大数据，我们身边到底有多少数据量，它们都分布在哪些行业，哪些数据是目前可用的，哪些行业已经在使用数据，进入产业互联网和数据引导的变革了？

可能看到的版图依旧模糊。因此，我们怀抱很好的希望，以第一个吃螃蟹并期待来自行业的矫正和拍砖的态度，首先尝试对于国内各个领域，行业以及机构的数据拥有情况，使用情况以及未来路径做一个粗犷地调研、梳理和判断，对大数据时代我国各个领域数据资产的拥有和使用情况，也就是我们数据资产的家底做个盘点，也对各个行业、系统进军大数据，以及拥抱产业互联网的进度和未来做个简单判断。事实上，大数据之题无疑繁若星辰，然而只有在相对完整的视图下，繁星若尘，我们才可得以一窥天机。

闲话少叙，现在开始算账。

从我们手头掌握的数据来看，2013年度，中国存

位图 矢量图 计算机图像

ＧＲＡＰ秘萋

淹秘甩经营实默数据薰绘雷的快速显示

未黎黧麓嚣黧警

，？ｉ萋≤器ｉ

。繁曩Ｉ！ｉ“

簿曩擘。

ｆ。

牵目

摘要本文利用自绘位图实现大数据量计算绘图的快速显示、保存与打印，尤其对绘制灰度和伪彩色图像的显示、保存和打

印有重要意义。

关键词

自绘位图，大数据量计算绘图，显示，保存，打印，灰度图像，伪彩色图像

ｉｎｔ

ｍ』ｅｉｇｈｔ：／／位图高度

一、刖昌

在Ｖｃ＋＋编程时，对于绘制矢量图来说，只须在视类的ｏｎＤｒａｗ（）函数中编制绘图代码就能够轻松地显示，而不用编写任何打印程序就能利用Ｖｃ自带的文档一视结构中的缺省打印功能打印矢量图。这对于大多数绘制不需实时计算而且计算量不大的矢量图来说是没有问题的，但是当我们绘图时，如果所绘的图形需要实时计算，并且计算量很大，图形超过视图区，我们需要拖动滑块移动图像浏览时，问题就会显现出来了。尤其是绘制灰度和伪彩色图像，它们由于需要逐点计算各像素点的灰度值，计算量大，又由于ＶＣ自身的绘图机制的原因，拖动视图滑块时，程序又要调用ＯｎＤ残哪（）把图像重新绘制一遍，这不仅显示慢，而且打印机也不支持用ｓｅｔＰｉｘｅｌＶ（）函数写点在０ｎＤｒ洲（）函数中绘制的灰度和伪彩色图像的打印。

下面介绍一种在拖动滑块时能够快

位图 矢量图 计算机图像

ＧＲＡＰ秘萋

淹秘甩经营实默数据薰绘雷的快速显示

未黎黧麓嚣黧警

，？ｉ萋≤器ｉ

。繁曩Ｉ！ｉ“

簿曩擘。

ｆ。

牵目

摘要本文利用自绘位图实现大数据量计算绘图的快速显示、保存与打印，尤其对绘制灰度和伪彩色图像的显示、保存和打

印有重要意义。

关键词

自绘位图，大数据量计算绘图，显示，保存，打印，灰度图像，伪彩色图像

ｉｎｔ

ｍ』ｅｉｇｈｔ：／／位图高度

一、刖昌

在Ｖｃ＋＋编程时，对于绘制矢量图来说，只须在视类的ｏｎＤｒａｗ（）函数中编制绘图代码就能够轻松地显示，而不用编写任何打印程序就能利用Ｖｃ自带的文档一视结构中的缺省打印功能打印矢量图。这对于大多数绘制不需实时计算而且计算量不大的矢量图来说是没有问题的，但是当我们绘图时，如果所绘的图形需要实时计算，并且计算量很大，图形超过视图区，我们需要拖动滑块移动图像浏览时，问题就会显现出来了。尤其是绘制灰度和伪彩色图像，它们由于需要逐点计算各像素点的灰度值，计算量大，又由于ＶＣ自身的绘图机制的原因，拖动视图滑块时，程序又要调用ＯｎＤ残哪（）把图像重新绘制一遍，这不仅显示慢，而且打印机也不支持用ｓｅｔＰｉｘｅｌＶ（）函数写点在０ｎＤｒ洲（）函数中绘制的灰度和伪彩色图像的打印。

下面介绍一种在拖动滑块时能够快

一、在测试组环境中实际测试结果： 测试机器172.18.2.179

硬件：CPU 3.2G*2双CPU 物理内存1G 硬盘：80G*2，7200转/s 硬盘缓存8M ? Sqlserver2000，在系统自带的pubs数据库中生成表，并插入数据，插入数据速度如下统计：

写入1万条数据， 耗时3.5秒 平均写入速度：2857条/S 写入10万条数据，耗时29.9秒 平均写入速度：3344条/S 写入100万条数据，耗时289秒 平均年写入速度：3460条/S

脚本如下，仅有两个常规字段（实际应用时，把表名中的X替换成1、10、100，并修改循环次数，分别执行三次，记录数据插入完成所用时间，使用秒表计时）：

CREATE TABLE tblTestX ( iID int IDENTITY(1,1), strData char(10)) GO

SET NOCOUNT ON GO

INSERT INTO tblTestX VALUES ('Test') WHILE @@IDENTITY < 1000000

INSERT INTO tblTestX VALUES ('Test')

以上

油、气计量单位的换算系数总汇 一、原油重量与体积平均换算系数表 计量单位 吨 长吨 短吨 桶 千公升 (立方米) 吨 长吨 短吨 桶 千公升 （立方米） 加仑 （英制） 加仑 （美制） 二、石油产品吨数与桶数换算系数表 产品名称 液化石油气 汽油及石脑油 煤油 馏分燃料油、柴油 残渣燃料油 润滑油 润滑脂 石油脂凡士林 石蜡 沥青 硬沥青 石油 桶/吨 11.06 8.51 7.78 7.25 6.66 7.00 7.35 7.35 7.86 6.11 6.08 5.50 吨/桶 0.0862 0.1175 0.1285 0.1379 0.1502 0.1429 0.1361 0.1361 0.1272 0.1637 0.1645 0.1818 吨/立方米 0.542 0.739 0.808 0.867 0.945 0.899 0.856 0.856 0.800 1.030 1.035 1.143 立方米/吨 1.844 1.353 1.237 1.153 1.059 1.113 1.169 1.169 1.250 0.971 0.967 0.874 3.25 3.19 3.58 23.8 3.79 0.833 1 3.91 3.83 4.2

Pressure 压力

1（atm）气压=101kPa 1MPa=9.87（atm）气压 1 MPa = 996.87 kPa 1KPa=0.145psi

1mb(毫巴)=100Pa 帕斯卡 Pa与mPa的换算关系？ 泊与mPa.s的换算关系？ 1pa.s=10泊=104厘泊 1泊=102厘泊=102 mPa.s 1mPa.s=1厘泊 1N/m2=1Pa

应力:是内力的集度，即单位面积上的内力 应力的单位:

N/m21N/m2?1Pa1MPa=106Pa即 帕斯卡

Pa1GPa=109Pa

过去我国采用公制计量单位，混凝土强度的单位为kgf/cm2。现按国务院已公布的有关法令，推行以国际单位制为基础的法定计量单位制，在该单位体系中，力的基本单位是N（牛顿），因此，强度的基本单位为1 N/m2，也可写作1Pa。标号改为强度等级后，混凝土强度计量单位改以国际单位制表达。由于N/m2（Pa），数值太小，一般以1N/mm2=106N/m2(MPa)作为混凝土强度的实际使用的计量单位，读作“牛顿每平方毫米”或“兆帕”。

新标准中强度计量单位均采用MPa（兆帕）表达。

书写单位名称时，不加任何表示乘或(和)除的符号或(和)其他符号。

例如：电阻率单

这两种气体浓度单位mg/m3与ppm有何关系呢？其间如何换算？

使用质量浓度单位（mg/m3）作为空气污染物浓度的表示方法，可以方便计算出污染物的真正量。但质量浓度与检测气体的温度、压力环境条件有关，其数值会随着温度、气压等环境条件的变化而不同；实际测量时需要同时测定气体的温度和大气压力。而在使用ppm作为描述污染物浓度时，由于采取的是体积比，不会出现这个问题。

浓度单位ppm与mg/m3的换算：按下式计算：

质量浓度mg/m3=M气体分子量/22.4*ppm数值*[273/(273+T气体温度)]*（Ba压力/101325）M为气体分子量，ppm为测定的体积浓度值，T为温度、Ba为压力(end)

关于气体流量单位

关于气体流量单位——sccm

SCCM=standard cubic centimeter per minute

标准状态毫升/分(ml=cm3),标准状态为 0℃,1atm. SLM 标准升/分钟 SCCM(标准毫升/分) SLM (标准升/分) 体积流量换算表 单位 升/分 (L/min) 1 16.667 0.4719 4.546 3.785 0.1104 米3/时 (m3/h) 0.06 1 0.028317