OpenCV特征提取与图像检索实现(附代码)
更新时间:2024-01-03 19:54:01 阅读量: 教育文库 文档下载
- openCV特征提取推荐度:
- 相关推荐
OpenCV特征提取与图像检索实现(附代码)
“拍立淘”“一键识花”“街景匹配”……不知道大家在使用这些神奇的功能的时候,有没有好奇过它们背后的技术原理?其实这些技术都离不开最基本的图像检索技术。本篇文章我们就将对这一技术的原理进行介绍,并通过一个简单的Python脚本来实现一个最基本的图像检索demo。 ▌图像特征
首先我们需要明白图像特征是什么以及它的使用方法。 图像特征是一种简单的图像模式,基于这种模式我们可以描述我们在图像上所看到的内容。 例如,在一张跟猫有关的图片中,猫咪的眼睛就可以作为这幅图像的特征。特征在(包括但不限于)计算机视觉中的主要作用是将视觉信息转换为向量空间表示。这种向量空间表示让我们可以利用数学运算对其进行处理,例如通过计算寻找相似向量(这可以用来寻找相似图像或图像中的相似目标)。 ▌如何从图像中获取特征?
从图像中获取特征的方法有两种,第一种是通过提取图像描述符实现(白盒算法);第二种通过基于神经网络的方法实现(黑盒算法)。本文主要介绍第一种方法。
特征提取的算法有很多,最常用的有:SURF、ORB、SIFT、BRIEF等。这些算法大多是基于图像梯度的。为了简化安装
需求,本教程使用的是KAZE描述符,因为其他描述符在python的基础OpenCV库中没有提供。 下面是特征提取器的实现代码: import cv2
import numpy as np import scipy
from scipy.misc import imread import cPickle as pickle import random import os
import matplotlib.pyplot as plt # Feature extractor # 特征提取器
def extract_features(image_path, vector_size=32): image = imread(image_path, mode='RGB') try:
# Using KAZE, cause SIFT, ORB and other was moved to additional module
# which is adding addtional pain during install #此处为了简化安装步骤,使用KAZE,因为SIFT/ORB以及其他特征算子需要安 #装额外的模块
alg = cv2.KAZE_create() # Finding image keypoints #寻找图像关键点 kps = alg.detect(image) # Getting first 32 of them. #计算前32个
# Number of keypoints is varies depend on image size and color pallet
#关键点的数量取决于图像大小以及彩色调色板 # Sorting them based on keypoint response value(bigger is better)
#根据关键点的返回值进行排序(越大越好) kps = sorted(kps, key=lambda x: -x.response)[:vector_size]
# computing descriptors vector #计算描述符向量
kps, dsc = alg.compute(image, kps)
# Flatten all of them in one big vector - our feature vector
# 将其放在一个大的向量中,作为我们的特征向量 dsc = dsc.flatten()
# Making descriptor of same size
# 使描述符的大小一致 # Descriptor vector size is 64 #描述符向量的大小为64 needed_size = (vector_size * 64) if dsc.size
# if we have less the 32 descriptors then just adding zeros
# at the end of our feature vector #如果少于32个描述符,则在特征向量后面补零 dsc = np.concatenate([dsc, np.zeros(needed_size - dsc.size)]) except cv2.error as e: print 'Error: ', e
return None return dsc
def batch_extractor(images_path, pickled_db_path='features.pck'):
files = [os.path.join(images_path, p) for p in sorted(os.listdir(images_path))] result = {} for f in files:
print 'Extracting features from image %s' % f
name = f.split('/')[-1].lower() result[name] = extract_features(f)
# saving all our feature vectors in pickled file # 将特征向量存于pickled 文件
with open(pickled_db_path, 'w') as fp:
pickle.dump(result, fp)OpenCV中的大多数特征提取算法的python接口都相同,所以如果你想要使用SIFT特征,只需要用SIFT_create替换KAZE_create就行。 首先,程序会用extract_features检测图像上的关键点(局部模式的中心点)。 因为关键点数量随图像的不同有所不同,因此我们需要添加一些规则,以确保所得到的特征向量大小始终相同(这是因为在计算时,我们无法对维度不同的向量进行比较,所以必须保证相同的大小)。
然后是根据关键点构建向量描述符,每个描述符的大小为64,我们有32个这样的描述符,所以我们的特征向量是2048维。 batch_extractor是在所有的图像中批量运行特征提取器,并将特征向量保存在pickled文件中以供后续使用。 现在我们来建立类Matcher,它会将待搜索图像和数据库中的图像进行匹配。
class Matcher(object): def __init__(self, pickled_db_path='features.pck'):
with open(pickled_db_path) as fp: self.data = pickle.load(fp) self.names = [] self.matrix = []
for k, v in self.data.iteritems(): self.names.append(k) self.matrix.append(v) self.matrix = np.array(self.matrix) self.names = np.array(self.names)
def cos_cdist(self, vector):
# getting cosine distance between search image and images database
#计算待搜索图像与数据库图像的余弦距离
v = vector.reshape(1, -1)
return scipy.spatial.distance.cdist(self.matrix, v, 'cosine').reshape(-1)
def match(self, image_path, topn=5): features = extract_features(image_path) img_distances = self.cos_cdist(features) # getting top 5 records
# 获得前5个记录 nearest_ids =
np.argsort(img_distances)[:topn].tolist()
nearest_img_paths = self.names[nearest_ids].tolist()
return nearest_img_paths,
img_distances[nearest_ids].tolist()这里要加载前一步得到的特征向量,并从它们中创建一个大矩阵,然后计算待搜索图像的特征向量和特征向量数据库之间的余弦距离,然后输出最近的前N个结果。当然,这仅仅是一个demo,在实际计算中,还可以用一些算法来快速计算数百万图像间的余弦距离。你可以使用简单且运行速度相当快的Annoy Index(在1M图像中搜索约需2ms)。 现在把它们放在一起运行一下: def show_img(path):
img = imread(path, mode='RGB') plt.imshow(img) plt.show() def run():
images_path = 'resources/images/'
files = [os.path.join(images_path, p) for p in sorted(os.listdir(images_path))] # getting 3 random images
# 随机获取3张图 sample = random.sample(files, 3)
batch_extractor(images_path)
ma = Matcher('features.pck')
for s in sample: print 'Query image
==========================================' show_img(s)
names, match = ma.match(s, topn=3) print 'Result images
========================================' for i in range(3):
# we got cosine distance, less cosine distance between vectors
# more they similar, thus we subtruct it from 1 to get match value#我们得到了余弦距离,向量之间
的余弦距离越小表示它们越相似,因此我们从1中减去它以得到匹配值
print 'Match %s' % (1-match[i]) show_img(os.path.join(images_path, names[i]))
run()大家可以在我的 github上下载源码,或者在Google Colab上运行(Google Colab是一种提供GPU在线计算的免费服务):
https://colab.research.google.com/drive/1BwdSConGugBlGzPLLkXHTz2ahkdzEhQ9 ▌总结
在运行上述代码的过程中,你可能会发现搜索到的相似图像并不总能达到我们想象中的那种相似程度。这是因为我们所用的这种算法是上下文无关(context-unaware)的,所以该算法在寻找相同(即使是被修改过的)图像方面表现更好,而不是在相似图像方面。如果是要寻找上下文相关的相似图像,那就要使用卷积神经网络了,我的下一篇文章会对这方面的知识进行详细介绍。 作者:Andrey Nikishaev
正在阅读:
水质采样复习题200511-02
第十三届全省教师自制多媒体教育软件评比活动获奖名单 - 图文12-14
人教部编版2018年八年级上册语文第6课《回忆我的母亲》表格版教06-12
高考阅卷者青睐真性作文10-25
2015年第32届全国中学生物理竞赛预赛试卷及答案10-10
未来的家乡小学生三年级作文06-12
有关诚信名人小故事11-20
绩效目标设置合理性评价报告模板04-11
文化下乡活动开幕式致辞09-04
- exercise2
- 铅锌矿详查地质设计 - 图文
- 厨余垃圾、餐厨垃圾堆肥系统设计方案
- 陈明珠开题报告
- 化工原理精选例题
- 政府形象宣传册营销案例
- 小学一至三年级语文阅读专项练习题
- 2014.民诉 期末考试 复习题
- 巅峰智业 - 做好顶层设计对建设城市的重要意义
- (三起)冀教版三年级英语上册Unit4 Lesson24练习题及答案
- 2017年实心轮胎现状及发展趋势分析(目录)
- 基于GIS的农用地定级技术研究定稿
- 2017-2022年中国医疗保健市场调查与市场前景预测报告(目录) - 图文
- 作业
- OFDM技术仿真(MATLAB代码) - 图文
- Android工程师笔试题及答案
- 生命密码联合密码
- 空间地上权若干法律问题探究
- 江苏学业水平测试《机械基础》模拟试题
- 选课走班实施方案
- 提取
- 图像
- 特征
- 检索
- 代码
- 实现
- OpenCV
- 储蓄业务基本知识
- 北邮数据结构实验四链表排序
- 资产证券化会计处理方法
- 高三语文5月模拟考试卷(扫描版,无答案)新人教版 - 图文
- 2019-2020年高二上学期期末考试化学试题含答案(II)
- 2015年西藏中考化学试卷
- 上海中考二模适当形式填空全(含答案)
- 广东省惠州市华罗庚中学2016届高三生物上学期9月月考试卷(含解析)
- 关于淳安大学生就业观念变化的调查报告
- 如果说20世纪是属于美国的时代
- 法国文学史笔记整理
- 450磨齿机使用说明书 - 图文
- 创新校本教研模式 促学校内涵式发展
- 通过MCU实现Altera FPGA在线升级
- 工程管理信息系统作业
- 中国文化概论试题·史上最全
- 2016新课标创新人教英语 必修五 Unit 4 Section 5
- 华南农业大学-2018年-生命科学学院-硕士研究生入学考试复试及录取工作方案
- 重庆大学2013—2014学年学生“争先创优”先进集体、先进个人名单
- 高炉4大制度