基于SSD下的图像内容识别(一)

鸽了将近有一个月的时间没有更新东西,真的不是因为我懒,主要在忙一些工作上的事情,然后就是被安装caffe环境折磨的死去活来。我本来用的上mba来搭caffe环境的,一直在报一个框架问题,索性一怒之下换了mbp,下面就将我在SSD学习过程中遇到的问题和大家一起分享一下。

首先,先看一下我们能达到什么样的效果:

比如,这样的:

再比如这样的:

甚至还可以这样:
https://v.qq.com/x/page/a0567wd27jz.html
https://v.qq.com/x/page/j05679xhryx.html
这边吐槽一下,简书makedown不支持上传视频,简直差评!

那问题来了,在真实的业务场景中,我们有哪些应用呢?
比如天猫的拍照购:

有货的相似推荐:

这些都是非常优秀的应用场景。

我们需要做哪些基本的步骤:

抠出图片中关键的人或者物

如果只需要抠出图片中的核心信息的话,其实只需要加载python里面的selectivesearch包就可以(这里多说一句,建议都是使用conda安装所有包和库,不然你会后悔的)。
我们先来看下效果:

这个是怎么实现的呢?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import  cv2
import selectivesearch
import matplotlib.pyplot as plt
import matplotlib.patches as mpatches
import numpy as np
img = cv2.imread('/Users/slade/Documents/Yoho/picture_recognize/heshen.jpg')

#图片识别分割
img_lbl, regions =selectivesearch.selective_search(
img, scale=500, sigma=0.9, min_size=20)

#这边的regions里面就有一个个划分出来的box
regions[0]
#Out[3]: {'labels': [0.0], 'rect': (0, 0, 619, 620), 'size': 177325},其中‘rect’定位了box的位置,‘size’确定了box的大小

# 接下来我们把窗口和图像打印出来,对它有个直观认识
fig, ax = plt.subplots(ncols=1, nrows=1, figsize=(6, 6))
ax.imshow(img)

for reg in regions:
x, y, w, h = reg['rect']
rect = mpatches.Rectangle(
(x, y), w, h, fill=False, edgecolor='red', linewidth=1)
ax.add_patch(rect)
plt.show()

搜索完成后展示图:

很明显,这里面的方框太多了,所以我们需要把一些过小的,过大的,不规则的全部去掉:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
candidates = []
for r in regions:
# 重复的不要
if r['rect'] in candidates:
continue
# 太小和太大的不要
if r['size'] < 200 or r['size']>20000:
continue

x, y, w, h = r['rect']
# 太不方的不要
if w / h > 1.8 or h / w > 1.8:
continue
candidates.append((x,y,w,h))

#剔除大box内的小box
candidates_sec = []
for i in candidates:
if len(candidates_sec)==0:
candidates_sec.append(i)
else:
Flag=False
replace=-1
index=0
for j in candidates_sec:
##新box在小圈 则删除
if i[0]>=j[0] and i[0]+i[2]<=j[0]+j[2] and i[1]>=j[1] and i[1]+i[3]<=j[1]+j[3]:
Flag=True
break
##新box不在小圈 而在老box外部 替换老box
elif i[0]<=j[0] and i[0]+i[2]>=j[0]+j[2] and i[1]<=j[1] and i[1]+i[3]>=j[1]+j[3]:
replace=index
break
index+=1

if not Flag:
if replace>=0:
candidates_sec[replace]=i
else:
candidates_sec.append(i)

然后我们看看更新完后的图片效果:

1
2
3
4
5
6
7
fig, ax = plt.subplots(ncols=1, nrows=1, figsize=(6, 6))
ax.imshow(img)
for x, y, w, h in candidates_sec:
rect = mpatches.Rectangle(
(x, y), w, h, fill=False, edgecolor='red', linewidth=1)
ax.add_patch(rect)
plt.show()

在根据重复优化一下,就可以得到最初的那张图片,基本上来说,就可以完成抠图这个事情了。

相关理论概述:

上面这样的识别从数学角度上是怎么样实现的呢?
这边先引入一篇文章:2014年CVPR上的经典paper:《Rich feature hierarchies for Accurate Object Detection and Segmentation》,这篇文章的算法思想又被称之为:R-CNN(Regions with Convolutional Neural Network Features),是物体检测领域曾经获得state-of-art精度的经典文献。
论文较为复杂冗长,我这边主要先看一下我们关系的抠图模块:

抠若干个box过程:

先切分图片到若干子区域的集合S
1.在计算集合S中找出相似性最大的区域max_similarity{ri,rj}
2.合并S_new=ri∪rj
3.从S集合中,移走所有与ri,rj的子集
4.将新集合S_new与相邻区域的相似度
5.repeat step2
直到S集合为空
这边相似度的计算考虑了三个方面:颜色相似,纹理相似,空间交错相似,分别解释如下:
颜色相似:

其中对每个区域,我们都可以得到一个一维的颜色分布直方图:

假设两个直方图波峰和波谷高度重合,那么计算下来的值比较大;反之如果波峰和波谷错开的,那么累加的值一定比较小。

纹理相似:
这边会用到SIFI算法,也是一个比较经典的算法。
selectivesearch论文采用方差为1的高斯分布在8个方向做梯度统计,然后将统计结果(尺寸与区域大小一致)以bins=10计算直方图。(这个我也没有仔细去看,只是skip learn了一下)

空间相似:
这个最简单,代码呈现了:

1
2
3
4
5
6
7
8
9
def sim_fill(r1, r2, imsize):
"""
calculate the fill_similarity over the image
"""
bbsize = (
(max(r1["max_x"], r2["max_x"]) - min(r1["min_x"], r2["min_x"]))
* (max(r1["max_y"], r2["max_y"]) - min(r1["min_y"], r2["min_y"]))
)
return 1.0 - (bbsize - r1["size"] - r2["size"]) / imsize

若干个box筛选的过程:

首先,我们定义:IOU为两个bounding box的重叠度,如下图所示:

矩形框A、B的一个重合度IOU计算公式为:
IOU=(A∩B)/(A∪B)
就是矩形框A、B的重叠面积占A、B并集的面积比例:
IOU=SI/(SA+SB-SI)

再引入非极大值抑制(NMS)概念:抑制不是极大值的元素,搜索局部的极大值。
翻译一下就是:比如之前看的这张图片:

很明显还是很多box是相互inner的,虽然没有被相互包含进去,我们可以先选择最大的box,看其他box与这个最大的box的IOU值,删除IOU值大于预先设定的阈值的box,重复这个过程就是一个方框删除的过程。真实的NMS还会涉及到canny detection等等的细节问题,这边只是让大家快速入门使用起来,如需详细了解,请自行百度。

若干个box内容对应:

我们虽然识别出了方框内存在物体,但是我们仍需要将物体与标签对应起来,这边的方法就是很多了,RCNN里面的方法:SVM,还有现在非常热门的CNN都可以对识别出来的子图片进行识别分类:VOC物体检测任务是一个非常入门的分类问题。你可以通过任何一种你觉得可以的分类方法进行识别训练。

简单的流程化的识别拆分讲解这边就结束了,主要讲了candidates_boxs的产生,candidates_boxs通过基本属性的初筛,candidates_boxs根据IOU原则下的NMS进行复选,再将复选出来的box根据你已经训练好的分类模型确定到底是啥?
可以用下面这个图概述一下:

To-do:

我们还有很多没讲完的,后面会持续更新:
主要包括:
1.如何配置一个快速训练的环境?
2.如何实现(输入图片,产出结果)整套识别流程?
3.如何自己训练一个图片分类器?
4.如何做快速迁移一个自己需要的及时图片识别流?

打赏的大佬可以联系我,赠送超赞的算法资料