获取边界框内的对象轮廓

Question

我想检测肉的轮廓轮廓。我已经为肉类训练了一个物体检测模型。模型的输出如下所示，边界框坐标为左上角 (44,34) 和右下角 (321,348)。我如何通过 opencv 或其他图像处理库根据此输出分割肉的轮廓？

Answer 1

您可以使用 Grabcut [1] 算法从边界框中提取片段。

Grabcut 尝试将像素聚类为两组，边界框外和边界框内，同时惩罚与具有相似颜色的相邻像素的标签不一致。

例如：

import cv2 

import numpy as np

im = cv2.imread('beef.jpg')

mask = np.zeros(im.shape[:2], np.uint8)

bgd_model = np.zeros((1, 65), np.float64)

fgd_model = np.zeros((1, 65), np.float64)

rect = (30, 25, 30 + 318, 25 + 350)  # (x, y, w, h)

cv2.grabCut(im, mask, rect, bgd_model, fgd_model, 10, cv2.GC_INIT_WITH_RECT)                      

mask = np.where((mask == cv2.GC_BGD) | (mask == cv2.GC_PR_BGD), 0, 1).astype(np.uint8)

contour, _= cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

cv2.drawContours(im, contour, -1, (0, 255, 0)) 

cv2.imwrite("output.png", im) 

[1] Rother、Carsten、Vladimir Kolmogorov 和 Andrew Blake。“GrabCut”交互式前景提取使用迭代图形切割。”ACM Transactions on Graphics (TOG) 23.3 (2004)：309-314。

Answer 2

你面临的问题是由于顶部的阴影，这使得肉在某些地方和背景一样黑。

您可以尝试将图像的红色部分二值化，然后通过形态学闭合去除孔洞，尽管这会稍微损坏轮廓。