Python OpenCV Harris 角点检测和图像匹配：原理与代码详解

这段代码使用 Python OpenCV 库实现 Harris 角点检测和图像匹配。代码的主要步骤如下：

导入库：

import cv2
import numpy as np
from matplotlib import pyplot as plt

读取图像：

img1 = cv2.imread('1.png')
img2 = cv2.imread('4.png')

Harris 角点检测：

gray1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
gray1 = np.float32(gray1)
dst1 = cv2.cornerHarris(gray1, 2, 3, 0.04)
img1[dst1 > 0.1 * dst1.max()] = [0, 0, 255]

gray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
gray2 = np.float32(gray2)
dst2 = cv2.cornerHarris(gray2, 2, 23, 0.04)
img2[dst2 > 0.1 * dst2.max()] = [0, 0, 255]

获取 Harris 角点坐标：

def get_harris_points(harrisim, min_dist=10, threshold=0.1):
    # 寻找高于阈值的候选角点
    corner_threshold = harrisim.max() * threshold
    harrisim_t = (harrisim > corner_threshold) * 1
    # 得到候选点的坐标
    coords = np.array(harrisim_t.nonzero()).T
    # 以及它们的 Harris 响应值
    candidate_values = [harrisim[c[0], c[1]] for c in coords]
    # 对候选点按照 Harris 响应值进行排序
    index = np.argsort(candidate_values)[::-1]
    # 将可行点的位置保存到数组中
    allowed_locations = np.zeros(harrisim.shape)
    allowed_locations[min_dist:-min_dist, min_dist:-min_dist] = 1
    # 按照 min_distance 原则，选择最佳 Harris 点
    filtered_coords = []
    for i in index:
        if allowed_locations[coords[i, 0], coords[i, 1]] == 1:
            filtered_coords.append(coords[i])
            allowed_locations[(coords[i, 0] - min_dist):(coords[i, 0] + min_dist),
                        (coords[i, 1] - min_dist):(coords[i, 1] + min_dist)] = 0
    return filtered_coords

提取特征描述子：

def get_descriptors(image, filtered_coords, wid=5):
    desc = []
    for coords in filtered_coords:
        patch = image[coords[0] - wid:coords[0] + wid + 1,
                coords[1] - wid:coords[1] + wid + 1].flatten()
        desc.append(patch)
    return desc

图像匹配：

def match(desc1, desc2, threshold=0.5):
    n = len(desc1[0])
    # 点对的距离
    d = -np.ones((len(desc1), len(desc2)))
    for i in range(len(desc1)):
        for j in range(len(desc2)):
            d1 = (desc1[i] - np.mean(desc1[i])) / np.std(desc1[i])
            d2 = (desc2[j] - np.mean(desc2[j])) / np.std(desc2[j])
            ncc_value = sum(d1 * d2) / (n - 1)
            if ncc_value > threshold:
                d[i, j] = ncc_value
    ndx = np.argsort(-d)   # 从大到小排序
    matchscores = ndx[:, 0]   # 最大一个数的位置坐标
    return matchscores

def match_twosided(desc1, desc2, threshold=0.5):
    matches_12 = match(desc1, desc2, threshold)
    matches_21 = match(desc2, desc1, threshold)
    ndx_12 = np.where(matches_12 >= 0)[0]
    # 去除非对称的匹配
    for n in ndx_12:
        if matches_21[matches_12[n]] != n:
            matches_12[n] = -1
    return matches_12

拼接图像：

def appendimages(im1, im2):
    row1 = im1.shape[0]
    row2 = im2.shape[0]
    if row1 < row2:
        im1 = np.concatenate((im1, np.zeros((row2 - row1, im1.shape[1], im1.shape[2]))), axis=0)
    elif row1 > row2:
        im2 = np.concatenate((im2, np.zeros((row1 - row2, im2.shape[1], im2.shape[2]))), axis=0)
    return np.concatenate((im1, im2), axis=1)

绘制匹配结果：

def plot_matches(im1, im2, locs1, locs2, matchscores):
    im1_rgb = cv2.cvtColor(im1, cv2.COLOR_BGR2RGB)  # 将BGR顺序转换为RGB顺序
    im2_rgb = cv2.cvtColor(im2, cv2.COLOR_BGR2RGB)
    im3 = appendimages(im1_rgb, im2_rgb)
    plt.imshow(im3)
    cols1 = im1.shape[1]
    for i, m in enumerate(matchscores):
        if m > 0:
            plt.plot([locs1[i][1], locs2[m][1] + cols1], [locs1[i][0], locs2[m][0]], 'c')
    plt.axis('off')
    plt.show()

执行匹配操作：

wid = 9  # 比较像素点数目
filtered_coords1 = get_harris_points(dst1, wid + 1, 0.1)  # 图1大于阈值的坐标
filtered_coords2 = get_harris_points(dst2, wid + 1, 0.1)  # 图2大于阈值的坐标
d1 = get_descriptors(img1, filtered_coords1, wid)
d2 = get_descriptors(img2, filtered_coords2, wid)
matches = match_twosided(d1, d2, 0.8)  # 图1的阈值点与图二哪个阈值点相关度最高，输出与图一相关性最大点的坐标
plt.figure(figsize=(30, 20));
plot_matches(img1, img2, filtered_coords1, filtered_coords2, matches)
cv2.waitKey()
cv2.destroyAllWindows()

代码问题分析：

Harris 角点检测参数： 代码中第二个图像的 wid 参数为 23 可能过大，导致检测到的角点数量较少。建议根据图像特征调整 wid 参数，例如尝试更小的值。
匹配阈值： 代码中的阈值 0.8 可能过高或过低。建议根据实际情况调整阈值，例如尝试更低的阈值以提高匹配率。
对称匹配： match_twosided 函数中的非对称匹配处理可能导致后续操作出现问题。建议在该函数中对没有找到对称匹配的点进行更合理的处理，例如直接移除该点，而不是将其匹配值设为 -1。
颜色通道顺序： plot_matches 函数中使用 plt.imshow() 函数来显示图像，但是这个函数可能会导致颜色通道的顺序出现问题，需要将 BGR 顺序转换为 RGB 顺序。建议使用 cv2.cvtColor() 函数将图像转换为 RGB 格式后再使用 plt.imshow() 函数显示。

优化建议：

使用更合理的 Harris 角点检测参数，例如调整 wid 和 threshold 参数。
调整匹配阈值，以获得更好的匹配结果。
优化 match_twosided 函数，对非对称匹配进行更合理的处理。
使用 cv2.cvtColor() 函数将图像转换为 RGB 格式后再使用 plt.imshow() 函数显示图像，避免颜色通道顺序问题。
可以尝试使用其他特征描述子，例如 SIFT 或 SURF，以提高匹配精度。
可以使用其他图像匹配方法，例如 RANSAC，以过滤掉错误匹配。

总结：

这段代码实现了 Harris 角点检测和图像匹配的基本功能，但仍存在一些需要改进的地方。建议根据实际情况调整参数、优化代码逻辑，以获得更好的匹配效果。