《计算机视觉OpenCV》——对视频中的文档进行实时检测和处理实例

news/2025/2/25 8:37:43

对视频中的文档进行实时检测和处理

项目介绍：主要实现了从摄像头实时捕获视频流，检测其中的文档（四边形物体），并对检测到的文档进行透视变换和二值化处理的功能。
综合运用了摄像头操作、图像处理、轮廓检测、透视变换和二值化处理等多种计算机视觉和图像处理技术，实现了文档的实时检测和处理。

实例

  • 自定义函数定义
# 自定义函数：用于显示图像并处理按键事件
def cv_show(name, img):
    # 在名为 name 的窗口中显示图像 img
    cv2.imshow(name, img)
    # 等待 1 毫秒，获取按键事件的键值
    key = cv2.waitKey(1)
    # 如果按下 ESC 键（键值为 27），返回 False 表示退出
    if key == 27:  
        return False
    # 否则返回 True
    return True

# 自定义函数：对四边形的四个顶点进行排序，确保顺序为左上、右上、右下、左下
def order_points(pts):
    # 初始化一个形状为 (4, 2) 的零数组，用于存储排序后的顶点坐标
    rect = np.zeros((4, 2), dtype="float32")
    # 计算每个顶点的坐标和
    s = pts.sum(axis=1)
    # 和最小的顶点为左上角顶点
    rect[0] = pts[np.argmin(s)]
    # 和最大的顶点为右下角顶点
    rect[2] = pts[np.argmax(s)]
    # 计算每个顶点的坐标差
    diff = np.diff(pts, axis=1)
    # 差最小的顶点为右上角顶点
    rect[1] = pts[np.argmin(diff)]
    # 差最大的顶点为左下角顶点
    rect[3] = pts[np.argmax(diff)]
    # 返回排序后的顶点坐标
    return rect

# 自定义函数：对图像进行透视变换，将四边形区域转换为矩形区域
def four_point_transform(image, pts):
    # 调用 order_points 函数对顶点进行排序
    rect = order_points(pts)
    # 解包排序后的顶点坐标
    (tl, tr, br, bl) = rect
    # 计算四边形底部的宽度
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    # 计算四边形顶部的宽度
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    # 取宽度的最大值作为变换后矩形的宽度
    maxWidth = max(int(widthA), int(widthB))
    # 计算四边形右侧的高度
    heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    # 计算四边形左侧的高度
    heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    # 取高度的最大值作为变换后矩形的高度
    maxHeight = max(int(heightA), int(heightB))
    # 定义变换后矩形的四个顶点坐标
    dst = np.array([[0, 0], [maxWidth - 1, 0], [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")
    # 计算透视变换矩阵
    M = cv2.getPerspectiveTransform(rect, dst)
    # 对图像进行透视变换
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
    # 返回透视变换后的图像
    return warped
  • 摄像头操作
# 打开默认摄像头
cap = cv2.VideoCapture(0)
# 检查摄像头是否成功打开
if not cap.isOpened():
    print('Cannot open camera')
    exit()

# 进入循环，不断读取视频帧
while True:
    # 标志位，用于判断是否检测到文档
    flag = 0
    # 读取一帧图像，ret 表示是否成功读取，image 为读取的图像
    ret, image = cap.read()
    # 复制原始图像，用于后续处理
    orig = image.copy()
    # 如果读取失败，输出错误信息并跳出循环
    if not ret:
        print("不能读取摄像头")
        break

    # 显示原始图像，并处理按键事件
    if not cv_show("image", image):
        break
  • 图像处理
 # 将图像从 BGR 颜色空间转换为灰度颜色空间
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    # 对灰度图像进行高斯模糊处理，去除噪声
    gray = cv2.GaussianBlur(gray, (5, 5), 0)
    # 使用 Canny 算法进行边缘检测
    edged = cv2.Canny(gray, 75, 200)
  • 轮廓检测与处理
 # 显示边缘检测结果，并处理按键事件
    if not cv_show('1', edged):
        break

    # 查找边缘图像中的轮廓，兼容不同版本的 OpenCV
    contours, _ = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if cv2.__version__.startswith('4') else cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[1:3]

    # 对检测到的轮廓按面积从大到小排序，取前 3 个轮廓
    cnts = sorted(contours, key=cv2.contourArea, reverse=True)[:3]
    # 在原始图像上绘制检测到的轮廓
    image_contours = cv2.drawContours(image.copy(), cnts, -1, (0, 255, 0), 2)

    # 显示绘制轮廓后的图像，并处理按键事件
    if not cv_show('image_contours', image_contours):
        break

    # 遍历排序后的轮廓
    for c in cnts:
        # 计算轮廓的周长
        peri = cv2.arcLength(c, True)
        # 对轮廓进行多边形近似
        approx = cv2.approxPolyDP(c, 0.05 * peri, True)
        # 计算近似后轮廓的面积
        area = cv2.contourArea(approx)

        # 如果面积大于 20000 且近似后的轮廓为四边形，则认为检测到文档
        if area > 20000 and len(approx) == 4:
            # 记录检测到的文档轮廓
            screenCnt = approx
            # 设置标志位为 1，表示检测到文档
            flag = 1
            # 打印轮廓的周长和面积
            print(peri, area)
            print('检测到文档')
            break
  • 透视变换
 # 如果检测到文档
    if flag == 1:
        # 在原始图像上绘制检测到的文档轮廓
        image_contours = cv2.drawContours(image.copy(), [screenCnt], 0, (0, 255, 0), 2)
        # 显示绘制文档轮廓后的图像，并处理按键事件
        if not cv_show('image', image_contours):
            break

        # 对原始图像进行透视变换
        warped = four_point_transform(orig, screenCnt.reshape(4, 2))
        # 显示透视变换后的图像，并处理按键事件
        if not cv_show('warped', warped):
            break
  • 二值化处理
 # 将透视变换后的图像转换为灰度图像
        warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
        # 使用 Otsu 算法进行二值化处理
        ref = cv2.threshold(warped, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
        # 显示二值化后的图像，并处理按键事件
        if not cv_show('ref', ref):
            break
  • 释放资源
# 释放摄像头资源
cap.release()
# 关闭所有 OpenCV 窗口
cv2.destroyAllWindows()

完整代码

import numpy as np
import cv2

# 自定义函数：用于显示图像并处理按键事件
def cv_show(name, img):
    # 在名为 name 的窗口中显示图像 img
    cv2.imshow(name, img)
    # 等待 1 毫秒，获取按键事件的键值
    key = cv2.waitKey(1)
    # 如果按下 ESC 键（键值为 27），返回 False 表示退出
    if key == 27:  
        return False
    # 否则返回 True
    return True

# 自定义函数：对四边形的四个顶点进行排序，确保顺序为左上、右上、右下、左下
def order_points(pts):
    # 初始化一个形状为 (4, 2) 的零数组，用于存储排序后的顶点坐标
    rect = np.zeros((4, 2), dtype="float32")
    # 计算每个顶点的坐标和
    s = pts.sum(axis=1)
    # 和最小的顶点为左上角顶点
    rect[0] = pts[np.argmin(s)]
    # 和最大的顶点为右下角顶点
    rect[2] = pts[np.argmax(s)]
    # 计算每个顶点的坐标差
    diff = np.diff(pts, axis=1)
    # 差最小的顶点为右上角顶点
    rect[1] = pts[np.argmin(diff)]
    # 差最大的顶点为左下角顶点
    rect[3] = pts[np.argmax(diff)]
    # 返回排序后的顶点坐标
    return rect

# 自定义函数：对图像进行透视变换，将四边形区域转换为矩形区域
def four_point_transform(image, pts):
    # 调用 order_points 函数对顶点进行排序
    rect = order_points(pts)
    # 解包排序后的顶点坐标
    (tl, tr, br, bl) = rect
    # 计算四边形底部的宽度
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    # 计算四边形顶部的宽度
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    # 取宽度的最大值作为变换后矩形的宽度
    maxWidth = max(int(widthA), int(widthB))
    # 计算四边形右侧的高度
    heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    # 计算四边形左侧的高度
    heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    # 取高度的最大值作为变换后矩形的高度
    maxHeight = max(int(heightA), int(heightB))
    # 定义变换后矩形的四个顶点坐标
    dst = np.array([[0, 0], [maxWidth - 1, 0], [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")
    # 计算透视变换矩阵
    M = cv2.getPerspectiveTransform(rect, dst)
    # 对图像进行透视变换
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
    # 返回透视变换后的图像
    return warped

# 打开默认摄像头
cap = cv2.VideoCapture(0)
# 检查摄像头是否成功打开
if not cap.isOpened():
    print('Cannot open camera')
    exit()

# 进入循环，不断读取视频帧
while True:
    # 标志位，用于判断是否检测到文档
    flag = 0
    # 读取一帧图像，ret 表示是否成功读取，image 为读取的图像
    ret, image = cap.read()
    # 复制原始图像，用于后续处理
    orig = image.copy()
    # 如果读取失败，输出错误信息并跳出循环
    if not ret:
        print("不能读取摄像头")
        break

    # 显示原始图像，并处理按键事件
    if not cv_show("image", image):
        break

    # 将图像从 BGR 颜色空间转换为灰度颜色空间
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    # 对灰度图像进行高斯模糊处理，去除噪声
    gray = cv2.GaussianBlur(gray, (5, 5), 0)
    # 使用 Canny 算法进行边缘检测
    edged = cv2.Canny(gray, 75, 200)

    # 显示边缘检测结果，并处理按键事件
    if not cv_show('1', edged):
        break

    # 查找边缘图像中的轮廓，兼容不同版本的 OpenCV
    contours, _ = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if cv2.__version__.startswith('4') else cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[1:3]

    # 对检测到的轮廓按面积从大到小排序，取前 3 个轮廓
    cnts = sorted(contours, key=cv2.contourArea, reverse=True)[:3]
    # 在原始图像上绘制检测到的轮廓
    image_contours = cv2.drawContours(image.copy(), cnts, -1, (0, 255, 0), 2)

    # 显示绘制轮廓后的图像，并处理按键事件
    if not cv_show('image_contours', image_contours):
        break

    # 遍历排序后的轮廓
    for c in cnts:
        # 计算轮廓的周长
        peri = cv2.arcLength(c, True)
        # 对轮廓进行多边形近似
        approx = cv2.approxPolyDP(c, 0.05 * peri, True)
        # 计算近似后轮廓的面积
        area = cv2.contourArea(approx)

        # 如果面积大于 20000 且近似后的轮廓为四边形，则认为检测到文档
        if area > 20000 and len(approx) == 4:
            # 记录检测到的文档轮廓
            screenCnt = approx
            # 设置标志位为 1，表示检测到文档
            flag = 1
            # 打印轮廓的周长和面积
            print(peri, area)
            print('检测到文档')
            break

    # 如果检测到文档
    if flag == 1:
        # 在原始图像上绘制检测到的文档轮廓
        image_contours = cv2.drawContours(image.copy(), [screenCnt], 0, (0, 255, 0), 2)
        # 显示绘制文档轮廓后的图像，并处理按键事件
        if not cv_show('image', image_contours):
            break

        # 对原始图像进行透视变换
        warped = four_point_transform(orig, screenCnt.reshape(4, 2))
        # 显示透视变换后的图像，并处理按键事件
        if not cv_show('warped', warped):
            break

        # 将透视变换后的图像转换为灰度图像
        warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
        # 使用 Otsu 算法进行二值化处理
        ref = cv2.threshold(warped, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
        # 显示二值化后的图像，并处理按键事件
        if not cv_show('ref', ref):
            break

# 释放摄像头资源
cap.release()
# 关闭所有 OpenCV 窗口
cv2.destroyAllWindows()

可以运行代码进行测试。


http://www.niftyadmin.cn/n/5865270.html

相关文章

VUE2.0+elementUI+腾讯云点播上传视频

VUE2.0+elementUI+腾讯云点播上传视频

“vue”: “^2.6.11”, TcVod&#xff1a; “vod-js-sdk-v6”: “^1.7.0”, “element-ui”: “^2.15.6”, 直接上代码 上传视频加上传封面 在这里插入代码片 <template><div><p>上传封面</p><el-uploadclass"avatar-uploader"actio…
阅读更多...
Java设计模式 —— 【行为型模式】状态模式（State Pattern） 详解

Java设计模式 —— 【行为型模式】状态模式（State Pattern） 详解

文章目录 一、模式介绍二、结构三、优缺点四、使用场景五、案例演示 一、模式介绍 应用程序中的有些对象可能会根据不同的情况做出不同的行为&#xff0c;我们把这种对象称为有状态的对象&#xff0c;而把影响对象行为的一个或多个动态变化的属性称为状态。当有状态的对象与外…
阅读更多...
【java基础】Java 中的继承

【java基础】Java 中的继承

一、前言 Java 作为一门经典的面向对象编程语言&#xff0c;继承是其核心特性之一。继承就如同家族血脉传承&#xff0c;子类能够承接父类的属性与方法&#xff0c;在复用代码的同时还能按需拓展 二、继承的基本概念 2.1 生活中的继承类比 在日常生活里&#xff0c;继承的概…
阅读更多...
细说向量化知识库

细说向量化知识库

向量化知识库与 RAG&#xff1a;打造智能 AI 知识检索系统 引言 在大模型&#xff08;LLM&#xff09;迅猛发展的今天&#xff0c;如何让 AI 获取最新、最准确的信息&#xff0c;成为一个核心问题。大多数 LLM 依赖其训练数据来回答问题&#xff0c;但它们的知识是静态的&#…
阅读更多...
Scratch032（百发百中）

Scratch032（百发百中）

提示：知识回顾 1、排列克隆体的方法 2、复习“发送广播并等待”积木 3、“获取第几个字符”积木的使用 4、使用角色显示得分 前言 提示：中国射箭拥有悠久的历史，是最早进入教育体系的运动项目之一，君子六艺中“礼，乐，射，御，书，数”的射 ，就是指的射箭。这节课我带你…
阅读更多...
【排序算法】堆排序详解

【排序算法】堆排序详解

堆排序 有关 “堆” 知识的详解可以看这里——【堆】 其他经典比较类排序算法可以看这里——【六大比较类排序算法】 1. 建堆 在之前我们了解了堆&#xff0c;我们都知道大顶堆和小顶堆的特点&#xff1a; 小顶堆&#xff1a;任意节点的值 ≤ 其子节点的值。大顶堆&#xff…
阅读更多...
VMware安装CentOS 10

VMware安装CentOS 10

VMware安装CentOS 10 创建虚拟机 点击“创建新的虚拟机”。 选择“典型&#xff08;推荐&#xff09;”&#xff0c;点击下一步。 如果选择“安装程序光盘映像文件”&#xff0c;则会采用简易安装&#xff0c;为了记录完整的安装过程&#xff0c;这里选择“稍后安装操作系统”…
阅读更多...
在CentOS 7下部署NFS的详细教程

在CentOS 7下部署NFS的详细教程

在CentOS 7下部署NFS的详细教程 NFS&#xff08;Network File System&#xff09;是一种分布式文件系统协议&#xff0c;允许用户在网络中的不同主机之间共享文件和目录。NFS广泛应用于Linux和Unix系统中&#xff0c;特别适合在集群环境中共享存储资源。本文将详细介绍如何在C…
阅读更多...
最新文章

Copyright @ 2022~2023