您的位置: 主页>机器人编程>ROBOLAB编程>使用OpenCV和Python进行3D重建
加盟酷吧机器人 培养孩子核心能力

使用OpenCV和Python进行3D重建

OpenCV是一个用于实时计算机视觉的库。它具有非常强大的功能,使得处理图像和获取有关它们的信息的艺术变得容易。在这篇文章中,我们将回顾一些我们用于从图像进行3D重建的功能,以便制作自动机器人手臂。OpenCV使用针孔相机模型。该模型通过使用透视变换将3D点投影到图像平面上来工作。 OpenCV的一些功能可以帮助我们实现目标。这些功能与棋盘模型一起用于校准模型,因此首先要获得棋盘并拍摄一些照片。我们拍了几张照片以获得更好的校准效果。import glob import cv2 import numpy as np criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 30 , 0.001) objp = np.zeros((9*6,3), np.float32) objp[:,:2] = np.mgrid[0:6.0:9].T.reshape(-1,2) objpoints = [] imgpoints = [] images = glob.glob('./Muestras_Calibracio/*.jpg') for fname in images: img = cv2.imread(fname) gray = cv2.cvtColor(img,cv.COLOR_BGR2GRAY) ret , corners = cv.findChessboardCorners(gray,(6,9), None) if ret == True: objpoints.append(objp) corners2 = cv2.cornerSubPix(gray , corners , (11,11) , (-1,-1) , criteria) imgpoints.append(corners) cv2.drawChessboardCorners(img , (6,9) , corners2 , ret)我们已经看到了一小段代码,所以让我们来看看它的作用。在第一行中,我们导入了必要的库。接下来,我们定义OpenCV迭代算法的终止标准。我们在函数cornerSubPix中使用它们。 接下来的变量用于准备对象点,然后我们定义一些空数组,以便存储我们从棋盘中获得的所有图像中的对象点和图像点。然后我们打开灰度中的所有图像,将它们作为参数传递给函数findChessboardCorners()。该功能有3个参数:第一个是图像,必须是8位灰度; 第二个是每个棋盘的内角数,必须是元组(points_per_row,points_per_column); 第三个是角落,在这种情况下我们不想检测它们,所以我们把无。下一步是使用cornerSubPix()函数细化角点位置。然后我们在棋盘上绘制角落。下一张图显示了我们找到棋盘角落的位置以及我们绘制它们的图像。

使用OpenCV和Python进行3D重建

所以我们只找到了我们的物点和图像点。我们准备好进行相机校准。为了达到这个目的,我们使用了calibrateCamera()函数。此函数返回进行3D重建所需的所有参数-如相机矩阵,失真系数,旋转矢量等。ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1],None,None)

我们现在有相机参数,所以我们将它们用于3D重建。

corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)_, rvecs, tvecs, inliers = cv2.solvePnPRansac(objp, corners2, mtx, dist)axis = np.float32( [ [0,0,0], [0,6,0], [6,6,0], [6,0,0], [0,0,-3],[0,6,-3],[6,6,-3],[6,0,-3] ] )imgpts, jac = cv2.projectPoints(axis, rvecs, tvecs, mtx, dist)因此,在第一行中,我们进行了改进以改善角落的位置,然后应用我们之前获得的相机参数。在函数solvePnRansac()中,OpenCV使用迭代方法从3D-2D点对应中找到对象姿势,以从包含异常值的一组观察数据估计数学模型的参数。在第三行中,我们定义了我们的轴,以便在图片中创建一个框并在框中投影。下一步是投影点,然后使用draw()函数绘制它们。

使用OpenCV和Python进行3D重建

在上一张图像中,我们在左侧看到输入图像,在右侧,我们看到了在其上绘制轴的图像。 使用案例:自主机器人手臂通过这些2D-3D投影,我们可以从图像中了解对象的空间坐标。所以我们决定实现这个OpenCV算法以制作一个自主的机器人手臂,但是如果我们想让它自主,我们需要使用一个对象检测模型,这样我们才能知道我们要去的东西是什么以及在哪里抓。为此,我们使用MASK r-cnn模型在Keras和TensorFlow上进行对象检测和实例分割。请查看此  GitHub  以获取有关该模型的更多具体信息。除了MASK模型,我们使用Arduino Mega进行手臂控制,因为我们知道物体的位置,现在我们需要知道如何移动手臂来抓住它们。所以我们制作了一个小的Arduino功能来控制四个臂引擎中的每一个。每个电机都有一个电位计作为测角仪。这是通过计算电位计中的电压和发动机位置之间的关系来实现的。获得这种关系非常简单 - 它是一种线性回归。您可以在Excel或OriginLab上执行此操作。现在我们已经建立了关系,我们将在Arduino中使用它,所以让我们准备一段代码:

使用OpenCV和Python进行3D重建

在上一张图中,我们看到了一段用于Arduino编程的函数代码。每个引擎都具有这些功能之一。

使用OpenCV和Python进行3D重建

在上图中,我们看到了机器人手臂和棋盘的设置。我们使用手臂前面的网络摄像头进行相机校准和3D重建。

后记,小编朋友研发了一个游戏化的少儿编程在线课程(5-12岁),游戏化教学结合scratch(一款在线少儿编程工具,类似乐高的积木拼搭),我家娃娃学了几次课,非常喜欢(超预期),16次课才200多块钱,对锻炼孩子的思维能力和动手动力很有帮助。

欧美思机器人教育加盟 赚钱好项目
上一篇:ARDUINO各版本引脚图+芯片引脚图!
下一篇:App inventor 编写安卓app控制 ESP8266
您可能喜欢
回到顶部