OpenCV圖像識別之姿態(tài)估計Pose?Estimation學習
目標
在本章中,將學習
- 利用
calib3d模塊
在圖像中創(chuàng)建一些3D效果
基礎
在上一節(jié)相機校準中,了解了相機矩陣、失真系數等。給定圖案圖像,可以利用以上信息來計算其姿勢或物體在空間中的位置,例如其旋轉方式, 對于平面物體,可以假設Z=0Z = 0Z=0,問題就變成了如何將相機放置在空間中以查看圖案圖像。 因此,如果知道對象在空間中的位置,可以在其中繪制一些2D圖來模擬3D效果。
問題是,想在棋盤的第一個角上繪制3D坐標軸(X,Y,Z)。 X軸為藍色,Y軸為綠色,Z軸為紅色
。 因此,實際上Z軸應該感覺像它垂直于棋盤平面。
首先,從先前的校準結果中加載相機矩陣和失真系數。
import cv2 import pickle import glob import numpy as np # load previously save data with open(r"cam_calib.p", "rb") as f: data = pickle.load(f) mtx = data['cam_matrix'] dist = data['dist_coeffs']
現在創(chuàng)建一個繪制繪制,該函數將棋盤上的角(使用cv2.findChessboardCorners()
獲得) 和軸點繪制為3D。
def draw(img, corners, imgpts): corner = tuple(corners[0].ravel()) img = cv2.line(img, corner, tuple(imgpts[0].ravel()), (255, 0, 0), 5) img = cv2.line(img, corner, tuple(imgpts[1].ravel()), (0, 255, 0), 5) img = cv2.line(img, corner, tuple(imgpts[2].ravel()), (0, 0, 255), 5) return img
然后,與前面的情況一樣,創(chuàng)建終止條件,對象點(棋盤上角的3D點)和軸點。 軸點是3D空間中用于繪制軸的點。 繪制長度為3的軸(單位將根據基于該尺寸校準的棋子方形寸)。因此X軸從(0,0,0)繪制為(3,0,0),Y軸也同樣如此。 對于Z軸,從(0,0,0)繪制為(0,0,-3)。 負號表示它朝向相機繪制。
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) objp = np.zeros((6*7, 3), np.float32) objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2) axis = np.float32([[3,0,0], [0,3,0], [0,0,-3]]).reshape(-1,3)
現在,加載每個圖像,搜索7x6的網格圖像。如果找到,將使用子角像素對其進行優(yōu)化。然后使用函數cv2.solvePnPRansac()
計算旋轉和平移。一旦有了這些變換矩陣,就可以使
用它們將軸點投影到圖像平面上。簡而言之,在圖像平面上找到與3D空間中(3,0,0),(0,3,0),
(0,0,3)中的每一個相對應的點。一旦獲得它們,就可以使用draw()
函數從第一個角到這些點中的每個點繪制線條。
for fname in glob.glob('right*.jpg'): img = cv2.imread(fname) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners = cv2.findChessboardCorners(gray, (7, 6),None) if ret == True: corners2 = cv2.cornerSubPix(gray,corners,(11, 11), (-1, -1), criteria) # Find the rotation and translation vectors. ret,rvecs, tvecs = cv2.solvePnP(objp, corners2, mtx, dist) # project 3D points to image plane imgpts, jac = cv2.projectPoints(axis, rvecs, tvecs, mtx, dist) img = draw(img,corners2,imgpts) cv2.imshow('img',img) k = cv2.waitKey(0) & 0xFF if k == ord('s'): cv2.imwrite(fname[:6]+'.png', img) cv2.destroyAllWindows()
每個軸長3個單位。
繪制立方體
如果要繪制立方體,修改draw()函數和軸點。 修改后的draw()函數:
def draw(img, corners, imgpts): imgpts = np.int32(imgpts).reshape(-1,2) # draw ground floor in green img = cv2.drawContours(img, [imgpts[:4]],-1,(0,255,0),-3) # draw pillars in blue color for i, j in zip(range(4),range(4,8)): img = cv2.line(img, tuple(imgpts[i]), tuple(imgpts[j]),(255),3) # draw top layer in red color img = cv2.drawContours(img, [imgpts[4:]],-1,(0,0,255),3) return img
修改的軸點。它們是3D空間中多維數據集的8個角:
axis = np.float32([[0,0,0], [0,3,0], [3,3,0], [3,0,0], [0,0,-3],[0,3,-3],[3,3,-3],[3,0,-3] ])
如果對圖形,增強現實等感興趣,則可以使用OpenGL渲染更復雜的圖形(感謝毛星云大佬)。
附加資源
以上就是OpenCV圖像識別之姿態(tài)估計Pose Estimation學習的詳細內容,更多關于OpenCV圖像識別姿態(tài)估計的資料請關注腳本之家其它相關文章!