引言

在這篇博客中，我將分享一個(gè)有趣的 Python 項(xiàng)目：通過 wxPython 創(chuàng)建圖形界面，利用 OpenCV 的計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)實(shí)時(shí)手勢(shì)識(shí)別，當(dāng)檢測(cè)到“V”字（勝利）手勢(shì)時(shí)自動(dòng)連拍 9 張照片，而檢測(cè)到拳頭手勢(shì)時(shí)立即停止拍照。這個(gè)程序結(jié)合了攝像頭輸入、手勢(shì)檢測(cè)和文件保存功能，適合作為學(xué)習(xí)計(jì)算機(jī)視覺和 GUI 開發(fā)的入門項(xiàng)目。
以下是項(xiàng)目的完整實(shí)現(xiàn)過程，包括代碼分析、使用說明和可能的優(yōu)化建議。

項(xiàng)目概述

功能

• 實(shí)時(shí)視頻捕獲：通過攝像頭捕獲視頻流并顯示在 wxPython 界面上。
• 手勢(shì)識(shí)別：
  • Victory 手勢(shì)：檢測(cè)到“V”字手勢(shì)時(shí)，觸發(fā)連拍 9 張照片。
  • 拳頭手勢(shì)：檢測(cè)到拳頭時(shí)，立即停止正在進(jìn)行的拍照。
• 照片保存：照片以時(shí)間戳命名，保存到指定文件夾（victory_photos）。
• 冷卻時(shí)間：拍照完成后有 5 秒冷卻時(shí)間，避免重復(fù)觸發(fā)。
• 界面反饋：實(shí)時(shí)顯示攝像頭畫面、手勢(shì)檢測(cè)狀態(tài)、手指數(shù)量和輪廓密實(shí)度。

技術(shù)棧

• wxPython：用于創(chuàng)建圖形用戶界面（GUI）。
• OpenCV：用于攝像頭視頻處理和手勢(shì)檢測(cè)。
• NumPy：用于圖像數(shù)組操作。
• Python 標(biāo)準(zhǔn)庫：用于文件管理和時(shí)間戳生成。

依賴安裝

運(yùn)行程序前，請(qǐng)確保安裝以下依賴：

pip install wxPython opencv-python numpy

實(shí)現(xiàn)原理

手勢(shì)檢測(cè)邏輯

手勢(shì)識(shí)別基于 OpenCV 的膚色檢測(cè)和輪廓分析，主要步驟如下：

1. 膚色檢測(cè)：

   • 將圖像從 BGR 轉(zhuǎn)換為 HSV 顏色空間。
   • 使用預(yù)定義的膚色范圍（lower_skin 和 upper_skin）生成二值掩碼。
   • 通過形態(tài)學(xué)操作（膨脹和高斯模糊）優(yōu)化掩碼，去除噪聲。

2. 輪廓檢測(cè)：

   • 使用 cv2.findContours 找到掩碼中的輪廓。
   • 選擇面積最大的輪廓，假設(shè)其為手部。

3. 凸包與缺陷分析：

   • 計(jì)算輪廓的凸包（cv2.convexHull），用于檢測(cè)手指間的凹陷。
   • 使用 cv2.convexityDefects 找到凸缺陷，計(jì)算手指數(shù)量。
   • 通過角度過濾（小于 90 度）判斷缺陷是否為手指間隙。

4. 手勢(shì)判定：

   • Victory 手勢(shì)：檢測(cè)到 2 個(gè)手指。
   • 拳頭手勢(shì)：輪廓密實(shí)度（solidity = contour_area / hull_area）大于 0.8 且手指數(shù)量少于等于 1。

5. 可視化：

   • 在界面上繪制手部輪廓（綠色）、凸缺陷點(diǎn)（紅色圓點(diǎn)）。
   • 顯示手指數(shù)量、密實(shí)度和手勢(shì)類型。

拍照控制

• 觸發(fā)拍照：當(dāng)檢測(cè)到 Victory 手勢(shì)且不在冷卻時(shí)間內(nèi)，開始連拍。
• 停止拍照：檢測(cè)到拳頭手勢(shì)時(shí)立即中斷。
• 保存照片：每張照片以時(shí)間戳和序號(hào)命名，保存到 victory_photos 文件夾。

代碼分析

以下是代碼的關(guān)鍵部分分析：

主窗口類 (MainFrame)

class MainFrame(wx.Frame):
    def __init__(self):
        super(MainFrame, self).__init__(None, title="Victory 手勢(shì)識(shí)別相機(jī)", size=(800, 600))
        self.camera_panel = CameraPanel(self)
        sizer = wx.BoxSizer(wx.VERTICAL)
        sizer.Add(self.camera_panel, 1, wx.EXPAND)
        self.SetSizer(sizer)

• 創(chuàng)建一個(gè) 800x600 的窗口，包含菜單欄和狀態(tài)欄。
• 將 CameraPanel 添加到布局中，負(fù)責(zé)攝像頭顯示和手勢(shì)檢測(cè)。

攝像頭面板類 (CameraPanel)

初始化

class CameraPanel(wx.Panel):
    def __init__(self, parent):
        super(CameraPanel, self).__init__(parent)
        self.capture = cv2.VideoCapture(0)
        self.timer = wx.Timer(self)
        self.Bind(wx.EVT_TIMER, self.on_timer, self.timer)
        self.timer.Start(100)  # 10 FPS

• 初始化攝像頭并設(shè)置分辨率為 640x480。
• 使用定時(shí)器每 100ms 更新一次畫面（10 FPS）。

手勢(shì)檢測(cè) (detect_gestures)

def detect_gestures(self, frame, display_frame):
    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
    mask = cv2.inRange(hsv, self.lower_skin, self.upper_skin)
    contours, _ = cv2.findContours(mask, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
    
    if len(contours) > 0:
        max_contour = max(contours, key=cv2.contourArea)
        if cv2.contourArea(max_contour) > 5000:
            hull = cv2.convexHull(max_contour, returnPoints=False)
            defects = cv2.convexityDefects(max_contour, hull)
            finger_count = 0
            # 計(jì)算手指數(shù)量和密實(shí)度
            solidity = float(contour_area) / hull_area if hull_area > 0 else 0
            is_victory = (finger_count == 2)
            is_fist = (solidity > 0.8 and finger_count <= 1)
    return is_victory, is_fist, display_frame

• 實(shí)現(xiàn)膚色檢測(cè)、輪廓分析和手勢(shì)判定。
• 返回 Victory 和拳頭手勢(shì)的布爾值，以及帶可視化標(biāo)記的幀。

拍照邏輯 (on_timer)

def on_timer(self, event):
    ret, frame = self.capture.read()
    is_victory, is_fist, display_frame = self.detect_gestures(frame, frame.copy())
    
    if not self.taking_photos and is_victory and time.time() - self.last_detection_time > self.cooldown_period:
        self.taking_photos = True
        self.photo_count = 0
    
    if self.taking_photos and is_fist:
        self.taking_photos = False
    
    if self.taking_photos:
        self.take_photo(frame)
        self.photo_count += 1
        if self.photo_count >= 9:
            self.taking_photos = False

• 每幀檢測(cè)手勢(shì)，根據(jù)狀態(tài)觸發(fā)或停止拍照。
• 使用 self.photo_count 控制連拍 9 張。

使用說明

1. 運(yùn)行程序：

   • 確保攝像頭可用并安裝依賴。
   • 執(zhí)行腳本，界面會(huì)顯示攝像頭畫面。

2. 手勢(shì)交互：

   • Victory 手勢(shì)：伸出食指和中指，觸發(fā)連拍。
   • 拳頭手勢(shì)：握拳，停止拍照。

3. 查看照片：

   • 照片保存到當(dāng)前目錄下的 victory_photos 文件夾。
   • 文件名格式：victory_YYYYMMDD_HHMMSS_X.jpg（X 為序號(hào)）。

優(yōu)化建議

1. 光照適應(yīng)性：

   • 當(dāng)前膚色范圍固定，可根據(jù)環(huán)境動(dòng)態(tài)調(diào)整 lower_skin 和 upper_skin。

2. 識(shí)別精度：

   • 加入機(jī)器學(xué)習(xí)模型（如基于 Haar 特征的手部檢測(cè)器或深度學(xué)習(xí)模型）提升準(zhǔn)確性。

3. 界面增強(qiáng)：

   • 添加更多交互按鈕（如手動(dòng)拍照、調(diào)整參數(shù)）。
   • 支持實(shí)時(shí)調(diào)整窗口大小。

4. 性能優(yōu)化：

   • 降低幀率或分辨率以減少 CPU 占用。
   • 使用多線程分離視頻處理和界面更新。

運(yùn)行結(jié)果

總結(jié)

這個(gè)項(xiàng)目展示了如何結(jié)合 wxPython 和 OpenCV 實(shí)現(xiàn)一個(gè)功能豐富的手勢(shì)識(shí)別相機(jī)。通過簡單的膚色檢測(cè)和輪廓分析，我們可以識(shí)別 Victory 和拳頭手勢(shì)，并控制拍照過程。雖然當(dāng)前實(shí)現(xiàn)依賴于基本計(jì)算機(jī)視覺技術(shù)，但它為更復(fù)雜的模型集成提供了良好的基礎(chǔ)。

以上就是使用wxPython和OpenCV實(shí)現(xiàn)手勢(shì)識(shí)別相機(jī)功能的詳細(xì)內(nèi)容，更多關(guān)于wxPython OpenCV手勢(shì)識(shí)別相機(jī)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論