opencv 識別微信登錄驗證滑動塊位置

更新時間：2018年08月07日 09:26:18 作者：鏘墻搶嗆

這篇文章主要介紹了opencv 識別微信登錄驗證滑動塊位置及各自的優(yōu)缺點,需要的朋友可以參考下

目標(biāo)

識別微信登錄新賬號，需要拖動滑塊驗證時，目標(biāo)塊相對于圖片的位置

前提相關(guān)信息:

滑塊與目標(biāo)位置的距離是隨機的，且在一定范圍內(nèi)，設(shè)其最大最小值為[min, max]
滑塊滑到距離目標(biāo)左右10個單位的誤差內(nèi)也可以通過驗證
每次的滑塊驗證碼有三次重試的機會，如果三次驗證不過，微信會自動換驗證碼
可以無限次數(shù)刷新驗證碼
應(yīng)用機器學(xué)習(xí)應(yīng)該能達(dá)到出色的識別率，但考慮到時間+學(xué)習(xí)成本，不采用機器學(xué)習(xí)的方式

相關(guān)圖片信息

截圖 - 通過android自帶的截圖工具截取驗證的界面，在代碼中為screenshot.jpg

三種方案

1.隨機拖動

基本思路:

每次驗證碼的三次重試機會，分別采用min + 10, (min + max)/2, max - 10三個位置進行拖動。

若不通過，則刷新驗證碼，重復(fù)上述過程

優(yōu)點：

單張驗證碼通過率下等
不用截圖、下載圖片與滑塊圖
不需要加入python-opencv層
因為可以無限重試，試的次數(shù)多了就能過

缺點:

判斷的位置是根據(jù)min、max推斷出來的大致范圍
min、max的值如果變化得很明顯，那么程序也要響應(yīng)修改min與max的值

2.根據(jù)顏色識別圖片目標(biāo)位置 (我打算采用這個方案)

基本思路:

根據(jù)目標(biāo)位置的顏色的規(guī)律性(一般都是灰黑灰黑的)，制定一個顏色范圍

從圖片中用inRange將圖片轉(zhuǎn)換成黑白圖，白色部分為原圖中符合顏色范圍的區(qū)域

用findContours找出所有輪廓，根據(jù)輪廓所涉及的元素點的最多的幾項判斷目標(biāo)位置的大致范圍

代碼實現(xiàn)

# 讀取截圖
screenshot = cv2.imread('screenshot.jpg')
# 篩選出符合顏色區(qū)間的區(qū)域
inRange = cv2.inRange(screenshot, np.array([90, 90, 90]), np.array([115, 115, 115]))
# 從圖中找出所有的輪廓
_, cnts, _ = cv2.findContours(inRange.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 對所有輪廓做排序，排序依據(jù)是每個輪廓包含的點的數(shù)量
cnts.sort(key=len, reverse=True)
# 取前兩個輪廓(有些圖片目標(biāo)位置不一定是第一個輪廓)
for cnt in cnts[0: 2]:
  xSum = 0
  xCounter = 0
  for position in cnt:
    xCounter += 1
    xSum += position[0][0]
  # 算出所有點的X坐標(biāo)平均值，并在此基礎(chǔ)上做一個60像素的偏移，這個偏移可以根據(jù)自己手機進行調(diào)整
  x = int(xSum / xCounter - 60)
  # 在截圖上畫一條紅線，表示識別的x坐標(biāo)位置
  cv2.line(screenshot, (x, 0), (x, 500), (0, 0, 255), 5)
cv2.imshow("screenshot", screenshot)
cv2.waitKey(0)

優(yōu)點:

單張驗證碼通過率中等
不用下載圖片與滑塊圖

缺點:

判斷的位置仍然是大致范圍，較第一種隨機位置范圍精確性有較大提升
需要加入python-opencv層
需要截圖
根據(jù)滑塊識別目標(biāo)位置

基本思路:

滑塊與目標(biāo)位置的區(qū)別在于，目標(biāo)位置加了一層灰黑色透明前景色，圖片處理時先給滑塊圖片加上相同的灰黑色透明前景色

用處理過的滑塊去匹配目標(biāo)位置

代碼實現(xiàn):

# 讀取滑塊圖片，并給其加上相同的灰黑色透明前景色，再進行灰化
block = cv2.imread('block.jpg')
blockCopy = block.copy()
w, h = block.shape[:-1]
cv2.rectangle(blockCopy, (0, 0), (w, h), (47, 47, 47), -1)
cv2.addWeighted(blockCopy, 0.7, block, 0.3, 0, block)
block = cv2.cvtColor(block, cv2.COLOR_RGB2GRAY)
# 讀取驗證碼圖片，并灰化
captcha = cv2.imread('captcha.jpg')
captchaGray = cv2.cvtColor(captcha, cv2.COLOR_RGB2GRAY)
# 尋找captcha中匹配block的位置
res = cv2.matchTemplate(captchaGray, block, cv2.TM_SQDIFF)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
# 在最符合的畫一個矩形
cv2.rectangle(captcha, min_loc, (min_loc[0] + w, min_loc[1] + h), (0, 0, 255), -1)
cv2.imshow('block', block)
cv2.imshow("captcha", captcha)
cv2.waitKey(0);

優(yōu)點: