快捷導(dǎo)航

python 爬取英雄聯(lián)盟皮膚圖片

更新時(shí)間：2021年05月22日 08:52:16 作者：秋無(wú)之地

還記得那些年一起網(wǎng)吧開(kāi)黑通宵的日子嗎？《英雄聯(lián)盟》絕對(duì)是大學(xué)時(shí)期的風(fēng)靡游戲，即使畢業(yè)多年的大學(xué)同學(xué)相聚，難免不懷念一番當(dāng)時(shí)一起玩《英雄聯(lián)盟》的日子。今天就給大家分享一下英雄及皮膚圖片的爬蟲(chóng)。

從上面網(wǎng)址可以看到所有英雄都在，按下F12查看源代碼，發(fā)現(xiàn)英雄及皮膚圖片并沒(méi)有直接給出，而是隱藏在JS文件中。這時(shí)候需要點(diǎn)開(kāi)Network，找到j(luò)s窗口，刷新網(wǎng)頁(yè)，就看到一個(gè)champion.js的選項(xiàng)，點(diǎn)擊可以看到一個(gè)字典——里面就包含了所有英雄的名字（英文）以及對(duì)應(yīng)的編號(hào)（如下圖）。

但是只有英雄的名字（英文）以及對(duì)應(yīng)的編號(hào)并不能找到圖片地址，于是回到網(wǎng)頁(yè)，隨便點(diǎn)開(kāi)一個(gè)英雄，跳轉(zhuǎn)頁(yè)面后發(fā)現(xiàn)英雄及皮膚的圖片都在，但要下載還需要找到原地址，這是鼠標(biāo)右擊選擇“在新標(biāo)簽頁(yè)中打開(kāi)”，新的網(wǎng)頁(yè)才是圖片的原地址（如下圖）。

圖中紅色框就是我們需要的圖片地址，經(jīng)過(guò)分析知道：每一個(gè)英雄及皮膚的地址只有編號(hào)不一樣（http://ossweb-img.qq.com/images/lol/web201310/skin/big266000.jpg），而該編號(hào)有6位，前3位表示英雄，后三位表示皮膚。剛才找到的js文件中恰好有英雄的編號(hào)，而皮膚的編碼可以自己定義，反正每個(gè)英雄皮膚不超過(guò)20個(gè)，然后組合起來(lái)就可以了。

圖片地址搞掂都就可以開(kāi)始寫(xiě)程序了：

第一步：獲取js字典

def path_js(url_js):
    res_js = requests.get(url_js, verify = False).content
    html_js = res_js.decode("gbk")
    pat_js = r'"keys":(.*?),"data"'
    enc = re.compile(pat_js)
    list_js = enc.findall(html_js)
    dict_js = eval(list_js[0])
    return dict_js

第二步：從 js字典中提取到key值生成url列表

def path_url(dict_js):
    pic_list = []
    for key in dict_js:
        for i in range(20):
            xuhao = str(i)
            if len(xuhao) == 1:
                num_houxu = "00" + xuhao
            elif len(xuhao) == 2:
                num_houxu = "0" + xuhao
            numStr = key+num_houxu
            url = r'http://ossweb-img.qq.com/images/lol/web201310/skin/big'+numStr+'.jpg'
            pic_list.append(url)
    print(pic_list)
    return pic_list

第三步：從 js字典中提取到value值生成name列表

def name_pic(dict_js, path):
    list_filePath = []
    for name in dict_js.values():
        for i in range(20):
            file_path = path + name + str(i) + '.jpg'
            list_filePath.append(file_path)
    return list_filePath

第四步：下載并保存數(shù)據(jù)

def writing(url_list, list_filePath):
    try:
        for i in range(len(url_list)):
            res = requests.get(url_list[i], verify = False).content
            with open(list_filePath[i], "wb") as f:
                f.write(res)

    except Exception as e:
        print("下載圖片出錯(cuò),%s" %(e))
        return False

執(zhí)行主程序：

if __name__ == '__main__':
    url_js = r'http://lol.qq.com/biz/hero/champion.js'
    path = r'./data/'   #圖片存在的文件夾
    dict_js = path_js(url_js)
    url_list = path_url(dict_js)
    list_filePath = name_pic(dict_js, path)
    writing(url_list, list_filePath)

運(yùn)行后會(huì)在控制臺(tái)打印出每一張圖片的網(wǎng)址：