python爬蟲之自制英漢字典
最近在微信公眾號中看到有人用Python做了一個爬蟲,可以將輸入的英語單詞翻譯成中文,或者把中文詞語翻譯成英語單詞。筆者看到了,覺得還蠻有意思的,因此,決定自己也寫一個。
首先我們的爬蟲要能將英語單詞翻譯成中文,因此,我們就需要一個網(wǎng)站幫助我們做這件事情。于是,我們選定有道詞典,網(wǎng)址為: http://dict.youdao.com/ 。在該網(wǎng)頁中我們輸入單詞nice,就會出來這個單詞的意思,如下圖:
針對上述過程,對于熟悉爬蟲的讀者來說,是不難完成將輸入的單詞的中文意思從網(wǎng)頁中提取出來的。筆者的代碼如下:
import requests from bs4 import BeautifulSoup # get word from Command line word = input("Enter a word (enter 'q' to exit): ") # main body while word != 'q': # 'q' to exit try: # 利用GET獲取輸入單詞的網(wǎng)頁信息 r = requests.get(url='http://dict.youdao.com/w/%s/#keyfrom=dict2.top'%word) # 利用BeautifulSoup將獲取到的文本解析成HTML soup = BeautifulSoup(r.text, "lxml") # 獲取字典的標簽內(nèi)容 s = soup.find(class_='trans-container')('ul')[0]('li') # 輸出字典的具體內(nèi)容 for item in s: if item.text: print(item.text) print('='*40+'\n') except Exception: print("Sorry, there is a error!\n") finally: word = input( "Enter a word (enter 'q' to exit): ")
運行上述Python代碼,結果如下:
上述過程無疑是簡單的,下面,我們增加一些新的功能,如下:
1.將Python代碼打包成exe文件;
2.在CMD中輸出單詞的中文意思時,輸出為彩色文字。
利用ctypes模塊,我們可以對Windows系統(tǒng)進行簡單操作,而利用pyinstaller模塊,我們可以將自己的Python代碼打包成exe文件。
改修的Python代碼如下:
import requests from bs4 import BeautifulSoup import random import ctypes STD_INPUT_HANDLE = -10 STD_OUTPUT_HANDLE = -11 STD_ERROR_HANDLE = -12 FOREGROUND_DARKBLUE = 0x01 # 暗藍色 FOREGROUND_DARKGREEN = 0x02 # 暗綠色 FOREGROUND_DARKSKYBLUE = 0x03 # 暗天藍色 FOREGROUND_DARKRED = 0x04 # 暗紅色 FOREGROUND_DARKPINK = 0x05 # 暗粉紅色 FOREGROUND_DARKYELLOW = 0x06 # 暗黃色 FOREGROUND_DARKWHITE = 0x07 # 暗白色 FOREGROUND_DARKGRAY = 0x08 # 暗灰色 FOREGROUND_BLUE = 0x09 # 藍色 FOREGROUND_GREEN = 0x0a # 綠色 FOREGROUND_SKYBLUE = 0x0b # 天藍色 FOREGROUND_RED = 0x0c # 紅色 FOREGROUND_PINK = 0x0d # 粉紅色 FOREGROUND_YELLOW = 0x0e # 黃色 FOREGROUND_WHITE = 0x0f # 白色 std_out_handle = ctypes.windll.kernel32.GetStdHandle(STD_OUTPUT_HANDLE) # 設置文字顏色 def set_cmd_text_color(color, handle=std_out_handle): Bool = ctypes.windll.kernel32.SetConsoleTextAttribute(handle, color) return Bool # 重置文字顏色為白色 def resetColor(): set_cmd_text_color(FOREGROUND_DARKWHITE) # 以指定顏色輸出文字 def cprint(mess, color): color_dict = {'暗藍色': FOREGROUND_DARKBLUE, '暗綠色': FOREGROUND_DARKGREEN, '暗天藍色': FOREGROUND_DARKSKYBLUE, '暗紅色': FOREGROUND_DARKRED, '暗粉紅色': FOREGROUND_DARKPINK, '暗黃色': FOREGROUND_DARKYELLOW, '暗白色': FOREGROUND_DARKWHITE, '暗灰色': FOREGROUND_DARKGRAY, '藍色': FOREGROUND_BLUE, '綠色': FOREGROUND_GREEN, '天藍色': FOREGROUND_SKYBLUE, '紅色': FOREGROUND_RED, '粉紅色': FOREGROUND_PINK, '黃色': FOREGROUND_YELLOW, '白色': FOREGROUND_WHITE } set_cmd_text_color(color_dict[color]) print(mess) resetColor() # 顏色列表 color_list = ['暗藍色','暗綠色','暗天藍色','暗紅色','暗粉紅色','暗黃色','暗白色','暗灰色',\ '藍色','綠色','天藍色','紅色','粉紅色','黃色','白色'] # print information of this application print('#'*60) print('This app is used for translating English word to Chineses!') print('#'*60+'\n') # get word from Command line word = input("Enter a word (enter 'q' to exit): ") # main body while word != 'q': # 'q' to exit try: # 利用GET獲取輸入單詞的網(wǎng)頁信息 r = requests.get(url='http://dict.youdao.com/w/%s/#keyfrom=dict2.top'%word) # 利用BeautifulSoup將獲取到的文本解析成HTML soup = BeautifulSoup(r.text, "lxml") # 獲取字典的標簽內(nèi)容 s = soup.find(class_='trans-container')('ul')[0]('li') # 隨機選擇輸出的顏色 random.shuffle(color_list) # 輸出字典的具體內(nèi)容 for item in s: if item.text: cprint(item.text, color_list[0]) print('='*40+'\n') except Exception: print("Sorry, there is a error!\n") finally: word = input( "Enter a word (enter 'q' to exit): ")
利用pyinstaller模塊,將上述程序打包為exe文件。比如我們剛才的Python代碼的文件名為English_2_Chinese_dict.py,位于E盤下的eng_2_chn文件夾下,我們可以在CMD中先切換到E盤下eng_2_chn文件夾,再輸入以下命令:
pyinstaller -F English_2_Chinese_dict.py
這樣就會生成一些文件,如下圖:
我們想要的生成的exe文件位于dist文件夾下,運行該exe文件,并測試,如下:
這樣我們也就實現(xiàn)了上述新增的功能,能夠更加方便地運行我們的程序。怎么樣,是不是覺得Python爬蟲酷酷的?不知作為新手的你,有沒有一點心動呢?趕緊學起來吧。
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關文章
tensorflow 實現(xiàn)自定義layer并添加到計算圖中
今天小編就為大家分享一篇tensorflow 實現(xiàn)自定義layer并添加到計算圖中,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02Python使用Pyqt5實現(xiàn)簡易瀏覽器(最新版本測試過)
這篇文章主要介紹了Python使用Pyqt5實現(xiàn)簡易瀏覽器(最新版本測試過),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-04-04django的auth認證,authenticate和裝飾器功能詳解
這篇文章主要介紹了django的auth認證,authenticate和裝飾器功能詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-07-07Python利用imshow制作自定義漸變填充柱狀圖(colorbar)
這篇文章主要介紹了Python利用imshow制作自定義漸變填充柱狀圖(colorbar),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-12-12