python使用requests模塊實(shí)現(xiàn)爬取電影天堂最新電影信息
requests是一個(gè)很實(shí)用的Python HTTP客戶(hù)端庫(kù),編寫(xiě)爬蟲(chóng)和測(cè)試服務(wù)器響應(yīng)數(shù)據(jù)時(shí)經(jīng)常會(huì)用到??梢哉f(shuō),Requests 完全滿(mǎn)足如今網(wǎng)絡(luò)的需求。本文重點(diǎn)給大家介紹python使用requests模塊實(shí)現(xiàn)爬取電影天堂最新電影信息,具體內(nèi)容如下所示:
在抓取網(wǎng)絡(luò)數(shù)據(jù)的時(shí)候,有時(shí)會(huì)用正則對(duì)結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行提取,比如 href="https://www.1234.com"等。python的re模塊的findall()函數(shù)會(huì)返回一個(gè)所有匹配到的內(nèi)容的列表,在將數(shù)據(jù)存入數(shù)據(jù)庫(kù)時(shí),列表數(shù)據(jù)類(lèi)型是不被允許的,而是需要將其轉(zhuǎn)換為元組形式。下面看下,str/list/tuple三者之間怎么相互轉(zhuǎn)換。
class forDatas: def __init__(self): pass def str_list_tuple(self): s = 'abcde12345' print('s:', s, type(s)) # str to list l = list(s) print('l:', l, type(l)) # str to tuple t = tuple(s) print('t:', t, type(t)) # str轉(zhuǎn)化為list/tuple,直接進(jìn)行轉(zhuǎn)換即可 # 由list/tuple轉(zhuǎn)換為str,則需要借助join()函數(shù)來(lái)實(shí)現(xiàn) # list to str s1 = ''.join(l) print('s1:', s1, type(s1)) # tuple to str s2 = ''.join(t) print('s2:', s2, type(s2))
str轉(zhuǎn)化為list/tuple,直接進(jìn)行轉(zhuǎn)換即可。而由list/tuple轉(zhuǎn)換為str,則需要借助join()函數(shù)來(lái)實(shí)現(xiàn)。join()函數(shù)是這樣描述的:
""" S.join(iterable) -> str Return a string which is the concatenation of the strings in the iterable. The separator between elements is S. """
join()函數(shù)使用時(shí),傳入一個(gè)可迭代對(duì)象,返回一個(gè)可迭代的字符串,該字符串元素之間的分隔符是“S”。
傳入一個(gè)可迭代對(duì)象,可以使list,tuple,也可以是str。
s = 'asdf1234' sss = '@'.join(s) print(type(sss), sss)
總結(jié)
以上所述是小編給大家介紹的python使用requests模塊實(shí)現(xiàn)爬取電影天堂最新電影信息,希望對(duì)大家有所幫助,如果大家有任何疑問(wèn)請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!
- python爬取豆瓣電影排行榜(requests)的示例代碼
- python使用re模塊爬取豆瓣Top250電影
- 用Python 爬取貓眼電影數(shù)據(jù)分析《無(wú)名之輩》
- Python爬蟲(chóng)爬取電影票房數(shù)據(jù)及圖表展示操作示例
- python實(shí)現(xiàn)的爬取電影下載鏈接功能示例
- Python爬蟲(chóng)——爬取豆瓣電影Top250代碼實(shí)例
- python使用BeautifulSoup與正則表達(dá)式爬取時(shí)光網(wǎng)不同地區(qū)top100電影并對(duì)比
- Python趣味爬蟲(chóng)之爬取愛(ài)奇藝熱門(mén)電影
相關(guān)文章
Android Q之氣泡彈窗的實(shí)現(xiàn)示例
這篇文章主要介紹了Android Q之氣泡彈窗的實(shí)現(xiàn)示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06用Python實(shí)現(xiàn)最速下降法求極值的方法
今天小編就為大家分享一篇用Python實(shí)現(xiàn)最速下降法求極值的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07Python基礎(chǔ)之函數(shù)原理與應(yīng)用實(shí)例詳解
這篇文章主要介紹了Python基礎(chǔ)之函數(shù)原理與應(yīng)用,結(jié)合具體實(shí)例形式詳細(xì)分析了Python函數(shù)的定義、原理、參數(shù)、返回值、嵌套等相關(guān)概念與使用技巧,需要的朋友可以參考下2020-01-01Python實(shí)現(xiàn)PS濾鏡中馬賽克效果示例
這篇文章主要介紹了Python實(shí)現(xiàn)PS濾鏡中馬賽克效果,涉及Python基于skimage庫(kù)的圖形馬賽克效果相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-01-01