如何基于Python爬蟲爬取美團酒店信息
一、分析網(wǎng)頁
網(wǎng)站的頁面是 JavaScript 渲染而成的,我們所看到的內(nèi)容都是網(wǎng)頁加載后又執(zhí)行了JavaScript代碼之后才呈現(xiàn)出來的,因此這些數(shù)據(jù)并不存在于原始 HTML 代碼中,而 requests 僅僅抓取的是原始 HTML 代碼。抓取這種類型網(wǎng)站的頁面數(shù)據(jù),解決方案如下:
分析 Ajax,很多數(shù)據(jù)可能是經(jīng)過 Ajax 請求時候獲取的,所以可以分析其接口。
在XHR里可以找到,Request URL有幾個關鍵參數(shù),uuid和cityId是城市標識,offset偏移量可以控制翻頁,分析網(wǎng)頁發(fā)現(xiàn),第x頁的offset為:(x-1)*20,limit表示每頁有20條信息,startDay和endDay為當前的日期。
在Preview里可以找到每頁的20條信息
模擬JavaScript渲染過程,直接抓取渲染后的結果。
selenium和pyppeteer爬蟲就是用的這種方法
二、爬取酒店信息
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s') url = "https://ihotel.meituan.com/hbsearch/HotelSearch" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36", "Referer": "https://hotel.meituan.com/chengdu" } wb = openpyxl.Workbook() sheet = wb.active sheet.append(['酒店名稱', '酒店地址', '酒店類型', '最低價', '評價', '評論數(shù)', '經(jīng)度', '緯度']) def hotel_data(x): data = { 'utm_medium': 'pc', 'version_name': 999.9, 'cateId': 20, 'attr_28': 129, 'uuid': '5D4E443EC83DDD49B73F317921EAE16C7B492A634A67FA261773890F730A5932@1600263777783', 'cityId': 59, 'offset': x * 20, 'limit': 20, 'startDay': 20200916, 'endDay': 20200916, 'q': '', 'sort': 'defaults', 'X-FOR-WITH': '47zbBAV+k1e7QrnKt4lEVXrmtOE9w2OpFfGsKf539CDdXIw4r2V/qICcWVeNACGHWNbD6iL4huPyRVdkNJJwR6dqcoQMyzjUE3cQGWr6YZOwANQOlCSrZ7m1+aahwcnh/dTfaJLMZfxWaJQEISBuKbiMgDC8Vr4eaeWiYASkLl0ByB96MOUz7gfjUTbhlV0ZXvZ/ucwNcK3zxTQjmoBINsAY4HwpKQLpOV2IqV1CtPg=', } res = requests.get(url, headers=headers, params=data) time.sleep(random.randint(1, 3)) results = json.loads(res.text)['data']['searchresult'] for con in results: name = con['name'] # 酒店名稱 addr = con['addr'] # 酒店地址 star = con['hotelStar'] # 酒店類型 price = con['lowestPrice'] # 最低價 scoreIntro = con['scoreIntro'] # 評價 comments = con['commentsCountDesc'] # 評論數(shù) lng, lat = con['lng'], con['lat'] # 經(jīng)緯度 data = [name, addr, star, price, scoreIntro, comments, lng, lat] sheet.append(data) logging.info(data)
程序運行成功,酒店信息保存到了Excel。
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關文章
Pycharm創(chuàng)建項目時如何自動添加頭部信息
這篇文章主要介紹了Pycharm創(chuàng)建項目時 自動添加頭部信息,需要的朋友可以參考下2019-11-11python DataFrame數(shù)據(jù)格式化(設置小數(shù)位數(shù),百分比,千分位分隔符)
本文主要介紹了python DataFrame數(shù)據(jù)格式化,例如設置小數(shù)位數(shù),百分比,千分位分隔符,具有一定的參考價值,感興趣的可以了解一下2022-03-03基于Python實現(xiàn)音樂播放器的實現(xiàn)示例代碼
這篇文章主要介紹了如何利用Python編寫簡易的音樂播放器,文中的示例代碼講解詳細,具有一的參考價值,需要的小伙伴可以參考一下2022-04-04完美解決TensorFlow和Keras大數(shù)據(jù)量內(nèi)存溢出的問題
這篇文章主要介紹了完美解決TensorFlow和Keras大數(shù)據(jù)量內(nèi)存溢出的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07Python flask框架實現(xiàn)查詢數(shù)據(jù)庫并顯示數(shù)據(jù)
這篇文章主要介紹了Python flask框架實現(xiàn)查詢數(shù)據(jù)庫并顯示數(shù)據(jù),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-06-06