詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息
一、背景
希望根據(jù)企業(yè)名稱查詢其經(jīng)緯度,所在的省份、城市等信息。直接將企業(yè)名稱傳給百度地圖提供的API,得到的經(jīng)緯度是非常不準(zhǔn)確的,因此希望獲取企業(yè)完整的地理位置,這樣傳給API后結(jié)果會更加準(zhǔn)確。
百度企業(yè)信用提供了企業(yè)基本信息查詢的功能。希望通過Python爬蟲獲取企業(yè)基本信息。目前已基本實現(xiàn)了這一需求。
本文最后會提供具體的代碼。代碼僅供學(xué)習(xí)參考,希望不要惡意爬取數(shù)據(jù)!
二、分析
以蘇寧為例。輸入“江蘇蘇寧”后,查詢結(jié)果如下:
經(jīng)過分析,這里列示的企業(yè)信息是用JavaScript動態(tài)生成的。服務(wù)器最初傳過來的未經(jīng)渲染的HTML如下:
注意其中標(biāo)注出來的JS代碼。有意思的是,企業(yè)基本信息都可以直接從這段JS代碼中獲取,無需構(gòu)造復(fù)雜的參數(shù)。
這是進(jìn)一步查看的結(jié)果,注意那個“resultList”,后面存放的就是頁面中的企業(yè)信息。顯然,利用正則表達(dá)式提取需要的字符串,轉(zhuǎn)換成JSON就可以了。
三、源碼
以下代碼為查詢某個企業(yè)的基本信息提供了API:
#!/usr/bin/env python # -*- coding:utf-8 -*- # @Author: Wild Orange # @Email: jixuanfan_seu@163.com # @Date: 2020-06-19 22:38:14 # @Last Modified time: 2020-07-01 17:33:13 import requests import re import json headers={'User-Agent': 'Chrome/76.0.3809.132'} #正則表達(dá)式提取數(shù)據(jù) re_get_js=re.compile(r'<script>([\s\S]*?)</script>') re_resultList=re.compile(r'"resultList":(\[{.+?}\]}])') def Get_company_info(name): ''' @func: 通過百度企業(yè)信用查詢企業(yè)基本信息 ''' url='https://xin.baidu.com/s?q=%s'%name res=requests.get(url,headers=headers) if res.status_code==200: html=res.text retVal=_parse_baidu_company_info(html) return retVal else: print('無法獲取%s的企業(yè)信息'%name) def _parse_baidu_company_info(html): ''' @function:解析百度企業(yè)信用提供的企業(yè)基本信息 @output: list of dict, [{},{},...] pid: 跳轉(zhuǎn)到具體企業(yè)頁面的參數(shù) bid: 具體企業(yè)頁面URL中的參數(shù) name: 企業(yè)名稱 type: 企業(yè)類型 date: 成立日期 address: 地址 person: 法人代表 status: 存續(xù)狀態(tài) regCap: 注冊資本 scope: 經(jīng)營范圍 ''' js=re_get_js.findall(html)[1] data=re_resultList.search(js) if not data: return compant_list=json.loads(data.group(1)) retVal=[] for x in compant_list: regCap=x['regCap'].replace(',','') if regCap[-1]=='萬': regCap=regCap[:-1] regCap=float(regCap) address=x['domicile'].replace('<em>','').replace('</em>','') temp_v={'pid':x['pid'],'bid':x['bid'],'name':x['titleName'],'type':x['entType'],'date':x['validityFrom'],\ 'address':address,'person':x['legalPerson'],'status':x['openStatus'],'regCap':regCap,\ 'scope':x['scope']} retVal.append(temp_v) return retVal
四、使用方法
直接將需要查詢的企業(yè)名稱傳入Get_company_info:
res=Get_company_info('江蘇蘇寧') print(res)
結(jié)果:
需要注意的是:
返回的是字典構(gòu)成的數(shù)組,每個字典元素代表一家企業(yè)的信息。順序與瀏覽器中顯示的順序相同。字典中參數(shù)的含義已在_parse_baidu_company_info函數(shù)的注釋中說明。程序僅獲取第一頁的信息。如果要查詢多頁,可以修改源碼。程序僅獲取企業(yè)的基本信息,沒有進(jìn)入企業(yè)的具體頁面,如:蘇寧物流具體頁面。不過返回結(jié)果中的pid或bid應(yīng)該能用于構(gòu)造查詢頁面的URL。
最后再次強調(diào):代碼僅供學(xué)習(xí)參考,希望不要惡意爬取數(shù)據(jù)!
到此這篇關(guān)于詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息的文章就介紹到這了,更多相關(guān)Python爬蟲獲取百度企業(yè)信用內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- python 爬取百度文庫并下載(免費文章限定)
- Python實現(xiàn)的爬取百度文庫功能示例
- 用python下載百度文庫的代碼
- python 爬蟲如何實現(xiàn)百度翻譯
- Python爬蟲爬取百度搜索內(nèi)容代碼實例
- Python爬蟲實現(xiàn)百度翻譯功能過程詳解
- python 爬蟲百度地圖的信息界面的實現(xiàn)方法
- python爬蟲之爬取百度音樂的實現(xiàn)方法
- Python爬蟲實現(xiàn)爬取百度百科詞條功能實例
- python爬蟲獲取百度首頁內(nèi)容教學(xué)
- Python爬蟲實現(xiàn)百度圖片自動下載
- Python爬蟲實例_利用百度地圖API批量獲取城市所有的POI點
- python實現(xiàn)百度文庫自動化爬取
相關(guān)文章
Python pkg_resources模塊動態(tài)加載插件實例分析
當(dāng)編寫應(yīng)用軟件時,我們通常希望程序具有一定的擴展性,額外的功能——甚至所有非核心的功能,都能通過插件實現(xiàn),具有可插拔性。特別是使用 Python 編寫的程序,由于語言本身的動態(tài)特性,為我們的插件方案提供了很多種實現(xiàn)方式2022-08-08Python實現(xiàn)RabbitMQ6種消息模型的示例代碼
這篇文章主要介紹了Python實現(xiàn)RabbitMQ6種消息模型的示例代碼,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03Python中str is not callable問題詳解及解決辦法
這篇文章主要介紹了Python中str is not callable問題詳解及解決辦法的相關(guān)資料,需要的朋友可以參考下2017-02-02Python獲取當(dāng)前時間日期的方法總結(jié)
在Python編程中,獲取當(dāng)前的日期和時間是一個常見的需求,它在許多應(yīng)用中都有重要作用,本文為大家詳細(xì)整理了一些Python中的常用方法,希望對大家有所幫助2024-01-01一個Python優(yōu)雅的數(shù)據(jù)分塊方法詳解
在做需求過程中有一個對大量數(shù)據(jù)分塊處理的場景,具體來說就是幾十萬量級的數(shù)據(jù),分批處理,每次處理100個。這時就需要一個分塊功能的代碼。本文為大家分享了一個Python中優(yōu)雅的數(shù)據(jù)分塊方法,需要的可以參考一下2022-05-05