python 爬取微信文章
更新時間:2016年01月30日 11:25:08 投稿:hebedich
本文給大家分享的是使用python通過搜狗入口,爬取微信文章的小程序,非常的簡單實用,有需要的小伙伴可以參考下
本人想搞個采集微信文章的網(wǎng)站,無奈實在從微信本生無法找到入口鏈接,網(wǎng)上翻看了大量的資料,發(fā)現(xiàn)大家的做法總體來說大同小異,都是以搜狗為入口。下文是筆者整理的一份python爬取微信文章的代碼,有興趣的歡迎閱讀
#coding:utf-8 author = 'haoning' **#!/usr/bin/env python import time import datetime import requests** import json import sys reload(sys) sys.setdefaultencoding( "utf-8" ) import re import xml.etree.ElementTree as ET import os #OPENID = 'oIWsFtyel13ZMva1qltQ3pfejlwU' OPENID = 'oIWsFtw_-W2DaHwRz1oGWzL-wF9M&ext' XML_LIST = [] # get current time in milliseconds current_milli_time = lambda: int(round(time.time() * 1000)) def get_json(pageIndex): global OPENID the_headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36', 'Referer': 'http://weixin.sogou.com/gzh?openid={0}'.format(OPENID), 'Host': 'weixin.sogou.com' } url = 'http://weixin.sogou.com/gzhjs?cb=sogou.weixin.gzhcb&openid={0}&page={1}&t={2}'.format(OPENID, pageIndex, current_milli_time()) #url print(url) response = requests.get(url, headers = the_headers) # TO-DO; check if match the reg response_text = response.text print response_text json_start = response_text.index('sogou.weixin.gzhcb(') + 19 json_end = response_text.index(')') - 2 json_str = response_text[json_start : json_end] #get json #print(json_str) # convert json_str to json object json_obj = json.loads(json_str) #get json obj # print json_obj['totalPages'] return json_obj def add_xml(jsonObj): global XML_LIST xmls = jsonObj['items'] #get item #print type(xmls) XML_LIST.extend(xmls) #用新列表擴展原來的列表 **[#www.oksousou.com][2]** # ------------ Main ---------------- print 'play it :) ' # get total pages default_json_obj = get_json(1) total_pages = 0 total_items = 0 if(default_json_obj): # add the default xmls add_xml(default_json_obj) # get the rest items total_pages = default_json_obj['totalPages'] total_items = default_json_obj['totalItems'] print total_pages # iterate all pages if(total_pages >= 2): for pageIndex in range(2, total_pages + 1): add_xml(get_json(pageIndex)) #extend print 'load page ' + str(pageIndex) print len(XML_LIST)
相關(guān)文章
保姆級官方y(tǒng)olov7訓(xùn)練自己的數(shù)據(jù)集及項目部署詳解
最近使用了YOLOv7訓(xùn)練自己的數(shù)據(jù)集,接下來簡單記錄一下項目的部署,這篇文章主要給大家介紹了關(guān)于保姆級官方y(tǒng)olov7訓(xùn)練自己的數(shù)據(jù)集及項目部署的相關(guān)資料,需要的朋友可以參考下2022-08-08一文教你用python編寫Dijkstra算法進行機器人路徑規(guī)劃
迪杰斯特拉(Dijkstra)算法是典型最短路徑算法,用于計算一個節(jié)點到其他節(jié)點的最短路徑,這篇文章主要給大家介紹了關(guān)于利用python編寫Dijkstra算法進行機器人路徑規(guī)劃的相關(guān)資料,需要的朋友可以參考下2021-08-08使用Python實現(xiàn)簡單的學生成績管理系統(tǒng)
這篇文章主要為大家詳細介紹了Python實現(xiàn)學生成績管理系統(tǒng),使用數(shù)據(jù)庫,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下2022-01-01對python中基于tcp協(xié)議的通信(數(shù)據(jù)傳輸)實例講解
今天小編就為大家分享一篇對python中基于tcp協(xié)議的通信(數(shù)據(jù)傳輸)實例講解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07