import sys
import requests
from bs4 import BeautifulSoup

# 推送百度爬蟲(chóng)
def push_page(url):
    headers = {
        'User-Agent': 'curl/7.12.1',
        'Host': 'data.zz.baidu.com',
        'Content-Type': 'text/plain',
        'Content-Length': '83'
    }
    urls = "http://data.zz.baidu.com/urls?site=https://www.lyshark.com&token=xxxxxxx"
    try:
        html = requests.post(urls, headers=headers, data=url, timeout=5).text
        push_status = eval(html)['success']
        if push_status == 1:
            return 1
        else:
            return 0
    except:
        return 0

# 獲取路徑
def get_page(page):
    html = requests.get(page,timeout=5).text
    try:
        bs = BeautifulSoup(html,"html.parser")
        ret = bs.select('div[class="container"] div[class="row"] h2[class="post-title"] a')
        for item in ret:
            push_url = item.get('href')
            push_ref = push_page(push_url)
            print("推送: {} --> 狀態(tài): {}".format(push_url,push_ref))
        return 1
    except:
        return 0

if __name__ == "__main__":
    arg = sys.argv
    get_page(arg[1])

補(bǔ)充

在百度的站長(zhǎng)平臺(tái)上介紹了鏈接提交方法，目前有這四種：

主動(dòng)推送：最快的提交方式，推薦將站點(diǎn)當(dāng)天新產(chǎn)出鏈接立即通過(guò)此方式推送給百度，以保證新鏈接可以及時(shí)被百度收錄。

自動(dòng)推送：最為便捷的提交方式，將自動(dòng)推送的JS代碼部署在站點(diǎn)的每一個(gè)頁(yè)面源代碼中，部署代碼的頁(yè)面在每次被瀏覽時(shí)，鏈接會(huì)被自動(dòng)推送給百度?？梢耘c主動(dòng)推送配合使用。

sitemap：將網(wǎng)站鏈接放到sitemap中，然后將sitemap的地址提交給百度。百度會(huì)周期性的抓取檢查您提交的sitemap，對(duì)其中的鏈接進(jìn)行處理，但收錄速度慢于主動(dòng)推送。

手動(dòng)提交：操作起來(lái)麻煩。

為了讓網(wǎng)站最新的內(nèi)容更加及時(shí)的提交給百度，使用主動(dòng)推送就很必要，百度給的例子中沒(méi)有 Python 的。根據(jù) Google 了一下，還真找到了不錯(cuò)的腳本，分享收藏一下。

以下腳本使用 Python3，未在 Python2 環(huán)境下測(cè)試過(guò)。