使用phantomjs進行網(wǎng)頁抓取的實現(xiàn)代碼

更新時間：2014年09月29日 00:21:30 投稿：mdxy-dxy

這篇文章主要介紹了使用phantomjs進行網(wǎng)頁抓取的實現(xiàn)代碼,需要的朋友可以參考下

phantomjs因為是無頭瀏覽器可以跑js，所以同樣可以跑dom節(jié)點，用來進行網(wǎng)頁抓取是再好不過了。

比如我們要批量抓取網(wǎng)頁 “歷史上的今天” 的內容。網(wǎng)站

對dom結構的觀察發(fā)現(xiàn)，我們只需要取到 .list li a的title值即可。因此我們利用高級選擇器構建dom片段

var d= ''
var c = document.querySelectorAll('.list li a')
var l = c.length;
for(var i =0;i<l;i++){
d=d+c[i].title+'\n'
}

之后只需要讓js代碼在phantomjs里跑起來即可~

var page = require('webpage').create();
	page.open('http://www.todayonhistory.com/', function (status) { //打開頁面
		if (status !== 'success') {
			console.log('FAIL to load the address');
		} else {
			console.log(page.evaluate(function () {
					var d= ''
					var c = document.querySelectorAll('.list li a')
					var l = c.length;
					for(var i =0;i<l;i++){
					d=d+c[i].title+'\n'
					}
						return d
				}))

		}
		phantom.exit();
	});

最終我們另存為catch.js，在dos里面執(zhí)行一下，輸出內容到txt文件(也可以用phantomjs的文件api來寫)

您可能感興趣的文章:

Openlayers顯示瓦片網(wǎng)格信息的方法
這篇文章主要為大家詳細介紹了Openlayers顯示瓦片網(wǎng)格信息，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2020-09-09
JavaScript控制兩個列表框listbox左右交換數(shù)據(jù)的方法
這篇文章主要介紹了JavaScript控制兩個列表框listbox左右交換數(shù)據(jù)的方法,實例分析了javascript操作列表框listbox的技巧,非常具有實用價值,需要的朋友可以參考下
2015-03-03
Javascript Echarts空氣質量地圖效果詳解
這篇文章主要介紹了詳解Javascript利用echarts畫空氣質量地圖，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2021-10-10
bootstrap組件之導航組件使用方法
Bootstrap 中的導航組件都依賴同一個 .nav 類和ul，狀態(tài)類也是共用的。改變修飾類可以改變樣式。接下來通過本文給大家介紹bootstrap 導航組件使用方法，一起看看吧
2017-01-01
js與C#進行時間戳轉換
最近在做一個項目，需要JS時間戳轉成C#里的時間，再把C#里的時間戳轉成JS的時間,就仔細研究了下js與C#進行轉換的注意要點，這里記錄下來，有需要的小伙伴自己拿走。
2014-11-11
js中symbol類型以及symbol的三大應用場景詳解
Symbol是ES6新推出的一種基本類型,它表示獨一無二的值,它可以接受一個字符串作為參數(shù),帶有相同參數(shù)的兩個Symbol值不相等,這個參數(shù)只是表示Symbol值的描述而已,下面這篇文章主要給大家介紹了關于js中symbol類型以及symbol的三大應用場景,需要的朋友可以參考下
2022-09-09
js實現(xiàn)模糊匹配功能
這篇文章主要為大家詳細介紹了js實現(xiàn)模糊匹配功能，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2017-02-02
JavaScript中的方法調用詳細介紹
這篇文章主要介紹了JavaScript中的方法調用詳細介紹,JavaScript中,如果function屬于一個對象,那么通過對象來訪問該function的行為稱之為“方法調用”,需要的朋友可以參考下
2014-12-12
JavaScript常用的3種彈出框(提示框?alert/確認框?confirm/輸入框?prompt)
三種彈框在系統(tǒng)中都是同步執(zhí)行的，也就是說，三種彈框中的任一彈框彈出，代碼都不在執(zhí)行，直到點擊確認或取消，關閉彈窗后，代碼繼續(xù)執(zhí)行，本文通過實例代碼給大家分享JS常用的3種彈出框，感興趣的朋友一起看看吧
2022-07-07
微信小程序獲取位置展示地圖并標注信息的實例代碼
這篇文章主要介紹了微信小程序獲取位置展示地圖并標注信息的實例代碼，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下
2019-09-09