Node.js爬取豆瓣數(shù)據(jù)實例分析
一直自以為自己vue還可以，一直自以為webpack還可以，今天在慕課逛node的時候，才發(fā)現(xiàn)，自己還差的很遠。眾所周知，vue-cli基于webpack，而webpack基于node，對node不了解，談什么了解webpack。所以就自己給自己出了一道題，爬取豆瓣數(shù)據(jù)，目前還處于初級階段。今天就淺談爬取到豆瓣的數(shù)據(jù)，再另一個頁面用自己的方式展現(xiàn)，后續(xù)會跟進。
1、需要解決的問題
- 搭建服務(wù)
- 怎么處理爬到的數(shù)據(jù)
- 怎么自動打開默認瀏覽器
2、搭建服務(wù)
搭建服務(wù)有好幾種方式，一開始我用的http，但是http有個弊端就是不能解析https協(xié)議的url，所以就用了express，解析https協(xié)議的網(wǎng)址我用了request包，豆瓣的網(wǎng)址是https的，
今天爬取的是https://movie.douban.com/chart這個網(wǎng)址；如下圖，我要獲取的有三個部分，圖片、電影名字、電影鏈接.
3、怎么處理爬到的數(shù)據(jù)
我們用request爬到的數(shù)據(jù)，怎么處理呢？cheerio包可以讓我們像Jq那樣處理爬到的html數(shù)據(jù)。
①、首先解析數(shù)據(jù)，取到爬取網(wǎng)頁的html數(shù)據(jù)；
②、然后利用cheerio包操作爬到的數(shù)據(jù)，取到你想要的數(shù)據(jù)。
③、取到數(shù)據(jù)，創(chuàng)建html，輸出到頁面。如下圖，我用的字符串拼接，辦法有點笨，還沒有找到更好的辦法。
4、怎么自動打開默認瀏覽器
不知道你有沒有看vue-cli中webpack的配置，自動打開瀏覽器，vue-cli用的opn包.
這個包用起來很方便，引入包，直接調(diào)用opn（url）即可；
5、展示
相關(guān)文章
這篇文章主要介紹了Node.js 進程平滑離場剖析小結(jié)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-01-01
這篇文章主要給大家介紹了利用node.js寫一個爬取知乎妹紙圖的小爬蟲，文中給出了詳細的示例代碼和介紹，對大家具有一定的參考學(xué)習(xí)價值，需要的朋友可以參考學(xué)習(xí)，下面來一起看看吧。2017-05-05
Node.js和其他語言一樣,也有文件操作,下面這篇文章主要給大家介紹了關(guān)于node.js文件系統(tǒng)之文件寫入的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2023-03-03
完美解決node.js中使用https請求報CERT_UNTRUSTED的問題
下面小編就為大家?guī)硪黄昝澜鉀Qnode.js中使用https請求報CERT_UNTRUSTED的問題。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-01-01
這篇文章主要給大家介紹了關(guān)于node.js增刪改查保姆級教程的相關(guān)資料,node.js接口可以實現(xiàn)增加、刪除、修改和查詢操作,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2023-07-07
Node.js使用MongoDB的ObjectId作為查詢條件的方法
這篇文章主要介紹了Node.js使用MongoDB的ObjectId作為查詢條件的方法，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
Node.js中Bootstrap-table的兩種分頁的實現(xiàn)方法
這篇文章主要介紹了Node.js中Bootstrap-table的兩種分頁的使用方法,需要的朋友可以參考下2017-09-09
這篇文章主要介紹了node高并發(fā)原理機制,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-10-10
如何設(shè)置process.env.NODE_ENV生產(chǎn)環(huán)境模式
process.env.NODE_ENV默認只有兩種狀態(tài)即development和production，本文主要介紹了process.env.NODE_ENV設(shè)置生產(chǎn)環(huán)境模式，感興趣的可以了解一下2021-09-09
詳解Node.js amqplib 連接 Rabbit MQ最佳實踐
這篇文章主要介紹了詳解Node.js amqplib 連接 Rabbit MQ最佳實踐，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-01-01