powershell網(wǎng)絡(luò)蜘蛛解決亂碼問題

更新時間：2017年10月01日 20:07:17 作者：傳教士

這篇文章主要介紹了powershell網(wǎng)絡(luò)蜘蛛解決亂碼問題,需要的朋友可以參考下

抓取（爬取）網(wǎng)上信息的腳本程序，俗稱網(wǎng)絡(luò)蜘蛛。
powershell中自帶了這樣的兩個命令，【Invoke-WebRequest】和【Invoke-RestMethod】，但這兩個命令有時候會亂碼。

現(xiàn)在轉(zhuǎn)帖分享，某個【歪果仁】寫的腳本。來源于墻外出處： https://gist.github.com/angel-vladov/9482676

核心代碼

function Read-HtmlPage {
param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)

# Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
[Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
[Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
$Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
$Response = $Reader.ReadToEnd()
$Reader.Close()

# Create the document class
[mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
$Doc.IHTMLDocument2_write($Response)

# Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
$Doc

#powershell 傳教士 轉(zhuǎn)帖并修改的文章 2016-01-01, 允許再次轉(zhuǎn)載，但必須保留名字和出處，否則追究法律責任

}

原文函數(shù)

function Read-HtmlPage {
  param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)

  # Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
  [Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
  [Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
  $Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
  $Response = $Reader.ReadToEnd()
  $Reader.Close()

  # Create the document class
  [mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
  $Doc.IHTMLDocument2_write($Response)
  
  # Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
  $Doc
}

PowerShell function you can use for reading UTF8 encoded HTML pages content. The built in Invoke-WebRequest and Invoke-RestMethod fail miserably.

相關(guān)文章

Powershell小技巧之等待輸入一個按鍵
本文主要介紹了實現(xiàn)當一個腳本使用PS控制臺啟動時，你可能想要在中間穿插一個“輸入任意鍵”的方法，非常簡單實用，有需要的朋友可以參考下
2014-09-09
PowerShell中調(diào)用.NET對象的靜態(tài)方法、靜態(tài)屬性和類方法、類屬性例子
這篇文章主要介紹了PowerShell中調(diào)用.NET對象的靜態(tài)方法、靜態(tài)屬性和類方法、類屬性例子,即PowerShell中如何使用.NET對象的一些方法,需要的朋友可以參考下
2014-08-08
Powershell中顯示隱藏文件的方法
這篇文章主要介紹了Powershell中顯示隱藏文件的方法,本文使用是是Get-ChildItem檢索文件,加上-Hidden參數(shù)就可以顯示隱藏文件了,需要的朋友可以參考下
2015-01-01
PowerShell Out-File向只讀文件寫入內(nèi)容的方法
這篇文章主要介紹了PowerShell Out-File向只讀文件寫入內(nèi)容的方法,只需要加一個-Force參數(shù)即可,需要的朋友可以參考下
2014-08-08
Windows Powershell過濾管道結(jié)果
通過管道可以過濾某些對象和對象的屬性，這個功能很實用，因為很多時候我們并不是對所有的結(jié)果感興趣，可能只會對某些結(jié)果感興趣。
2014-09-09
PowerShell腳本實現(xiàn)網(wǎng)卡DHCP自動獲取IP地址、設(shè)置靜態(tài)IP地址的方法
這篇文章主要介紹了PowerShell腳本實現(xiàn)網(wǎng)卡DHCP自動獲取IP地址、設(shè)置靜態(tài)IP地址的方法,本文同時講解了用PowerShell設(shè)置網(wǎng)卡DHCP、靜態(tài)IP的方法,需要的朋友可以參考下
2014-08-08
PowerShell使用Clear-Content命令刪除、清空文件內(nèi)容的例子
這篇文章主要介紹了PowerShell使用Clear-Content命令刪除、清空文件內(nèi)容的例子,并對Clear-Content作了介紹,需要的朋友可以參考下
2014-08-08
PowerShell使用枚舉變量定義帶智能提示功能的函數(shù)參數(shù)
這篇文章主要介紹了PowerShell使用枚舉變量定義帶智能提示功能的函數(shù)參數(shù),但定義后只在ISE當中有效,需要的朋友可以參考下
2014-07-07
Powershell讀取PFX證書并輸入密碼的腳本分享
這篇文章主要介紹了Powershell讀取PFX證書并輸入密碼的腳本分享,本文實現(xiàn)直接用腳本輸入密碼,避免了手動輸入密碼的麻煩,需要的朋友可以參考下
2014-11-11
你應該選擇 Powershell 的10個理由(拋棄 cmd)
Windows平臺的開發(fā)者們，是時候拋棄 cmd 了，這篇文章主要介紹了你應該選擇 Powershell 的10個理由,需要的朋友可以參考下
2017-10-10