C# 抓取網頁內容的方法
1、抓取一般內容
需要三個類：WebRequest、WebResponse、StreamReader
所需命名空間：System.Net、System.IO
核心代碼：
view plaincopy to clipboardprint?
WebRequest request = WebRequest.Create("http://chabaoo.cn/");
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
WebRequest 類的 Create 為靜態(tài)方法，參數(shù)為要抓取的網頁的網址；
Encoding 指定編碼，Encoding 中有屬性 ASCII、UTF32、UTF8 等全球通用的編碼，但沒有 gb2312 這個編碼屬性，所以我們使用 GetEncoding 獲得 gb2312 編碼。
示例：
view plaincopy to clipboardprint?
<%@ Page Language="C#" %>
<%@ Import Namespace="System.Net" %>
<%@ Import Namespace="System.IO" %>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<mce:script runat="server"><!--
void Page_Load(object sender, EventArgs e)
{
try
{
WebRequest request = WebRequest.Create("http://chabaoo.cn/");
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
tb.Text = reader.ReadToEnd();
reader.Close();
reader.Dispose();
response.Close();
}
catch (Exception ex)
{
tb.Text = ex.Message;
}
}
// --></mce:script>
<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
<title>抓取網頁內容 - 千一網絡</title>
</head>
<body>
<form id="form1" runat="server">
<div>
<asp:TextBox ID="tb" runat="server" Width="500" Height="300" TextMode="multiLine"></asp:TextBox>
</div>
</form>
</body>
</html>
2 抓取網頁內容－圖片
需要四個類：WebRequest、WebResponse、Stream、FileStream。
示例：
view plaincopy to clipboardprint?
<%@ Page Language="C#" %>
<%@ Import Namespace="System.Net" %>
<%@ Import Namespace="System.IO" %>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<mce:script runat="server"><!--
void Page_Load(object sender, EventArgs e)
{
try
{
WebRequest request = WebRequest.Create("http://chabaoo.cn/images/logo.gif");
WebResponse response = request.GetResponse();
Stream reader = response.GetResponseStream();
FileStream writer = new FileStream("D://logo.gif", FileMode.OpenOrCreate, FileAccess.Write);
byte[] buff = new byte[512];
int c = 0; //實際讀取的字節(jié)數(shù)
while ((c=reader.Read(buff, 0, buff.Length)) > 0)
{
writer.Write(buff, 0, c);
}
writer.Close();
writer.Dispose();
reader.Close();
reader.Dispose();
response.Close();
tb.Text = "保存成功！";
}
catch (Exception ex)
{
tb.Text = ex.Message;
}
}
// --></mce:script>
<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
<title>抓取網頁圖片并保存 - 千一網絡</title>
</head>
<body>
<form id="form1" runat="server">
<div>
<asp:TextBox ID="tb" runat="server" Width="500" Height="300" TextMode="multiLine"></asp:TextBox>
</div>
</form>
</body>
</html>
3 抓取網頁內容－Post 數(shù)據(jù)
在抓取網頁時，有時候，需要將某些數(shù)據(jù)通過 Post 的方式發(fā)送到服務器，將以下代碼添加在網頁抓取的程序中，以實現(xiàn)將用戶名和密碼 Post 到服務器
view plaincopy to clipboardprint?
string data = "userName=admin&passwd=admin888";
byte[] requestBuffer = System.Text.Encoding.GetEncoding("gb2312").GetBytes(data);
request.Method = "POST";
request.ContentType = "application/x-www-form-urlencoded";
request.ContentLength = requestBuffer.Length;
using (Stream requestStream = request.GetRequestStream())
{
requestStream.Write(requestBuffer, 0, requestBuffer.Length);
requestStream.Close();
}
using (StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312")))
{
string str = reader.ReadToEnd();
reader.Close();
}
4 抓取網頁內容－防止重定向
在抓取網頁時，成功登錄服務器應用系統(tǒng)后，應用系統(tǒng)可能會通過 Response.Redirect 將網頁進行重定向，如果不需要響應這個重定向，那么，我們就不要把 reader.ReadToEnd() 給 Response.Write 出來，就可以了。
5 抓取網頁內容－保持登錄狀態(tài)
利用 Post 數(shù)據(jù)成功登錄服務器應用系統(tǒng)后，就可以抓取需要登錄的頁面了，那么我們就可能需要在多個 Request 間保持登錄狀態(tài)。
首先，我們要使用 HttpWebRequest，而不是 WebRequest。
與 WebRequest 相比，變化的代碼是：
view plaincopy to clipboardprint?
HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url);
注意：HttpWebRequest.Create 返回的類型仍是 WebRequest，所以要轉化一下。
其次，使用 CookieContainer。
view plaincopy to clipboardprint?
System.Net.CookieContainer cc = new System.Net.CookieContainer();
request.CookieContainer = cc;
request2.CookieContainer = cc;
這樣 request 和 request2 之間就使用了相同的 Session，如果 request 登錄了，那么 request2 也是登錄狀態(tài)。
最后，如何在不同的頁面間使用同一個 CookieContainer。
要在不同的頁面間使用同一個 CookieContainer，只有把 CookieContainer 加入 Session。
view plaincopy to clipboardprint?
Session.Add("ccc", cc); //存
CookieContainer cc = (CookieContainer)Session["ccc"]; //取
5 抓取網頁內容－把當前會話帶到 WebRequest 中
比如說瀏覽器 B1 去訪問服務器端 S1，這會產生一個會話，而服務器端 S2 再用 WebRequest 去訪問服務器端 S1，這又會產生一個會話?，F(xiàn)在的需求是讓 WebRequest 使用瀏覽器 B1 與 S1 之間的會話，也就是說要讓 S1 認為是 B1 在訪問 S1，而不是 S2 在訪問 S1。
這就要利用 Cookie 了，先在 S1 中取得與 B1 的 SessionID 的 Cookie，再將這個 Cookie 告訴 S2，S2 再將 Cookie 寫在 WebRequest 中。
view plaincopy to clipboardprint?
WebRequest request = WebRequest.Create("url");
<SPAN class=key>request.Headers.Add(HttpRequestHeader.Cookie, "ASPSESSIONIDSCATBTAD=KNNDKCNBONBOOBIHHHHAOKDM;");</SPAN>
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));
Response.Write(reader.ReadToEnd());
reader.Close();
reader.Dispose();
response.Close();
要說明的是：
本文并不是 Cookie 欺騙，因為 SessionID 是 S1 告訴 S2 的，并不是 S2 竊取的，雖然有些古怪，但這可能在一些特定的應用系統(tǒng)中會有用。
S1 必須要向 B1 寫 Session，這樣 SessionID 才會保存到 Cookie 中，并且 SessionID 才會保持不變。
在 ASP.NET 中取 Cookie 用 Request.Cookies，本文假設 Cookie 已經取出來。
不同的服務器端語言，SessionID 在 Cookie 中上名稱并不一樣，本文是 ASP 的 SessionID。
S1 可能不僅僅依靠 SessionID 來判斷當前登錄，它可能還會輔助于 Referer、User-Agent 等，這取決于 S1 端程序的設計。
其實本文算是本連載中“保持登錄狀態(tài)”的另一種方法。
6 抓取網頁內容－如何更改來源 Referer 和 UserAgent
view plaincopy to clipboardprint?
SPAN class=caution>HttpWebRequest</SPAN> request = <SPAN class=caution>(HttpWebRequest)HttpWebRequest</SPAN>.Create("http://127.0.0.1/index.htm");
//request.Headers.Add(HttpRequestHeader.Referer, "http://chabaoo.cn/"); // 錯誤
//request.Headers[HttpRequestHeader.Referer] = "http://chabaoo.cn/"; // 錯誤
<SPAN class=caution>request.Referer</SPAN> = "http://chabaoo.cn/"; // 正確
注釋掉的兩句是不對的，會發(fā)生錯誤：
view plaincopy to clipboardprint?
此標頭必須使用適當?shù)膶傩赃M行修改。
參數(shù)名: name
此標頭必須使用適當?shù)膶傩赃M行修改。參數(shù)名: name
UserAgent 類似。
相關文章
所有類型和類型成員都具有可訪問性級別，用來控制是否可以在您程序集的其他代碼中或其他程序集中使用它們。您在聲明類型或成員時使用以下訪問修飾符之一來指定其可訪問性2011-02-02
這篇文章我們來討論下關于C#異步編程幾個不成文的建議，希望對你寫出高性能的異步編程代碼有所幫助2020-05-05
如果要給方法傳遞一個方法參數(shù)時，就可以使用委托。下面這篇文章主要給大家介紹了關于C#沉淀之委托的相關資料，文中通過示例代碼介紹的非常詳細，需要的朋友可以參考下2018-09-09
這篇文章主要介紹了C#身份證識別相關技術詳解,具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-07-07
這篇文章主要為大家詳細介紹了Unity shader實現(xiàn)遮罩效果，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-02-02
C#使用Tesseract進行Ocr識別的方法實現(xiàn)
本文主要介紹了C#使用Tesseract進行Ocr識別的方法實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-06-06
這篇文章介紹了c#中事件的用法，文中通過示例代碼介紹的非常詳細。對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-04-04
這篇文章主要介紹了C#分屏控件用法實例,需要的朋友可以參考下2014-08-08
這篇文章主要介紹了C# Chart折線圖使用鼠標滾輪放大、縮小和平移曲線方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-06-06
這篇文章主要給大家介紹了關于C#串口通訊概念及簡單的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者使用C#具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧2019-03-03