golang socket斷點(diǎn)續(xù)傳大文件的實(shí)現(xiàn)方法
在日常編程中,我們肯定會(huì)遇到用socket傳送文件內(nèi)容,如果是大文件的,總不能傳送到一半因某原因斷掉了,又從新傳送文件內(nèi)容吧。對(duì),我們需要續(xù)傳,也就是接著上次傳送的位置繼續(xù)發(fā)送文件內(nèi)容。
續(xù)傳的話,其實(shí)并不難,我理解的思路大概如下:
客戶端發(fā)送消息詢問(wèn)服務(wù)端,你上次接收到的文件內(nèi)容位置
服務(wù)端告訴客戶端上次接收到的文件內(nèi)容位置
客戶端就從上次斷點(diǎn)的位置繼續(xù)發(fā)送文件內(nèi)容
客戶端發(fā)送文件內(nèi)容完畢后通知服務(wù)端,然后斷開連接
下面我們看看代碼的實(shí)現(xiàn)
服務(wù)端
// file name: server.go package main import ( "os" "io" "net" "log" "strconv" // "time" ) // 把接收到的內(nèi)容append到文件 func writeFile(content []byte) { if len(content) != 0 { fp, err := os.OpenFile("test_1.txt", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0755) defer fp.Close() if err != nil { log.Fatalf("open file faild: %s\n", err) } _, err = fp.Write(content) if err != nil { log.Fatalf("append content to file faild: %s\n", err) } log.Printf("append content: 【%s】 success\n", string(content)) } } // 獲取已接收內(nèi)容的大小 // (斷點(diǎn)續(xù)傳需要把已接收內(nèi)容大下通知客戶端從哪里開始發(fā)送文件內(nèi)容) func getFileStat() int64 { fileinfo, err := os.Stat("test_1.txt") if err != nil { // 如果首次沒(méi)有創(chuàng)建test_1.txt文件,則直接返回0 // 告訴客戶端從頭開始發(fā)送文件內(nèi)容 if os.IsNotExist(err) { log.Printf("file size: %d\n", 0) return int64(0) } log.Fatalf("get file stat faild: %s\n", err) } log.Printf("file size: %d\n", fileinfo.Size()) return fileinfo.Size() } func serverConn(conn net.Conn) { defer conn.Close() for { var buf = make([]byte, 10) n, err := conn.Read(buf) if err != nil { if err == io.EOF { log.Println("server io EOF\n") return } log.Fatalf("server read faild: %s\n", err) } log.Printf("recevice %d bytes, content is 【%s】\n", n, string(buf[:n])) // 判斷客戶端發(fā)送過(guò)來(lái)的消息 // 如果是'start-->‘則表示需要告訴客戶端從哪里開始讀取文件數(shù)據(jù)發(fā)送 switch string(buf[:n]) { case "start-->": off := getFileStat() // int conver string stringoff := strconv.FormatInt(off, 10) _, err = conn.Write([]byte(stringoff)) if err != nil { log.Fatalf("server write faild: %s\n", err) } continue case "<--end": // 如果接收到客戶端通知所有文件內(nèi)容發(fā)送完畢消息則退出 log.Fatalf("receive over\n") return // default: // time.Sleep(time.Second * 1) } // 把客戶端發(fā)送的內(nèi)容保存到文件 writeFile(buf[:n]) } } func main() { // 建立監(jiān)聽(tīng) l, err := net.Listen("tcp", ":8888") if err != nil { log.Fatalf("error listen: %s\n", err) } defer l.Close() log.Println("waiting accept.") // 允許客戶端連接,在沒(méi)有客戶端連接時(shí),會(huì)一直阻塞 conn, err := l.Accept() if err != nil { log.Fatalf("accept faild: %s\n", err) } serverConn(conn) }
客戶端
// file name: client.go package main import ( "os" "io" "net" "log" "time" "strconv" ) // 獲取服務(wù)端發(fā)送的消息 func clientRead(conn net.Conn) int { buf := make([]byte, 5) n, err := conn.Read(buf) if err != nil { log.Fatalf("receive server info faild: %s\n", err) } // string conver int off, err := strconv.Atoi(string(buf[:n])) if err != nil { log.Fatalf("string conver int faild: %s\n", err) } return off } // 發(fā)送消息到服務(wù)端 func clientWrite(conn net.Conn, data []byte) { _, err := conn.Write(data) if err != nil { log.Fatalf("send 【%s】 content faild: %s\n", string(data), err) } log.Printf("send 【%s】 content success\n", string(data)) } // client conn func clientConn(conn net.Conn) { defer conn.Close() // 發(fā)送"start-->"消息通知服務(wù)端,我要開始發(fā)送文件內(nèi)容了 // 你趕緊告訴我你那邊已經(jīng)接收了多少內(nèi)容,我從你已經(jīng)接收的內(nèi)容處開始繼續(xù)發(fā)送 clientWrite(conn, []byte("start-->")) off := clientRead(conn) // send file content fp, err := os.OpenFile("test.txt", os.O_RDONLY, 0755) if err != nil { log.Fatalf("open file faild: %s\n", err) } defer fp.Close() // set file seek // 設(shè)置從哪里開始讀取文件內(nèi)容 _, err = fp.Seek(int64(off), 0) if err != nil { log.Fatalf("set file seek faild: %s\n", err) } log.Printf("read file at seek: %d\n", off) for { // 每次發(fā)送10個(gè)字節(jié)大小的內(nèi)容 data := make([]byte, 10) n, err := fp.Read(data) if err != nil { if err == io.EOF { // 如果已經(jīng)讀取完文件內(nèi)容 // 就發(fā)送'<--end'消息通知服務(wù)端,文件內(nèi)容發(fā)送完了 time.Sleep(time.Second * 1) clientWrite(conn, []byte("<--end")) log.Println("send all content, now quit") break } log.Fatalf("read file err: %s\n", err) } // 發(fā)送文件內(nèi)容到服務(wù)端 clientWrite(conn, data[:n]) } } func main() { // connect timeout 10s conn, err := net.DialTimeout("tcp", ":8888", time.Second * 10) if err != nil { log.Fatalf("client dial faild: %s\n", err) } clientConn(conn) }
客戶端讀取文件test.txt內(nèi)容發(fā)送到服務(wù)端,服務(wù)端把接收到的文件內(nèi)容保存在test_1.txt文件中。我們模擬斷點(diǎn)續(xù)傳的方式是:
第一次先發(fā)送test.txt文件內(nèi)容到服務(wù)端
修改test.txt文件,加一些內(nèi)容
再次運(yùn)行server socket以及client socket,觀察客戶端是不是只發(fā)送新增的文件內(nèi)容到服務(wù)端
# 假設(shè)我的test.txt文件有以下內(nèi)容 $ cat test.txt hello golang. # 先運(yùn)行server socket再運(yùn)行client socket(分別在兩個(gè)終端窗口運(yùn)行) $ go run server.go $ go run client.go # 服務(wù)端會(huì)輸出以下內(nèi)容 2018/04/05 23:37:13 waiting accept. 2018/04/05 23:37:15 recevice 8 bytes, content is 【start-->】 2018/04/05 23:37:15 file size: 0 2018/04/05 23:37:15 recevice 10 bytes, content is 【hello gola】 2018/04/05 23:37:15 append content: 【hello gola】 success 2018/04/05 23:37:15 recevice 2 bytes, content is 【n.】 2018/04/05 23:37:15 append content: 【n.】 success 2018/04/05 23:37:16 recevice 6 bytes, content is 【<--end】 2018/04/05 23:37:16 receive over exit status 1 # 客戶端會(huì)輸出如下內(nèi)容 2018/04/05 23:37:15 send 【start-->】 content success 2018/04/05 23:37:15 read file at seek: 0 2018/04/05 23:37:15 send 【hello gola】 content success 2018/04/05 23:37:15 send 【n.】 content success 2018/04/05 23:37:16 send 【<--end】 content success 2018/04/05 23:37:16 send all content, now quit # 這時(shí)候我們看看test_1.txt內(nèi)容跟test.txt完全一致 $ cat test_1.txt hello golan. # ------- 模擬斷點(diǎn)續(xù)傳 ---------- # 現(xiàn)在我們往test.txt追加內(nèi)容: hello python. $ cat test.txt hello golang. hello python. # 我們?cè)僖淮芜\(yùn)行server socket 和 client socket(分別在兩個(gè)終端窗口運(yùn)行) $ go run server.go $ go run client.go # 服務(wù)端會(huì)輸出以下內(nèi)容 2018/04/05 23:44:31 waiting accept. 2018/04/05 23:44:34 recevice 8 bytes, content is 【start-->】 2018/04/05 23:44:34 file size: 12 2018/04/05 23:44:34 recevice 10 bytes, content is 【 hello pyt】 2018/04/05 23:44:34 append content: 【 hello pyt】 success 2018/04/05 23:44:34 recevice 4 bytes, content is 【hon.】 2018/04/05 23:44:34 append content: 【hon.】 success 2018/04/05 23:44:35 recevice 6 bytes, content is 【<--end】 2018/04/05 23:44:35 receive over exit status 1 # 服務(wù)端在接收到客戶端發(fā)送的 start--> 信息后會(huì)獲取上次接收到文件內(nèi)容位置,并通知客戶端(這里file size 是12) # 客戶端會(huì)輸出以下內(nèi)容 2018/04/05 23:44:34 send 【start-->】 content success 2018/04/05 23:44:34 read file at seek: 12 2018/04/05 23:44:34 send 【 hello pyt】 content success 2018/04/05 23:44:34 send 【hon.】 content success 2018/04/05 23:44:35 send 【<--end】 content success 2018/04/05 23:44:35 send all content, now quit # 我們客戶端獲取到了服務(wù)端返回的文件位置,通過(guò) Seek 來(lái)指定從哪里開始讀取文件 # 通過(guò)日志可以看到我們客戶端只發(fā)送了后面追加的內(nèi)容: hello python. 到服務(wù)端 # 我們看看此時(shí)test_1.txt文件的內(nèi)容是否跟test.txt一致 $ cat test_1.txt hello golang. hello python.
以上這篇golang socket斷點(diǎn)續(xù)傳大文件的實(shí)現(xiàn)方法就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
golang與非golang程序探測(cè)beyla源碼解讀
這篇文章主要為大家介紹了beyla源碼解讀之golang與非golang程序的探測(cè)實(shí)例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12Golang開發(fā)之字符串與切片問(wèn)題踩坑記錄
字符串和切片,都是golang常用的兩種內(nèi)置數(shù)據(jù)類型,最近在日常工作中,遇到了一個(gè)字符串切片導(dǎo)致的問(wèn)題,記錄一下排查問(wèn)題的過(guò)程,避免后續(xù)在這種場(chǎng)景上踩坑2023-07-07Golang如何編寫內(nèi)存高效及CPU調(diào)優(yōu)的Go結(jié)構(gòu)體
這篇文章主要介紹了Golang如何編寫內(nèi)存高效及CPU調(diào)優(yōu)的Go結(jié)構(gòu)體,結(jié)構(gòu)體是包含多個(gè)字段的集合類型,用于將數(shù)據(jù)組合為記錄2022-07-07golang如何用type-switch判斷interface變量的實(shí)際存儲(chǔ)類型
這篇文章主要介紹了golang如何用type-switch判斷interface變量的實(shí)際存儲(chǔ)類型,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-04-04Golang打包go項(xiàng)目部署到linux服務(wù)器正確方法
這篇文章主要給大家介紹了關(guān)于Golang打包go項(xiàng)目部署到linux服務(wù)器的正確方法,Go?是一個(gè)開源的編程語(yǔ)言,它能讓構(gòu)造簡(jiǎn)單、可靠且高效的軟件變得容易,具有簡(jiǎn)潔、快速、安全,并行、有趣、開源,內(nèi)存管理、v數(shù)組安全、編譯迅速的特征,需要的朋友可以參考下2023-10-10golang?gorm學(xué)習(xí)之如何指定數(shù)據(jù)表
在sql中首先要指定是從哪張表中查詢,所以這篇文章小編就來(lái)帶大家一起看一下gorm是如何根據(jù)model來(lái)自動(dòng)解析表名的,感興趣的小伙伴可以了解下2023-08-08