golang網(wǎng)絡(luò)通信超時設(shè)置方式
網(wǎng)絡(luò)通信中，為了防止長時間無響應(yīng)的情況，經(jīng)常會用到網(wǎng)絡(luò)連接超時、讀寫超時的設(shè)置。
本文結(jié)合例子簡介golang的連接超時和讀寫超時設(shè)置。
1.超時設(shè)置
1.1 連接超時
func DialTimeout(network, address string, timeout time.Duration) (Conn, error)
第三個參數(shù)timeout可以用來設(shè)置連接超時設(shè)置。
如果超過timeout的指定的時間，連接沒有完成，會返回超時錯誤。
1.2 讀寫超時
在Conn定義中，包括讀寫的超時時間設(shè)置。
type Conn interface {
// SetDeadline sets the read and write deadlines associated
// with the connection. It is equivalent to calling both
// SetReadDeadline and SetWriteDeadline.
//
... ...
SetDeadline(t time.Time) error
// SetReadDeadline sets the deadline for future Read calls
// and any currently-blocked Read call.
// A zero value for t means Read will not time out.
SetReadDeadline(t time.Time) error
// SetWriteDeadline sets the deadline for future Write calls
// and any currently-blocked Write call.
// Even if write times out, it may return n > 0, indicating that
// some of the data was successfully written.
// A zero value for t means Write will not time out.
SetWriteDeadline(t time.Time) error
}
通過上面的函數(shù)說明，可以得知，這里的參數(shù)t是一個未來的時間點(diǎn)，所以每次讀或?qū)懼?，都要調(diào)用SetXXX重新設(shè)置超時時間，
如果只設(shè)置一次，就會出現(xiàn)總是超時的問題。
2.例子
2.1 server
server端監(jiān)聽連接，如果收到連接請求，就是創(chuàng)建一個goroutine負(fù)責(zé)這個連接的數(shù)據(jù)收發(fā)。
為了測試超時，我們在寫操作之前，sleep 3s。
package main
import (
"net"
"log"
"time"
)
func main() {
addr := "0.0.0.0:8080"
tcpAddr, err := net.ResolveTCPAddr("tcp",addr)
if err != nil {
log.Fatalf("net.ResovleTCPAddr fail:%s", addr)
}
listener, err := net.ListenTCP("tcp", tcpAddr)
if err != nil {
log.Fatalf("listen %s fail: %s", addr, err)
} else {
log.Println("listening", addr)
}
for {
conn, err := listener.Accept()
if err != nil {
log.Println("listener.Accept error:", err)
continue
}
go handleConnection(conn)
}
}
func handleConnection(conn net.Conn) {
defer conn.Close()
var buffer []byte = []byte("You are welcome. I'm server.")
for {
time.Sleep(3*time.Second)// sleep 3s
n, err := conn.Write(buffer)
if err != nil {
log.Println("Write error:", err)
break
}
log.Println("send:", n)
}
log.Println("connetion end")
}
2.2 client
client建立連接時，使用的超時時間是3s。
創(chuàng)建連接成功后，設(shè)置連接的讀超時。
每次讀之前，都重新設(shè)置超時時間。
package main
import (
"log"
"net"
"os"
"time"
)
func main() {
connTimeout := 3*time.Second
conn, err := net.DialTimeout("tcp", "127.0.0.1:8080", connTimeout) // 3s timeout
if err != nil {
log.Println("dial failed:", err)
os.Exit(1)
}
defer conn.Close()
readTimeout := 2*time.Second
buffer := make([]byte, 512)
for {
err = conn.SetReadDeadline(time.Now().Add(readTimeout)) // timeout
if err != nil {
log.Println("setReadDeadline failed:", err)
}
n, err := conn.Read(buffer)
if err != nil {
log.Println("Read failed:", err)
//break
}
log.Println("count:", n, "msg:", string(buffer))
}
}
輸出結(jié)果
2019/05/12 16:18:19 Read failed: read tcp 127.0.0.1:51718->127.0.0.1:8080: i/o timeout 2019/05/12 16:18:19 count: 0 msg: 2019/05/12 16:18:20 count: 28 msg: You are welcome. I'm server. 2019/05/12 16:18:22 Read failed: read tcp 127.0.0.1:51718->127.0.0.1:8080: i/o timeout 2019/05/12 16:18:22 count: 0 msg: You are welcome. I'm server. 2019/05/12 16:18:23 count: 28 msg: You are welcome. I'm server. 2019/05/12 16:18:25 Read failed: read tcp 127.0.0.1:51718->127.0.0.1:8080: i/o timeout 2019/05/12 16:18:25 count: 0 msg: You are welcome. I'm server. 2019/05/12 16:18:26 count: 28 msg: You are welcome. I'm server.
補(bǔ)充：Golang中的并發(fā)限制與超時控制
并發(fā)
package main
import (
"fmt"
"time"
)
func run(task_id, sleeptime int, ch chan string) {
time.Sleep(time.Duration(sleeptime) * time.Second)
ch <- fmt.Sprintf("task id %d , sleep %d second", task_id, sleeptime)
return
}
func main() {
input := []int{3, 2, 1}
ch := make(chan string)
startTime := time.Now()
fmt.Println("Multirun start")
for i, sleeptime := range input {
go run(i, sleeptime, ch)
}
for range input {
fmt.Println(<-ch)
}
endTime := time.Now()
fmt.Printf("Multissh finished. Process time %s. Number of tasks is %d", endTime.Sub(startTime), len(input))
}
函數(shù) run() 接受輸入的參數(shù)，sleep 若干秒。然后通過 go 關(guān)鍵字并發(fā)執(zhí)行，通過 channel 返回結(jié)果。
channel 顧名思義，他就是 goroutine 之間通信的“管道"。管道中的數(shù)據(jù)流通，實(shí)際上是 goroutine 之間的一種內(nèi)存共享。我們通過他可以在 goroutine 之間交互數(shù)據(jù)。
ch <- xxx // 向 channel 寫入數(shù)據(jù)
<- ch // 從 channel 中讀取數(shù)據(jù)
channel 分為無緩沖(unbuffered)和緩沖(buffered)兩種。例如剛才我們通過如下方式創(chuàng)建了一個無緩沖的 channel。
ch := make(chan string)
channel 的緩沖，我們一會再說，先看看剛才看看執(zhí)行的結(jié)果。
三個 goroutine `分別 sleep 了 3，2，1秒。但總耗時只有 3 秒。所以并發(fā)生效了，go 的并發(fā)就是這么簡單。
按序返回
剛才的示例中，我執(zhí)行任務(wù)的順序是 0，1，2。但是從 channel 中返回的順序卻是 2，1，0。這很好理解，因?yàn)?task 2 執(zhí)行的最快嘛，所以先返回了進(jìn)入了 channel，task 1 次之，task 0 最慢。
如果我們希望按照任務(wù)執(zhí)行的順序依次返回?cái)?shù)據(jù)呢？可以通過一個 channel 數(shù)組（好吧，應(yīng)該叫切片）來做，比如這樣
package main
import (
"fmt"
"time"
)
func run(task_id, sleeptime int, ch chan string) {
time.Sleep(time.Duration(sleeptime) * time.Second)
ch <- fmt.Sprintf("task id %d , sleep %d second", task_id, sleeptime)
return
}
func main() {
input := []int{3, 2, 1}
chs := make([]chan string, len(input))
startTime := time.Now()
fmt.Println("Multirun start")
for i, sleeptime := range input {
chs[i] = make(chan string)
go run(i, sleeptime, chs[i])
}
for _, ch := range chs {
fmt.Println(<-ch)
}
endTime := time.Now()
fmt.Printf("Multissh finished. Process time %s. Number of tasks is %d", endTime.Sub(startTime), len(input))
}
超時控制
剛才的例子里我們沒有考慮超時。然而如果某個 goroutine 運(yùn)行時間太長了，那很肯定會拖累主 goroutine 被阻塞住，整個程序就掛起在那兒了。因此我們需要有超時的控制。
通常我們可以通過select + time.After 來進(jìn)行超時檢查，例如這樣，我們增加一個函數(shù) Run() ，在 Run() 中執(zhí)行 go run() 。并通過 select + time.After 進(jìn)行超時判斷。
package main
import (
"fmt"
"time"
)
func Run(task_id, sleeptime, timeout int, ch chan string) {
ch_run := make(chan string)
go run(task_id, sleeptime, ch_run)
select {
case re := <-ch_run:
ch <- re
case <-time.After(time.Duration(timeout) * time.Second):
re := fmt.Sprintf("task id %d , timeout", task_id)
ch <- re
}
}
func run(task_id, sleeptime int, ch chan string) {
time.Sleep(time.Duration(sleeptime) * time.Second)
ch <- fmt.Sprintf("task id %d , sleep %d second", task_id, sleeptime)
return
}
func main() {
input := []int{3, 2, 1}
timeout := 2
chs := make([]chan string, len(input))
startTime := time.Now()
fmt.Println("Multirun start")
for i, sleeptime := range input {
chs[i] = make(chan string)
go Run(i, sleeptime, timeout, chs[i])
}
for _, ch := range chs {
fmt.Println(<-ch)
}
endTime := time.Now()
fmt.Printf("Multissh finished. Process time %s. Number of task is %d", endTime.Sub(startTime), len(input))
}
運(yùn)行結(jié)果，task 0 和 task 1 已然超時
并發(fā)限制
如果任務(wù)數(shù)量太多，不加以限制的并發(fā)開啟 goroutine 的話，可能會過多的占用資源，服務(wù)器可能會爆炸。所以實(shí)際環(huán)境中并發(fā)限制也是一定要做的。
一種常見的做法就是利用 channel 的緩沖機(jī)制。我們分別創(chuàng)建一個帶緩沖和不帶緩沖的 channel 看看
ch := make(chan string) // 這是一個無緩沖的 channel，或者說緩沖區(qū)長度是 0
ch := make(chan string, 1) // 這是一個帶緩沖的 channel, 緩沖區(qū)長度是 1
這兩者的區(qū)別在于，如果 channel 沒有緩沖，或者緩沖區(qū)滿了。goroutine 會自動阻塞，直到 channel 里的數(shù)據(jù)被讀走為止。舉個例子
package main
import (
"fmt"
)
func main() {
ch := make(chan string)
ch <- "123"
fmt.Println(<-ch)
}
這段代碼執(zhí)行將報(bào)錯
fatal error: all goroutines are asleep - deadlock! goroutine 1 [chan send]: main.main() /tmp/sandbox531498664/main.go:9 +0x60 Program exited.
這是因?yàn)槲覀儎?chuàng)建的 ch 是一個無緩沖的 channel。因此在執(zhí)行到 ch<-"123",這個 goroutine 就阻塞了，后面的 fmt.Println(<-ch) 沒有辦法得到執(zhí)行。所以將會報(bào) deadlock 錯誤。
如果我們改成這樣，程序就可執(zhí)行
package main
import (
"fmt"
)
func main() {
ch := make(chan string, 1)
ch <- "123"
fmt.Println(<-ch)
}
執(zhí)行
123
Program exited.
如果我們改成這樣
package main
import (
"fmt"
)
func main() {
ch := make(chan string, 1)
ch <- "123"
ch <- "123"
fmt.Println(<-ch)
fmt.Println(<-ch)
}
盡管讀取了兩次 channel，但是程序還是會死鎖，因?yàn)榫彌_區(qū)滿了，goroutine 阻塞掛起。第二個 ch<- "123" 是沒有辦法寫入的。
因此，利用 channel 的緩沖設(shè)定，我們就可以來實(shí)現(xiàn)并發(fā)的限制。我們只要在執(zhí)行并發(fā)的同時，往一個帶有緩沖的 channel 里寫入點(diǎn)東西（隨便寫啥，內(nèi)容不重要）。讓并發(fā)的 goroutine 在執(zhí)行完成后把這個 channel 里的東西給讀走。這樣整個并發(fā)的數(shù)量就講控制在這個 channel 的緩沖區(qū)大小上。
比如我們可以用一個 bool 類型的帶緩沖 channel 作為并發(fā)限制的計(jì)數(shù)器。
然后在并發(fā)執(zhí)行的地方，每創(chuàng)建一個新的 goroutine，都往 chLimit 里塞個東西。
for i, sleeptime := range input {
chs[i] = make(chan string, 1)
chLimit <- true
go limitFunc(chLimit, chs[i], i, sleeptime, timeout)
}
這里通過 go 關(guān)鍵字并發(fā)執(zhí)行的是新構(gòu)造的函數(shù)。他在執(zhí)行完原來的 Run() 后，會把 chLimit 的緩沖區(qū)里給消費(fèi)掉一個。
limitFunc := func(chLimit chan bool, ch chan string, task_id, sleeptime, timeout int) {
Run(task_id, sleeptime, timeout, ch)
<-chLimit
}
這樣一來，當(dāng)創(chuàng)建的 goroutine 數(shù)量到達(dá) chLimit 的緩沖區(qū)上限后。主 goroutine 就掛起阻塞了，直到這些 goroutine 執(zhí)行完畢，消費(fèi)掉了 chLimit 緩沖區(qū)中的數(shù)據(jù)，程序才會繼續(xù)創(chuàng)建新的 goroutine。我們并發(fā)數(shù)量限制的目的也就達(dá)到了。
完整示例代碼
package main
import (
"fmt"
"time"
)
func Run(task_id, sleeptime, timeout int, ch chan string) {
ch_run := make(chan string)
go run(task_id, sleeptime, ch_run)
select {
case re := <-ch_run:
ch <- re
case <-time.After(time.Duration(timeout) * time.Second):
re := fmt.Sprintf("task id %d , timeout", task_id)
ch <- re
}
}
func run(task_id, sleeptime int, ch chan string) {
time.Sleep(time.Duration(sleeptime) * time.Second)
ch <- fmt.Sprintf("task id %d , sleep %d second", task_id, sleeptime)
return
}
func main() {
input := []int{3, 2, 1}
timeout := 2
chLimit := make(chan bool, 1)
chs := make([]chan string, len(input))
limitFunc := func(chLimit chan bool, ch chan string, task_id, sleeptime, timeout int) {
Run(task_id, sleeptime, timeout, ch)
<-chLimit
}
startTime := time.Now()
fmt.Println("Multirun start")
for i, sleeptime := range input {
chs[i] = make(chan string, 1)
chLimit <- true
go limitFunc(chLimit, chs[i], i, sleeptime, timeout)
}
for _, ch := range chs {
fmt.Println(<-ch)
}
endTime := time.Now()
fmt.Printf("Multissh finished. Process time %s. Number of task is %d", endTime.Sub(startTime), len(input))
}
運(yùn)行結(jié)果
Multirun start task id 0 , timeout task id 1 , timeout task id 2 , sleep 1 second Multissh finished. Process time 5s. Number of task is 3 Program exited.
chLimit 的緩沖是 1。task 0 和 task 1 耗時 2 秒超時。task 2 耗時 1 秒?？偤臅r 5 秒。并發(fā)限制生效了。
如果我們修改并發(fā)限制為 2
chLimit := make(chan bool, 2)
運(yùn)行結(jié)果
Multirun start task id 0 , timeout task id 1 , timeout task id 2 , sleep 1 second Multissh finished. Process time 3s. Number of task is 3 Program exited.
task 0 , task 1 并發(fā)執(zhí)行，耗時 2秒。task 2 耗時 1秒。總耗時 3 秒。符合預(yù)期。
有沒有注意到代碼里有個地方和之前不同。這里，用了一個帶緩沖的 channel
chs[i] = make(chan string, 1)
還記得上面的例子么。如果 channel 不帶緩沖，那么直到他被消費(fèi)掉之前，這個 goroutine 都會被阻塞掛起。
然而如果這里的并發(fā)限制，也就是 chLimit 生效阻塞了主 goroutine，那么后面消費(fèi)這些數(shù)據(jù)的代碼并不會執(zhí)行到。。。于是就 deadlock 拉！
for _, ch := range chs {
fmt.Println(<-ch)
}
所以給他一個緩沖就好了。
以上為個人經(jīng)驗(yàn)，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
這篇文章主要介紹了golang解析xml的方法,結(jié)合實(shí)例形式分析了Go語言針對xml文件的讀取與解析的相關(guān)技巧,需要的朋友可以參考下2016-07-07
Golang實(shí)現(xiàn)JWT身份驗(yàn)證的示例詳解
JWT（JSON Web Token）是一種開放標(biāo)準(zhǔn)（RFC 7519）,用于在網(wǎng)絡(luò)應(yīng)用間安全地傳輸聲明,本文主要為大家詳細(xì)介紹了Golang實(shí)現(xiàn)JWT身份驗(yàn)證的相關(guān)方法,希望對大家有所幫助2024-03-03
最近開始使用Go/GoLand 在import 自定義包時出現(xiàn)各種狀況，本文就介紹一下go中import包的大坑解決方案，具有一定的參考價值，感興趣 可以了解一下2022-06-06
MySQL?存儲就是一個非常常見的外部依賴，這篇文章主要來和大家一起探討在?Go?語言中編寫單元測試時，如何解決?MySQL?存儲依賴，需要的可以參考一下2023-07-07
Go并發(fā)編程結(jié)構(gòu)體多字段原子操作示例詳解
這篇文章主要為大家介紹了Go并發(fā)編程結(jié)構(gòu)體多字段原子操作示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12
詳解用Go語言實(shí)現(xiàn)工廠模式(Golang經(jīng)典編程案例)
這篇文章主要介紹了詳解用Go語言實(shí)現(xiàn)工廠模式(Golang經(jīng)典編程案例),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
Go語言開發(fā)編程規(guī)范命令風(fēng)格代碼格式
這篇文章主要為大家介紹了Go語言開發(fā)編程規(guī)范命令風(fēng)格代碼格式，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
Go設(shè)置http請求超時的方法實(shí)現(xiàn)
這篇文章主要介紹了Go設(shè)置http請求超時的方法實(shí)現(xiàn),最近接手了一個老項(xiàng)目進(jìn)行維護(hù),發(fā)現(xiàn)其中有個關(guān)于 http 請求的方法設(shè)置的 timeout 沒有生效,很奇怪,一開始查看代碼并沒有發(fā)現(xiàn)什么可疑點(diǎn),后查看了源碼,打斷點(diǎn)調(diào)試才發(fā)現(xiàn)問題所在,這里簡單記錄復(fù)盤一下2024-08-08
Go語言中的Context是用于在多個函數(shù)或goroutine之間傳遞取消信號、超時控制、截止時間和請求范圍數(shù)據(jù)的重要概念,它提供了更好的控制和管理,適用于并發(fā)編程中需要傳遞狀態(tài)或進(jìn)行資源清理的場景2024-12-12
本文力求能讓未接觸過泛型編程的人也能較好理解Go的泛型，所以行文可能略顯啰嗦。但是請相信我，看完這篇文章你能獲得對Go泛型非常全面的了解2023-03-03