golang 的string與[]byte轉(zhuǎn)換方式
相對(duì)于C語(yǔ)言，golang是類(lèi)型安全的語(yǔ)言。但是安全的代價(jià)就是性能的妥協(xié)。
下面我們看看Golang不想讓我們看到的“秘密”——string的底層數(shù)據(jù)。
通過(guò)reflect包，我們可以知道，在Golang底層，string和slice其實(shí)都是struct：
type SliceHeader struct {
Data uintptr
Len int
Cap int
}
type StringHeader struct {
Data uintptr
Len int
}
其中Data是一個(gè)指針，指向?qū)嶋H的數(shù)據(jù)地址，Len表示數(shù)據(jù)長(zhǎng)度。
但是，在string和[]byte轉(zhuǎn)換過(guò)程中，Golang究竟悄悄幫我們做了什么，來(lái)達(dá)到安全的目的？
在Golang語(yǔ)言規(guī)范里面，string數(shù)據(jù)是禁止修改的，試圖通過(guò)&s[0], &b[0]取得string和slice數(shù)據(jù)指針地址也是不能通過(guò)編譯的。
下面，我們就通過(guò)Golang的“黑科技”來(lái)一窺Golang背后的“秘密”
//return GoString's buffer slice(enable modify string)
func StringBytes(s string) Bytes {
return *(*Bytes)(unsafe.Pointer(&s))
}
// convert b to string without copy
func BytesString(b []byte) String {
return *(*String)(unsafe.Pointer(&b))
}
// returns &s[0], which is not allowed in go
func StringPointer(s string) unsafe.Pointer {
p := (*reflect.StringHeader)(unsafe.Pointer(&s))
return unsafe.Pointer(p.Data)
}
// returns &b[0], which is not allowed in go
func BytesPointer(b []byte) unsafe.Pointer {
p := (*reflect.SliceHeader)(unsafe.Pointer(&b))
return unsafe.Pointer(p.Data)
}
以上4個(gè)函數(shù)的神奇之處在于，通過(guò)unsafe.Pointer和reflect.XXXHeader取到了數(shù)據(jù)首地址，并實(shí)現(xiàn)了string和[]byte的直接轉(zhuǎn)換（這些操作在語(yǔ)言層面是禁止的）。
下面我們就通過(guò)這幾個(gè)“黑科技”來(lái)測(cè)試一下語(yǔ)言底層的秘密：
func TestPointer(t *testing.T) {
s := []string{
"",
"",
"hello",
"hello",
fmt.Sprintf(""),
fmt.Sprintf(""),
fmt.Sprintf("hello"),
fmt.Sprintf("hello"),
}
fmt.Println("String to bytes:")
for i, v := range s {
b := unsafe.StringBytes(v)
b2 := []byte(v)
if b.Writeable() {
b[0] = 'x'
}
fmt.Printf("%d\ts=%5s\tptr(v)=%-12v\tptr(StringBytes(v)=%-12v\tptr([]byte(v)=%-12v\n",
i, v, unsafe.StringPointer(v), b.Pointer(), unsafe.BytesPointer(b2))
}
b := [][]byte{
[]byte{},
[]byte{'h', 'e', 'l', 'l', 'o'},
}
fmt.Println("Bytes to string:")
for i, v := range b {
s1 := unsafe.BytesString(v)
s2 := string(v)
fmt.Printf("%d\ts=%5s\tptr(v)=%-12v\tptr(StringBytes(v)=%-12v\tptr(string(v)=%-12v\n",
i, s1, unsafe.BytesPointer(v), s1.Pointer(), unsafe.StringPointer(s2))
}
}
const N = 3000000
func Benchmark_Normal(b *testing.B) {
for i := 1; i < N; i++ {
s := fmt.Sprintf("12345678901234567890123456789012345678901234567890")
bb := []byte(s)
bb[0] = 'x'
s = string(bb)
s = s
}
}
func Benchmark_Direct(b *testing.B) {
for i := 1; i < N; i++ {
s := fmt.Sprintf("12345678901234567890123456789012345678901234567890")
bb := unsafe.StringBytes(s)
bb[0] = 'x'
s = s
}
}
//test result
//String to bytes:
//0 s= ptr(v)=0x51bd70 ptr(StringBytes(v)=0x51bd70 ptr([]byte(v)=0xc042021c58
//1 s= ptr(v)=0x51bd70 ptr(StringBytes(v)=0x51bd70 ptr([]byte(v)=0xc042021c58
//2 s=hello ptr(v)=0x51c2fa ptr(StringBytes(v)=0x51c2fa ptr([]byte(v)=0xc042021c58
//3 s=hello ptr(v)=0x51c2fa ptr(StringBytes(v)=0x51c2fa ptr([]byte(v)=0xc042021c58
//4 s= ptr(v)=<nil> ptr(StringBytes(v)=<nil> ptr([]byte(v)=0xc042021c58
//5 s= ptr(v)=<nil> ptr(StringBytes(v)=<nil> ptr([]byte(v)=0xc042021c58
//6 s=xello ptr(v)=0xc0420444b5 ptr(StringBytes(v)=0xc0420444b5 ptr([]byte(v)=0xc042021c58
//7 s=xello ptr(v)=0xc0420444ba ptr(StringBytes(v)=0xc0420444ba ptr([]byte(v)=0xc042021c58
//Bytes to string:
//0 s= ptr(v)=0x5c38b8 ptr(StringBytes(v)=0x5c38b8 ptr(string(v)=<nil>
//1 s=hello ptr(v)=0xc0420445e0 ptr(StringBytes(v)=0xc0420445e0 ptr(string(v)=0xc042021c38
//Benchmark_Normal-4 1000000000 0.87 ns/op
//Benchmark_Direct-4 2000000000 0.24 ns/op
結(jié)論如下：
1、string常量會(huì)在編譯期分配到只讀段，對(duì)應(yīng)數(shù)據(jù)地址不可寫(xiě)入，并且相同的string常量不會(huì)重復(fù)存儲(chǔ)。
2、fmt.Sprintf生成的字符串分配在堆上，對(duì)應(yīng)數(shù)據(jù)地址可修改。
3、常量空字符串有數(shù)據(jù)地址，動(dòng)態(tài)生成的字符串沒(méi)有設(shè)置數(shù)據(jù)地址
4、Golang string和[]byte轉(zhuǎn)換,會(huì)將數(shù)據(jù)復(fù)制到堆上，返回?cái)?shù)據(jù)指向復(fù)制的數(shù)據(jù)
5、動(dòng)態(tài)生成的字符串，即使內(nèi)容一樣，數(shù)據(jù)也是在不同的空間
6、只有動(dòng)態(tài)生成的string，數(shù)據(jù)可以被黑科技修改
7、string和[]byte通過(guò)復(fù)制轉(zhuǎn)換，性能損失接近4倍
補(bǔ)充：Golang 使用unsafe.Pointer優(yōu)化byte[]與String轉(zhuǎn)換性能
我們知道一般來(lái)說(shuō)對(duì)于一個(gè)String
如果想要轉(zhuǎn)換為byte[]都是通過(guò)類(lèi)型轉(zhuǎn)換語(yǔ)法來(lái)實(shí)現(xiàn)的：
Res := string(bytes)
這種方式是Go所推薦的，優(yōu)點(diǎn)就是安全，盡管這種操作會(huì)發(fā)生內(nèi)存拷貝，導(dǎo)致性能上會(huì)有所損耗，這在處理一般業(yè)務(wù)時(shí)這種損耗是可以忽略的。
但如果是拷貝頻繁的情況下，想要進(jìn)行性能優(yōu)化時(shí)，就需要引入unsafe.Pointer了：
func main() {
var s = []byte("我永遠(yuǎn)喜歡藤原千花.jpg")
Res := *(*string)(unsafe.Pointer(&s))
fmt.Println(Res)
}
通過(guò)unsafe.Pointer偽造String的過(guò)程沒(méi)有發(fā)生內(nèi)存拷貝，所以效率上會(huì)比發(fā)生內(nèi)存拷貝的類(lèi)型轉(zhuǎn)換快，但代價(jià)就是把底層數(shù)據(jù)暴露出來(lái)，這種做法是不安全的。
至于為什么Slice能通過(guò)這種方式和String轉(zhuǎn)換
我們可以看下它們的底層結(jié)構(gòu)SliceHeader和StringHeader ：
type SliceHeader struct {
Data uintptr
Len int
Cap int
}
type StringHeader struct {
Data uintptr
Len int
}
兩種類(lèi)型只差了一個(gè)字段Cap（容量），前面剩余的字段都是內(nèi)存對(duì)齊的，所以可以直接轉(zhuǎn)換
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
基于go實(shí)例網(wǎng)絡(luò)存儲(chǔ)協(xié)議詳解
這篇文章主要為大家介紹了基于go實(shí)例網(wǎng)絡(luò)存儲(chǔ)協(xié)議詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
GoFrame框架Scan類(lèi)型轉(zhuǎn)換實(shí)例
這篇文章主要為大家介紹了GoFrame框架Scan類(lèi)型轉(zhuǎn)換的實(shí)例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
這篇文章主要給大家介紹了golang實(shí)現(xiàn)可中斷的流式下載,文中通過(guò)代碼示例給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2024-01-01
GScript?編寫(xiě)標(biāo)準(zhǔn)庫(kù)示例詳解
這篇文章主要為大家介紹了GScript?編寫(xiě)標(biāo)準(zhǔn)庫(kù)示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-10-10
Golang學(xué)習(xí)筆記（二）：類(lèi)型、變量、常量
這篇文章主要介紹了Golang學(xué)習(xí)筆記（二）：類(lèi)型、變量、常量,本文講解了基本類(lèi)型、保留字、變量、常量、枚舉、運(yùn)算符、指針、分組聲明等內(nèi)容,需要的朋友可以參考下2015-05-05
使用goland調(diào)試遠(yuǎn)程代碼的操作步驟
大家都知道如何在goland調(diào)試遠(yuǎn)程代碼嗎？今天小編給大家分享一篇教程幫助大家學(xué)習(xí)goland調(diào)試遠(yuǎn)程代碼的操作步驟，感興趣的朋友跟隨小編一起看看吧2021-06-06
go引入自建包名報(bào)錯(cuò):package?XXX?is?not?in?std解決辦法
這篇文章主要給大家介紹了go引入自建包名報(bào)錯(cuò):package?XXX?is?not?in?std的解決辦法,這是在寫(xiě)測(cè)試引入包名的時(shí)候遇到的錯(cuò)誤提示,文中將解決辦法介紹的非常詳細(xì),需要的朋友可以參考下2023-12-12
這篇文章主要介紹了Go unsafe 包的使用詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01
Go語(yǔ)言sync.Map詳解及使用場(chǎng)景
Go語(yǔ)言中的sync.Map是一個(gè)高效的并發(fā)安全映射結(jié)構(gòu),適用于高并發(fā)讀多寫(xiě)少的場(chǎng)景,它通過(guò)讀寫(xiě)分離、無(wú)鎖讀取路徑、寫(xiě)入時(shí)的鎖保護(hù)等機(jī)制,提高了讀取性能并減少了鎖競(jìng)爭(zhēng),sync.Map不需要手動(dòng)管理鎖,降低了編程復(fù)雜性,適合需要簡(jiǎn)單并發(fā)訪問(wèn)的場(chǎng)合2024-10-10
Go語(yǔ)言對(duì)JSON進(jìn)行編碼和解碼的方法
這篇文章主要介紹了Go語(yǔ)言對(duì)JSON進(jìn)行編碼和解碼的方法,涉及Go語(yǔ)言操作json的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-02-02