Node.js中使用Buffer編碼、解碼二進制數(shù)據(jù)詳解
JavaScript很擅長處理字符串,但是因為它最初的設計是用來處理HTML文檔,因此它并不太擅長處理二進制數(shù)據(jù)。JavaScript沒有byte類型,沒有結構化的類型(structured types),甚至沒有字節(jié)數(shù)組,只有數(shù)字和字符串。(原文:JavaScript doesn't have a byte type — it just has numbers — or structured types, or http://skylitecellars.com/ even byte arrays: It just has strings.)
因為Node基于JavaScript,它自然可以處理類似HTTP這樣的文本協(xié)議,但是你也可以用它來跟數(shù)據(jù)庫交互,處理圖片或文件上傳等,可以想象,如果僅僅用字符串來做這些事得有多困難。早些時候,Node通過將byte編碼成文本字符來處理二進制數(shù)據(jù),但這種方式后來被證明并不可行,既浪費資源,又緩慢,又不靈活,而且難以維護。
Node有一個二進制緩沖實現(xiàn)Buffer,這個偽類(pseudo-class)提供了一系列處理二進制數(shù)據(jù)的API,簡化了那些需要處理二進制數(shù)據(jù)的任務。緩沖的長度由字節(jié)數(shù)據(jù)的長度決定,而且你可以隨機的設置和獲取緩沖內(nèi)的字節(jié)數(shù)據(jù)。
注意:Buffer類有一個特殊的地方,緩沖內(nèi)的字節(jié)數(shù)據(jù)所占用的內(nèi)存不是分配在JavaScrp
It VM內(nèi)存堆上的,也就是說這些對象不會被JavaScript的垃圾回收算法處理,取而代之的是一個不會被修改的永久內(nèi)存地址,這也避免了因緩沖內(nèi)容的內(nèi)存復制所造成的CPU浪費。
創(chuàng)建緩沖
你可以用一個UTF-8字符串創(chuàng)建緩沖,像這樣:
var buf = new Buffer(‘Hello World!');
也可以用指定編碼的字符串創(chuàng)建緩沖:
var buf = new Buffer('8b76fde713ce', 'base64');
可接受的字符編碼和標識如下:
1.ascii——ASCI,僅適用于ASCII字符集。
2.utf8——UTF-8,這種可變寬編碼適用于Unicode字符集的任何字符,它已經(jīng)成了Web世界的首選編碼,也是Node的默認編碼類型。
3.base64——Base64,這種編碼基于64個可打印ASCII字符來表示二進制數(shù)據(jù),Base64通常用于在字符文檔內(nèi)嵌入可以被轉化成字符串的二進制數(shù)據(jù),在需要時又可以完整無損的轉換回原來的二進制格式。
如果沒有數(shù)據(jù)來初始化緩沖,可以用指定的容量大小來創(chuàng)建一個空緩沖:
var buf = new Buffer(1024); // 創(chuàng)建一個1024字節(jié)的緩沖
獲取和設置緩沖數(shù)據(jù)
創(chuàng)建或接收一個緩沖對象后,你可能要查看或者修改它的內(nèi)容,可以通過[]操作符來訪問緩沖的某個字節(jié):
var buf = new Buffer('my buffer content');
// 訪問緩沖內(nèi)第10個字節(jié)
console.log(buf[10]); // -> 99
注意:當你(使用緩沖容量大小來)創(chuàng)建一個已初始化的緩沖時,一定要注意,緩沖的數(shù)據(jù)并沒有被初始化成0,而是隨機數(shù)據(jù)。
var buf = new Buffer(1024);
console.log(buf[100]); // -> 5 (某個隨機值)
你可以這樣修改緩沖里任何位置的數(shù)據(jù):
buf[99] = 125; // 把第100個字節(jié)的值設置為125
注意:在某些情況下,一些緩沖操作并不會產(chǎn)生錯誤,比如:
1.緩沖內(nèi)的字節(jié)最大值為255,如果某個字節(jié)被賦予大于256的數(shù)字,將會用256對其取模,然后將結果賦給這個字節(jié)。
2.如果將緩沖的某個字節(jié)賦值為256,它的實際值將會是0(譯者注:其實跟第一條重復,256%256=0)
3.如果用浮點數(shù)給緩沖內(nèi)某個字節(jié)賦值,比如100.7,實際值將會是浮點數(shù)的整數(shù)部分——100
4.如果你嘗試給一個超出緩沖容量的位置賦值,賦值操作將會失敗,緩沖不做任何修改。
你可以用length屬性獲取緩沖的長度:
var buf = new Buffer(100);
console.log(buf.length); // -> 100
還可以使用緩沖長度迭代緩沖的內(nèi)容,來讀取或設置每個字節(jié):
var buf = new Buffer(100);
for(var i = 0; i < buf.length; i++) {
buf[i] = i;
}
上面代碼新建了一個包含100個字節(jié)的緩沖,并從0到99設置了緩沖內(nèi)每個字節(jié)。
切分緩沖數(shù)據(jù)
一旦創(chuàng)建或者接收了一個緩沖,你可能需要提取緩沖數(shù)據(jù)的一部分,可以通過指定起始位置來切分現(xiàn)有的緩沖,從而創(chuàng)建另外一個較小的緩沖:
var buffer = new Buffer("this is the content of my buffer");
var smallerBuffer = buffer.slice(8, 19);
console.log(smallerBuffer.toString()); // -> "the content"
注意,當切分一個緩沖的時候并沒有新的內(nèi)存被分配或復制,新的緩沖使用父緩沖的內(nèi)存,它只是父緩沖某段數(shù)據(jù)(由起始位置指定)的引用。這段話含有幾個意思。
首先,如果你的程序修改了父緩沖的內(nèi)容,這些修改也會影響相關的子緩沖,因為父緩沖和子緩沖是不同的JavaScript對象,因此很容易忽略這個問題,并導致一些潛在的bug。
其次,當你用這種方式從父緩沖創(chuàng)建一個較小的子緩沖時,父緩沖對象在操作結束后依然會被保留,并不會被垃圾回收,如果不注意的話,很容易會造成內(nèi)存泄露。
注意:如果你擔心因此產(chǎn)生內(nèi)存泄露問題,你可以使用copy方法來替代slice操作,下面將會介紹copy。
復制緩沖數(shù)據(jù)
你可以像這樣用copy將緩沖的一部分復制到另外一個緩沖:
var buffer1 = new Buffer("this is the content of my buffer");
var buffer2 = new Buffer(11);
var targetStart = 0;
var sourceStart = 8;
var sourceEnd = 19;
buffer1.copy(buffer2, targetStart, sourceStart, sourceEnd);
console.log(buffer2.toString()); // -> "the content"
上面代碼,復制源緩沖的第9到20個字節(jié)到目標緩沖的開始位置。
解碼緩沖數(shù)據(jù)
緩沖數(shù)據(jù)可以這樣轉換成一個UTF-8字符串:
var str = buf.toString();
還可以通過指定編碼類型來將緩沖數(shù)據(jù)解碼成任何編碼類型的數(shù)據(jù)。比如,你想把一個緩沖解碼成base64字符串,可以這么做:
var b64Str = buf.toString("base64");
使用toString函數(shù),你還可以把一個UTF-8字符串轉碼成base64字符串:
var utf8String = 'my string';
var buf = new Buffer(utf8String);
var base64String = buf.toString('base64')
小結
有時候,你不得不跟二進制數(shù)據(jù)打交道,但是原生JavaScript又沒有明確的方式來做這件事,于是Node提供了Buffer類,封裝了一些針對連續(xù)內(nèi)存塊的操作。你可以在兩個緩沖之間切分或復制內(nèi)存數(shù)據(jù)。
你也可以把一個緩沖轉換成某種編碼的字符串,或者反過來,把一個字符串轉化成緩沖,來訪問或處理每個bit。
相關文章
Visual?Studio?Code中npm腳本找不到圖文解決辦法
這篇文章主要給大家介紹了關于Visual?Studio?Code中npm腳本找不到的圖文解決辦法,做前端開發(fā)如果項目達到了一定的規(guī)模就離不開npm了,文中通過圖文介紹的非常詳細,需要的朋友可以參考下2023-07-07用NodeJS實現(xiàn)批量查詢地理位置的經(jīng)緯度接口
最近要實現(xiàn)一個顯示各個城市信息的功能,后臺一看包含一堆城市的excel,發(fā)現(xiàn)不僅有每個省的直轄市,還有二三線等的城市,數(shù)量還不少,一個個去查還挺浪費時間的,那為什么不寫個腳本去實現(xiàn)批量查詢呢。2016-08-08Node.js node-schedule定時任務隔多少分鐘執(zhí)行一次的方法
這篇文章主要介紹了Node.js node-schedule定時任務隔多少分鐘執(zhí)行一次的方法,本文給出了每隔 15 分鐘、 30 分鐘執(zhí)行一次任務的編碼實例,需要的朋友可以參考下2015-02-02Node.js中package.json中庫的版本號(~和^)
這篇文章主要介紹了Node.js中package.json中庫的版本號(~和^),小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2019-04-04