使用NodeJS編寫前端工具時(shí)，操作得最多的是文本文件，因此也就涉及到了文件編碼的處理問(wèn)題。我們常用的文本編碼有UTF8和GBK兩種，并且UTF8文件還可能帶有BOM。在讀取不同編碼的文本文件時(shí)，需要將文件內(nèi)容轉(zhuǎn)換為JS使用的UTF8編碼字符串后才能正常處理。

BOM用于標(biāo)記一個(gè)文本文件使用Unicode編碼,其本身是一個(gè)Unicode字符（"\uFEFF"）,根據(jù)文本文件頭幾個(gè)字節(jié)等于啥來(lái)判斷文件是否包含BOM,以及使用哪種Unicode編碼,NodeJS支持在讀取文本文件時(shí),或者在Buffer轉(zhuǎn)換為字符串時(shí)指定文本編碼,但遺憾的是,GBK編碼不在NodeJS自身支持范圍內(nèi),因此,一般我們借助iconv-lite這個(gè)三方包來(lái)轉(zhuǎn)換編碼。

BOM的移除

BOM用于標(biāo)記一個(gè)文本文件使用Unicode編碼，其本身是一個(gè)Unicode字符（"\uFEFF"），位于文本文件頭部。在不同的Unicode編碼下，BOM字符對(duì)應(yīng)的二進(jìn)制字節(jié)如下：

    Bytes      Encoding
----------------------------
    FE FF       UTF16BE
    FF FE       UTF16LE
    EF BB BF    UTF8

因此，我們可以根據(jù)文本文件頭幾個(gè)字節(jié)等于啥來(lái)判斷文件是否包含BOM，以及使用哪種Unicode編碼。但是，BOM字符雖然起到了標(biāo)記文件編碼的作用，其本身卻不屬于文件內(nèi)容的一部分，如果讀取文本文件時(shí)不去掉BOM，在某些使用場(chǎng)景下就會(huì)有問(wèn)題。例如我們把幾個(gè)JS文件合并成一個(gè)文件后，如果文件中間含有BOM字符，就會(huì)導(dǎo)致瀏覽器JS語(yǔ)法錯(cuò)誤。因此，使用NodeJS讀取文本文件時(shí)，一般需要去掉BOM。例如，以下代碼實(shí)現(xiàn)了識(shí)別和去除UTF8 BOM的功能。

function readText(pathname) {
    var bin = fs.readFileSync(pathname);

    if (bin[0] === 0xEF && bin[1] === 0xBB && bin[2] === 0xBF) {
        bin = bin.slice(3);
    }

    return bin.toString('utf-8');
}

GBK轉(zhuǎn)UTF8

NodeJS支持在讀取文本文件時(shí)，或者在Buffer轉(zhuǎn)換為字符串時(shí)指定文本編碼，但遺憾的是，GBK編碼不在NodeJS自身支持范圍內(nèi)。因此，一般我們借助iconv-lite這個(gè)三方包來(lái)轉(zhuǎn)換編碼。使用NPM下載該包后，我們可以按下邊方式編寫一個(gè)讀取GBK文本文件的函數(shù)。

var iconv = require('iconv-lite');

function readGBKText(pathname) {
    var bin = fs.readFileSync(pathname);

    return iconv.decode(bin, 'gbk');
}

單字節(jié)編碼

有時(shí)候，我們無(wú)法預(yù)知需要讀取的文件采用哪種編碼，因此也就無(wú)法指定正確的編碼。比如我們要處理的某些CSS文件中，有的用GBK編碼，有的用UTF8編碼。雖然可以一定程度可以根據(jù)文件的字節(jié)內(nèi)容猜測(cè)出文本編碼，但這里要介紹的是有些局限，但是要簡(jiǎn)單得多的一種技術(shù)。

首先我們知道，如果一個(gè)文本文件只包含英文字符，比如Hello World，那無(wú)論用GBK編碼或是UTF8編碼讀取這個(gè)文件都是沒(méi)問(wèn)題的。這是因?yàn)樵谶@些編碼下，ASCII0~128范圍內(nèi)字符都使用相同的單字節(jié)編碼。

反過(guò)來(lái)講，即使一個(gè)文本文件中有中文等字符，如果我們需要處理的字符僅在ASCII0~128范圍內(nèi)，比如除了注釋和字符串以外的JS代碼，我們就可以統(tǒng)一使用單字節(jié)編碼來(lái)讀取文件，不用關(guān)心文件的實(shí)際編碼是GBK還是UTF8。以下示例說(shuō)明了這種方法。

1\. GBK編碼源文件內(nèi)容：
    var foo = '中文';
2\. 對(duì)應(yīng)字節(jié)：
    76 61 72 20 66 6F 6F 20 3D 20 27 D6 D0 CE C4 27 3B
3\. 使用單字節(jié)編碼讀取后得到的內(nèi)容：
    var foo = '{亂碼}{亂碼}{亂碼}{亂碼}';
4\. 替換內(nèi)容：
    var bar = '{亂碼}{亂碼}{亂碼}{亂碼}';
5\. 使用單字節(jié)編碼保存后對(duì)應(yīng)字節(jié)：
    76 61 72 20 62 61 72 20 3D 20 27 D6 D0 CE C4 27 3B
6\. 使用GBK編碼讀取后得到內(nèi)容：
    var bar = '中文';

這里的訣竅在于，不管大于0xEF的單個(gè)字節(jié)在單字節(jié)編碼下被解析成什么亂碼字符，使用同樣的單字節(jié)編碼保存這些亂碼字符時(shí)，背后對(duì)應(yīng)的字節(jié)保持不變。

NodeJS中自帶了一種binary編碼可以用來(lái)實(shí)現(xiàn)這個(gè)方法，因此在下例中，我們使用這種編碼來(lái)演示上例對(duì)應(yīng)的代碼該怎么寫。

function replace(pathname) {
    var str = fs.readFileSync(pathname, 'binary');
    str = str.replace('foo', 'bar');
    fs.writeFileSync(pathname, str, 'binary');
}

到此這篇關(guān)于NodeJS去除BOM和轉(zhuǎn)換UTF8編碼的文章就介紹到這了,更多相關(guān)NodeJS去除BOM和轉(zhuǎn)換編碼內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論