前言

Protocol Buffers（protobuf）是一種輕量級的數(shù)據(jù)交換格式，可以用于結(jié)構(gòu)化數(shù)據(jù)的序列化和反序列化。它使用二進制格式來編碼數(shù)據(jù)，以提高傳輸效率和數(shù)據(jù)壓縮比。

在protobuf中，我們可以使用.proto文件來定義消息類型，并使用編譯器生成針對各種編程語言的序列化和反序列化代碼。序列化是將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為一系列字節(jié)的過程，反序列化則是將字節(jié)流解析為結(jié)構(gòu)化數(shù)據(jù)的過程。

序列化的過程通常涉及以下步驟：

定義消息類型：使用.proto文件定義消息類型和字段。

編寫應(yīng)用程序：編寫應(yīng)用程序，創(chuàng)建消息對象并填充字段。

序列化數(shù)據(jù)：使用protobuf庫，將消息對象序列化為字節(jié)數(shù)組。

傳輸數(shù)據(jù)：將字節(jié)數(shù)組發(fā)送給接收方。

反序列化數(shù)據(jù)：接收方使用protobuf庫，將字節(jié)數(shù)組反序列化為消息對象，并訪問其中的字段。

在序列化過程中，protobuf使用壓縮技術(shù)來減小數(shù)據(jù)的大小，從而提高傳輸效率。此外，protobuf支持向前和向后兼容的特性，可以使得我們在更新消息類型時，不會破壞現(xiàn)有的序列化數(shù)據(jù)

1. 序列化

序列化 (Serialization)將對象的狀態(tài)信息轉(zhuǎn)換為可以存儲或傳輸?shù)男问降倪^程，與之相對應(yīng)的過程稱之為反序列化（Unserialization）。序列化和反序列化主要用于解決在跨平臺和跨語言的情況下, 模塊之間的交互和調(diào)用，但其本質(zhì)是為了解決數(shù)據(jù)傳輸問題。

實現(xiàn)數(shù)據(jù)序列化:

• 要有原始數(shù)據(jù)
  • 復(fù)合類型 -> 最常見的情況
  • 基礎(chǔ)數(shù)據(jù)類型
• 通過某些方式 -> 另外一種形式的數(shù)據(jù)
• 得到的數(shù)據(jù)干啥? -> 目的: 進行分發(fā), 分發(fā)到不同的終端/平臺, 保證不同的平臺能正確解析
  • 網(wǎng)絡(luò)傳輸
  • 磁盤拷貝
• 序列化目的不是為了加密, 為的是數(shù)據(jù)的跨平臺傳輸
• 序列化的整體過程:
• 發(fā)送端
  • 原始數(shù)據(jù) -> 序列化 (編碼) -> 特殊格式的字符串
  • 發(fā)送這個字符串
• 接收端:
  • 接收數(shù)據(jù)
  • 特殊格式的字符串 -> 反序列化 (解碼) -> 原始數(shù)據(jù)
  • 對原始數(shù)據(jù)進行處理

1.1 網(wǎng)絡(luò)通信中的問題分析

發(fā)送過程中遇到的一些問題?

• 平臺不同
• 如果不是字符串, 需要進行字節(jié)序轉(zhuǎn)換
• 語言不同
• 字節(jié)對齊問題

1.2 常用的序列化方式

XML（ Extensible Markup Language ）類似于html

XML是一種常用的序列化和反序列化協(xié)議，具有跨機器，跨語言等優(yōu)點。XML歷史悠久，其1.0版本早在1998年就形成標準，并被廣泛使用至今。

XML的最初產(chǎn)生目標是對互聯(lián)網(wǎng)文檔進行標記，所以它的設(shè)計理念中就包含了對于人和機器都具備可讀性。 但是，當這種標記文檔的設(shè)計被用來序列化對象的時候，就顯得冗長而復(fù)雜。
XML基本格式:

   <?xml version="1.0" encoding="utf-8"?>
   <Library>
       <Type name="小說">
           <Book author="J.K.ROWLING" price="12$">哈利波特1</Book>
           <Book author="J.K.ROWLING" price="12$">哈利波特2</Book>
           <Book author="J.K.ROWLING" price="12$">哈利波特3</Book>
           <Book author="J.K.ROWLING" price="12$">哈利波特4</Book>
       </Type>
       <Type name="歷史">
           <Book author="司馬遷" price="20$">史記</Book>
       </Type>
   </Library>

Json（ JavaScript Object Notation ）

JSON起源于弱類型語言Javascript，它的產(chǎn)生來自于一種稱之為"關(guān)聯(lián)數(shù)組（Associative array）"的概念，其本質(zhì)是就是采用"鍵值對"的方式來描述對象。

JSON格式保持了XML的人眼可讀的優(yōu)點，非常符合工程師對對象的理解。

相對于XML而言，序列化后的數(shù)據(jù)更加簡潔（XML所產(chǎn)生序列化之后文件的大小接近JSON的兩倍），而且其協(xié)議比較簡單，解析速度比較快。

JSON格式具備Javascript的先天性支持，所以被廣泛應(yīng)用于Web browser的應(yīng)用常景中，是Ajax的事實標準協(xié)議。

// json是一種數(shù)據(jù)格式, 不是語言, 和平臺語言無關(guān)
// json數(shù)組
[整形, 浮點型, 布爾類型, 字符串, json數(shù)組, json對象]
[12, 12.44, true, "hello", [1,2,3]]
// json對象
{
    "key":"value"
}
json對象中是n個鍵值對
key: 必須是字符串
value: 
	整形
	浮點型
	布爾
	字符串
	json數(shù)組
	json對象
注意事項:
	在一個文件中只能存儲一個大的數(shù)組或者對象, 但是可以嵌套使用
	原素和原始之間使用逗號間隔(一個鍵值對視為一個元素)
	最后一個元素后邊沒有逗號
{
    "lilii":"717",
    "tom":"nihao",
    "lucy":"yyyyhhhh"
}
["潔潔", "姐姐"]
{
    "潔潔":{
        "father":"張三",
        "mother":"xxx",
        "sister""xxx",
        "favorite":["跳舞", "唱歌", "游泳"]
    }
	"姐姐":{
    }
}

Protocol Buffer

ASN.1 抽象語法標記(Abstract Syntax Notation One)

boost 序列化的類

2. protobuf

Protobuf是一個純粹的展示層協(xié)議，可以和各種傳輸層協(xié)議一起使用，Protobuf的文檔也非常完善。google 提供了多種語言的實現(xiàn)：java、c#、c++、go 和 python，每一種實現(xiàn)都包含了相應(yīng)語言的編譯器以及庫文件。

Protobuf支持的數(shù)據(jù)類型相對較少，不支持常量類型。由于其設(shè)計的理念是純粹的展現(xiàn)層協(xié)議，目前并沒有一個專門支持Protobuf的RPC框架。

2.1 操作流程

• 準備數(shù)據(jù)
  • 復(fù)合類型: 結(jié)構(gòu)體/ 類
• 基礎(chǔ)類型
• 創(chuàng)建一個新文件 xxx.proto
• 將我們要序列化的數(shù)據(jù) -> 寫入到proto文件
  • 注意寫入有語法格式
• 通過命令 protoc將xxx.proto文件生成一個c++的類
  • 會生成一個頭文件/ 源文件
  • 操作命令-> 在window終端中: protoc xxx.proto --cpp_out=./
• 使用這兩個文件
  • 文件里有對數(shù)據(jù)操作的api
• 讀數(shù)據(jù) API
• 方法名字 變量名()
• 寫數(shù)據(jù) API
• 方法名字: set_變量名(arg)
• 等等API

// 要序列化的數(shù)據(jù)
struct Persion
{
    int id;
    string name;
    string sex;	// man woman
    int age;
};
int id;

在.proto文件中定義消息格式

// protobuf的版本
syntax = "proto3";	// proto2
// 組織Persion結(jié)構(gòu)體
// 語法格式
message 關(guān)鍵字(相當于被創(chuàng)建出的類的名字)
{
	// 成員變量
	數(shù)據(jù)類型 變量名 = 變量的編號;	// 編號從1開始, 不能重復(fù)
}
// .proto文件 生成 c++ 類的命令
protoc proto文件名 --cpp_out=生成目錄

具體轉(zhuǎn)換類型規(guī)則如下所示：

repeated限定修飾符

用于定義一個字段可以包含多個值。它只能應(yīng)用于特定的字段類型，例如int32、string等。

使用repeated修飾符可以定義一個重復(fù)字段，表示該字段可以包含一個或多個值，并以列表的形式進行存儲和傳輸。這使得我們能夠在一個字段中存儲多個相關(guān)的數(shù)據(jù)，而無需定義多個獨立的字段。

以下是一個示例，展示了如何使用repeated修飾符創(chuàng)建一個重復(fù)字段：

message MyMessage {
  repeated int32 numbers = 1;
  repeated string names = 2;
}

在上述示例中，numbers字段和names字段都被修飾為repeated，允許存儲多個整數(shù)和字符串值。

通過使用repeated修飾符，我們可以輕松地處理包含多個值的字段，例如迭代訪問、添加和刪除元素等操作。

枚舉

枚舉類型是一種定義常量值列表的方式，用于表示一組相關(guān)的命名常量。它可以在消息類型中定義，并用于描述消息類型中的字段。

以下是一個示例，展示了如何使用protobuf中的枚舉類型：

  // 定義枚舉
enum PhoneType {
  MOBILE = 0;// protbuf中第一個枚舉值必須為0
  HOME = 1;
  WORK = 2;
}
message Person {
  string name = 1;
  repeated PhoneNumber phones = 2;
}
message PhoneNumber {
  string number = 1;
  PhoneType type = 2; // 枚舉變量
}

在上述示例中，我們定義了一個PhoneType枚舉類型，其中包含三個常量值：MOBILE、HOME和WORK。這個枚舉類型用于描述電話號碼的類型，包括移動電話、家庭電話和工作電話。

然后，我們在PhoneNumber消息類型中使用了這個枚舉類型，將電話號碼與電話類型關(guān)聯(lián)起來。這樣，我們就可以輕松地區(qū)分不同類型的電話號碼，并按照類型進行處理。

在protobuf中，枚舉類型的值對應(yīng)一個整數(shù)，可以使用=操作符為其指定具體的值。默認情況下，第一個枚舉值的值為0，后續(xù)的枚舉值依次遞增。如果需要指定特定的值，可以使用類似于MY_ENUM_VALUE = 100;這樣的語法進行設(shè)置。

proto文件的導(dǎo)入

// Persion.proto
syntax = "proto3";
// 導(dǎo)入另外一個proto文件
import "Info.proto";
enum Color
{
	Red = 0;	// protbuf中第一個枚舉值必須為0
	Green = 6;
	Blue = 9;
}
message Persion
{
    int32 id = 1;   // 編號從1開始
    repeated bytes name = 2;
    string sex = 3;
    int32 age = 4;
    Color color = 5;
    Info info = 6;	// Info對象, 導(dǎo)入的proto文件中的類
}

// Info.proto
syntax = "proto3";
message Info
{
    bytes address = 1;  // 地址
    int32 number = 2;   // 門牌號
}

包 -> 命名空間

// Persion.proto
syntax = "proto3";
// 導(dǎo)入另外一個proto文件
import "Info.proto";
// 添加命名空間
package itcast;	// Persion類屬于itcast這個命名空間
enum Color
{
	Red = 0;	// protbuf中第一個枚舉值必須為0
	Green = 6;
	Blue = 9;
}
message Persion
{
    int32 id = 1;   // 編號從1開始
    repeated bytes name = 2;
    string sex = 3;
    int32 age = 4;
    Color color = 5;
    // 命名空間.類名
    itheima.Info info = 6;	// Info對象, 導(dǎo)入的proto文件中的類
}

// Info.proto
syntax = "proto3";
// Persion類屬于itheima這個命名空間
package itheima;
message Persion
{
    bytes address = 1;  // 地址
    int32 number = 2;   // 門牌號
}

使用protobuf編譯器生成C++類

# protobuf編譯器, 編譯源碼得到的 protoc.exe
# 語法
# --cpp_out 生成的c++類的位置
protoc.exe xxx.proto --cpp_out=目錄

使用C++ API來讀寫消息

• 讀: 變量名()
• 寫: set_變量名(arg1, arg2, ...)

 ?總結(jié)

• 效率和緊湊性：protobuf使用二進制編碼，提供了高效的數(shù)據(jù)傳輸和緊湊的數(shù)據(jù)存儲，相對于文本格式，可以節(jié)省帶寬和存儲空間。
• 跨平臺和可擴展性：protobuf支持多種編程語言，包括C++、Java、Python等，可以在不同平臺和語言之間進行數(shù)據(jù)交換。它還支持向前和向后兼容，可以在消息類型更新時保持數(shù)據(jù)的兼容性。
• 結(jié)構(gòu)化數(shù)據(jù)定義：protobuf使用.proto文件來定義消息類型和字段，提供了結(jié)構(gòu)化的數(shù)據(jù)模型，使得數(shù)據(jù)的組織和訪問更加清晰和靈活。
• 強類型和類型安全：protobuf使用強類型系統(tǒng)，可以在編譯時檢查類型錯誤，避免在運行時出現(xiàn)錯誤。這提供了更好的類型安全性和代碼可靠性。
• 支持多種數(shù)據(jù)類型：protobuf支持各種基本數(shù)據(jù)類型（如整數(shù)、字符串、布爾值等），以及復(fù)雜的數(shù)據(jù)類型（如嵌套消息、枚舉等），可以靈活地描述和處理各種數(shù)據(jù)結(jié)構(gòu)。
• 序列化和反序列化：protobuf提供了自動生成的序列化和反序列化代碼，使得數(shù)據(jù)的序列化和反序列化過程簡單而高效。它還支持壓縮技術(shù)，可以減小數(shù)據(jù)大小，提高傳輸效率。
• 可讀性和可維護性：由于protobuf使用結(jié)構(gòu)化的數(shù)據(jù)模型和明確的消息類型定義，使得代碼更具可讀性和可維護性。同時，它也提供了版本控制機制，方便進行更新和演進。

到此這篇關(guān)于protobuf 序列化和反序列化的文章就介紹到這了,更多相關(guān)protobuf 序列化和反序列化內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論