C++開發(fā)protobuf動態(tài)解析工具
為什么需要這個工具
數(shù)據(jù)庫中存儲的protobuf序列化的內(nèi)容，有時候查問題想直接解析查看內(nèi)容。很多編碼在網(wǎng)上很容易找到編解碼工具，但protobuf沒有找到編解碼工具，可能這樣的需求比較少吧，那就自己用C++實現(xiàn)一個。
需求描述
我們知道，要解析protobuf，需要有proto定義，所以我們的輸入?yún)?shù)需要包含序列化的數(shù)據(jù)以及proto定義，如果proto中包含多個message，還需要指定解析到哪個message。所以一共是三個輸入?yún)?shù)。
此外，為了方便使用，我們的工具不要求給出完整的proto定義，如果有嵌套的message沒有定義，不應(yīng)影響其他字段解析。
搜索現(xiàn)成方案
網(wǎng)上搜索了一圈，找到的類似方案大多需要導(dǎo)入完整的proto文件：
int DynamicParseFromPBFile(const std::string& file, const std::string& classname,
const std::string& pb_str) {
// ...
// 導(dǎo)入proto文件
::google::protobuf::compiler::Importer importer(&sourceTree, NULL);
importer.Import(file);
// 找到要解析的message
auto descriptor = importer.pool()->FindMessageTypeByName(classname);
::google::protobuf::DynamicMessageFactory factory;
auto message = factory.GetPrototype(descriptor);
// 動態(tài)創(chuàng)建message對象
auto msg = message->New();
msg->ParseFromString(pb_str);
// msg即為解析到的結(jié)構(gòu)
}
這樣可以實現(xiàn)動態(tài)解析，但仍不滿足我們的需求——即使proto不完整，也希望能解析。
舉個例子：
message MyMsg {
optional uint64 id = 1;
optional OtherMsg other = 2;
}
MyMsg中包含OtherMsg類型，但并沒有給出OtherMsg的定義，所以無法正常解析。
AST在哪里
事實上，在解析proto文件時，肯定需要先將其解析為抽象語法樹(AST)，在AST中，我們可以很容易修改proto的定義，例如將other字段刪掉，或者將其類型改為bytes，這樣就可以正常解析了。
那么，proto文件解析成的AST結(jié)構(gòu)在哪里呢？只能從源碼中尋找答案了。
一番查找后，終于看到了FindFileByName方法的這段代碼：
bool SourceTreeDescriptorDatabase::FindFileByName(const std::string& filename,
FileDescriptorProto* output) {
// ...
io::Tokenizer tokenizer(input.get(), &file_error_collector);
Parser parser;
// Parse it.
output->set_name(filename);
return parser.Parse(&tokenizer, output) && !file_error_collector.had_errors();
}
從這段代碼中可以看到，F(xiàn)ileDescriptorProto就是我們要找的AST結(jié)構(gòu)。那么這到底是個什么結(jié)構(gòu)呢？
其實，F(xiàn)ileDescriptorProto本身也是一個proto定義的message：
message FileDescriptorProto {
optional string name = 1; // file name, relative to root of source tree
optional string package = 2; // e.g. "foo", "foo.bar", etc.
// All top-level definitions in this file.
repeated DescriptorProto message_type = 4;
repeated EnumDescriptorProto enum_type = 5;
repeated ServiceDescriptorProto service = 6;
repeated FieldDescriptorProto extension = 7;
// ...
}
從它的字段中可以看到，其代表的是整個proto文件，包括文件中的所有message、enum等定義。
開始寫代碼
第一步
仿照上面的源碼，將輸入的proto定義解析為FileDescriptorProto對象：
// proto輸入
istringstream ss(proto);
istream* is = &ss;
io::IstreamInputStream input(is);
// 解析到FileDescriptorProto AST
io::Tokenizer tokenizer(&input, nullptr);
FileDescriptorProto output;
compiler::Parser parser;
if (!parser.Parse(&tokenizer, &output)) {
err_msg = "parse proto failed";
return -1;
}
output.set_name("proto");
output.clear_source_code_info();
printf("MSG: proto parsed output: %s\n", output.DebugString().c_str());
第2步
處理FileDescriptorProto對象，將沒有給定義的字段類型都改成bytes，保證proto可以正常解析：
int ConvertUnknownType2Bytes(FileDescriptorProto& file_descriptor_proto) {
// 找出所有給出定義的message類型名
set<string> typename_set;
for (auto const& msgtype : file_descriptor_proto.message_type()) {
typename_set.insert(msgtype.name());
// message內(nèi)嵌套定義的message也要包含在內(nèi)
for (auto const& subtype : msgtype.nested_type()) {
typename_set.insert(subtype.name());
}
}
// 遍歷所有field，檢查其類型是否存在定義
for (auto& msgtype : *file_descriptor_proto.mutable_message_type()) {
for (auto& field : *msgtype.mutable_field()) {
auto type_name = field.type_name();
// 基本類型的type_name是空的
if (!type_name.empty()) {
// 如果typename_set中找不到該類型名，則轉(zhuǎn)為bytes類型
if (typename_set.find(type_name) == typename_set.end()) {
field.clear_type_name();
field.set_type(FieldDescriptorProto_Type_TYPE_BYTES);
}
}
}
}
return 0;
}
第3步
解析修改后的FileDescriptorProto對象，創(chuàng)建指定message類型對象。
// 解析proto并檢查錯誤
SimpleDescriptorDatabase db;
db.Add(output);
DescriptorPool pool(&db);
auto descriptor = pool.FindMessageTypeByName(msg_type_name);
if (descriptor == nullptr) {
// proto結(jié)構(gòu)有錯
err_msg = "parse proto failed. FindMessageTypeByName result is null";
return -1;
}
DynamicMessageFactory factory;
auto message = factory.GetPrototype(descriptor);
unique_ptr<Message> msg(message->New());
第4步
將序列化的數(shù)據(jù)解析到msg中：
msg->ParseFromString(serilized_pb); cout << "proto msg: " << msg->ShortDebugString().c_str() << endl;
這樣，我們就成功實現(xiàn)了動態(tài)解析，也成功將不可讀的二進(jìn)制數(shù)據(jù)serilized_pb以可讀的形式打印出來了。
總結(jié)
我們?yōu)榱藢崿F(xiàn)動態(tài)解析不完整的proto，我們首先從源碼中找到了將proto定義轉(zhuǎn)化為AST——也就是FileDescriptorProto——的方法。
接著，我們將AST對象進(jìn)行修改，將不合法的proto改成合法的。
最后，我們再利用修改后的FileDescriptorProto構(gòu)造出需要的message對象，解析序列化的數(shù)據(jù)。
以上就是C++開發(fā)protobuf動態(tài)解析工具的詳細(xì)內(nèi)容，更多關(guān)于C++ protobuf動態(tài)解析工具的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
本文主要介紹了C語言中的sscanf()函數(shù)使用，sscanf通常被用來解析并轉(zhuǎn)換字符串，可以實現(xiàn)很強大的字符串解析功能，下面就一起來了解一下2023-05-05
Boost是為C++語言標(biāo)準(zhǔn)庫提供擴展的一些C++程序庫的總稱。Boost庫是一個可移植、提供源代碼的C++庫，作為標(biāo)準(zhǔn)庫的后備，是C++標(biāo)準(zhǔn)化進(jìn)程的開發(fā)引擎之一，是為C++語言標(biāo)準(zhǔn)庫提供擴展的一些C++程序庫的總稱2022-11-11
這篇文章主要為大家詳細(xì)介紹了如何利用C語言實現(xiàn)繪制可愛的橘子鐘表，文中的示例代碼講解詳細(xì)，具有一定的學(xué)習(xí)價值，感興趣的可以了解一下2022-12-12
C++詳細(xì)分析lambda表達(dá)式的本質(zhì)
Lambda表達(dá)式是現(xiàn)代C++在C ++ 11和更高版本中的一個新的語法糖 ,在C++11、C++14、C++17和C++20中Lambda表達(dá)的內(nèi)容還在不斷更新。 lambda表達(dá)式(也稱為lambda函數(shù))是在調(diào)用或作為函數(shù)參數(shù)傳遞的位置處定義匿名函數(shù)對象的便捷方法2022-06-06
C++連接mysql數(shù)據(jù)庫的兩種方法小結(jié)
這篇文章主要介紹了C++連接mysql數(shù)據(jù)庫的兩種方法小結(jié),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
這篇文章主要介紹了 c語言排序之歸并排序，歸并就是把兩個或多個序列合并，文中通過示例代碼介紹的非常詳細(xì)。對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-05-05
這篇文章主要為大家介紹了C語言直接插入排序算法的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12![QT實現(xiàn)將兩個時間相加的算法[hh:?mm?+?hh:?mm]的示例代碼](http://img.jbzj.com/images/xgimg/bcimg7.png)
QT實現(xiàn)將兩個時間相加的算法[hh:?mm?+?hh:?mm]的示例代碼
本文主要介紹了QT實現(xiàn)將兩個時間相加的算法[hh:?mm?+?hh:?mm]的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
位域是C語言中的一種高級功能，允許程序員為結(jié)構(gòu)體的成員分配特定數(shù)量的位，本文主要為大家介紹了位域的使用以及優(yōu)缺點，希望對大家有所幫助2023-07-07
指針在 C\C++ 語言中是很重要的內(nèi)容,并且和指針有關(guān)的內(nèi)容一向令初學(xué)者頭大,這篇文章主要給大家介紹了關(guān)于C/C++中指針的相關(guān)資料,需要的朋友可以參考下2021-07-07