C++如何實現(xiàn)定長內(nèi)存池詳解
1. 池化技術(shù)
池是在計算機技術(shù)中經(jīng)常使用的一種設(shè)計模式,其內(nèi)涵在于:將程序中需要經(jīng)常使用的核心資源先申請出來,放到一個池內(nèi),由程序自己管理,這樣可以提高資源的使用效率,也可以保證本程序占有的資源數(shù)量。 經(jīng)常使用的池技術(shù)包括內(nèi)存池、線程池和連接池(數(shù)據(jù)庫經(jīng)常使用到)等,其中尤以內(nèi)存池和線程池使用最多。
2. 內(nèi)存池概念
內(nèi)存池(Memory Pool) 是一種動態(tài)內(nèi)存分配與管理技術(shù)。 通常情況下,程序員習(xí)慣直接使用 new、delete、malloc、free 等API申請分配和釋放內(nèi)存,這樣導(dǎo)致的后果是:當(dāng)程序長時間運行時,由于所申請內(nèi)存塊的大小不定,頻繁使用時會造成大量的內(nèi)存碎片從而降低程序和操作系統(tǒng)的性能。內(nèi)存池則是在真正使用內(nèi)存之前,先申請分配一大塊內(nèi)存(內(nèi)存池)留作備用,當(dāng)程序員申請內(nèi)存時,從池中取出一塊動態(tài)分配,當(dāng)程序員釋放內(nèi)存時,將釋放的內(nèi)存再放入池內(nèi),再次申請池可以 再取出來使用,并盡量與周邊的空閑內(nèi)存塊合并。若內(nèi)存池不夠時,則自動擴(kuò)大內(nèi)存池,從操作系統(tǒng)中申請更大的內(nèi)存池。
2.1 內(nèi)存碎片
- 內(nèi)碎片:
內(nèi)部碎片就是已經(jīng)被分配出去(能明確指出屬于哪個進(jìn)程)卻不能被利用的內(nèi)存空間;內(nèi)部碎片是處于區(qū)域內(nèi)部或頁面內(nèi)部的存儲塊。占有這些區(qū)域或頁面的進(jìn)程并不使用這個 存儲塊。而在進(jìn)程占有這塊存儲塊時,系統(tǒng)無法利用它。直到進(jìn)程釋放它,或進(jìn)程結(jié)束時,系統(tǒng)才有可能利用這個存儲塊。(編譯器會對數(shù)據(jù)進(jìn)行對齊操作,當(dāng)不是編譯器的最小對齊數(shù)的整數(shù)倍的時候需要添加一些來保證對齊,那么這塊為了對齊而添加的就是內(nèi)碎片)
- 外碎片(通常所講的內(nèi)存碎片):
假設(shè)系統(tǒng)依次分配了16byte、8byte、16byte、4byte,還剩余8byte未分配。這時要分配一個24byte的空間,操作系統(tǒng)回收了一個上面的兩個16byte,總的剩余空間有40byte,但是卻不能分配出一個連續(xù)24byte的空間,這就是外碎片問題。(本來有足夠的內(nèi)存,但是由于碎片化無法申請到稍大一些的連續(xù)內(nèi)存)
3. 實現(xiàn)定長內(nèi)存池
3.1 定位new表達(dá)式(placement-new)
定位new表達(dá)式是在已分配的原始內(nèi)存空間中調(diào)用構(gòu)造函數(shù)初始化一個對象。使用格式:new (place_address) type或者new (place_address) type(initializer-list),place_address必須是一個指針,initializer-list是類型的初始化列表。
使用場景:
定位new表達(dá)式在實際中一般是配合內(nèi)存池使用。因為內(nèi)存池分配出的內(nèi)存沒有初始化,所以如果是自定義類型的對象,需要**使用new的定義表達(dá)式進(jìn)行顯示調(diào)構(gòu)造函數(shù)**進(jìn)行初始化。
3.2 完整實現(xiàn)
即實現(xiàn)一個 FreeList,每個 FreeList 用于分配固定大小的內(nèi)存塊,比如用于分配 32字節(jié)對象的固定內(nèi)存分配器,之類的。
優(yōu)點:
簡單粗暴,分配和釋放的效率高,解決實際中特定場景下的問題有效。缺點:
功能單一,只能解決定長的內(nèi)存需求,另外占著內(nèi)存沒有釋放。
實現(xiàn)的思想:
- 先向內(nèi)存申請一塊大的內(nèi)存,如果需要,那么就對這塊已經(jīng)申請出來的內(nèi)存進(jìn)行切割(減少了和操作系統(tǒng)底層打交道的次數(shù),效率也就提高了,內(nèi)存池一定是可以解決申請和釋放內(nèi)存的效率的)
- 對于不需要的小塊內(nèi)存,并不是將其進(jìn)行釋放掉,而是使用一個freeList將他們管理起來,如果freeList中有了空余的,那么再次申請內(nèi)存首先會到自由鏈表中取,而不是去申請出來的大內(nèi)存塊進(jìn)行切割
- 對于這個申請出來的小塊內(nèi)存,前4個或者8個字節(jié)存放的是下一個小內(nèi)存塊的地址(這是由于在32位平臺下指針的大小是4字節(jié),在64位平臺下指針則是8字節(jié)),這里如何巧妙的進(jìn)行平臺下指針大小的適配,需要好好的進(jìn)行琢磨。
- (幫助理解3)指針就是地址,那么指針的類型是為了解引用取到大小,對于所申請出來的內(nèi)存的類型我是不關(guān)心的,在32位平臺下我就想取出他的前4個字節(jié),然后存放我的下一個小內(nèi)存的地址,所以把obj強轉(zhuǎn)為int*類型,然后在解引用就可以拿到前4個字節(jié)。那如果在64位平臺下,就應(yīng)該取其前8個字節(jié)來存放下一個小內(nèi)存的地址,但是如果都寫為取前4個字節(jié)的話,這里就會發(fā)生指針越界的問題。下述代碼所寫的Nextobj()接口函數(shù)就是為了能夠取出小內(nèi)存中的前4個字節(jié)或者8個字節(jié)。我需要的類型是void*,可以自動的適配平臺(類比于上述的int類型,就可以相通)
//實現(xiàn)一個定長的內(nèi)存池(針對某一個具體的對象,所以起名字叫ObjictPool) #pragma once #include"Common.h" template<class T> class ObjectPool { public: ~ObjectPool() { // } //此時代碼還存一個很大的問題:我們默認(rèn)這里取的是前四個字節(jié),但是在64位的平臺下,需要取的應(yīng)該是這塊小內(nèi)存的前8個字節(jié)來保存地址 void*& Nextobj(void* obj) { return *((void**)obj); //對于返回的void*可以自動的適配平臺 } //申請內(nèi)存的函數(shù)接口 T* New() { T* obj = nullptr; //一上來首先應(yīng)該判斷freeList if (_freeList) { //那就直接從自由鏈表中取一塊出來 obj = (T*)_freeList; //_freeList = (void*)(*(int*)_freeList); _freeList = Nextobj(_freeList); } else { //表示自由鏈表是空的 //那么這里又要進(jìn)行判斷,memory有沒有 if (_leftSize < sizeof(T)) //說明此時空間不夠了 { //那么就進(jìn)行切割 _leftSize = 1024 * 100; _memory = (char*)malloc(_leftSize); //對于C++來說,如果向系統(tǒng)申請失敗了,則會拋異常 if (_memory == nullptr) { throw std::bad_alloc(); } } //進(jìn)行memory的切割 obj = (T*)_memory; _memory += sizeof(T); //這里如果想不通可以畫一下圖,很簡單 _leftSize -= sizeof(T); //表示剩余空間的大小 } new(obj)T; //定位new,因為剛申請的空間內(nèi)如果是自定義類型是沒有初始化的 //所以需要可以顯示的調(diào)用這個類型的構(gòu)造函數(shù),這個是專門配合內(nèi)存池使用的 return obj; } void Delete(T* obj) { obj->~T();//先把自定義類型進(jìn)行析構(gòu) //然后在進(jìn)行釋放,但是此時還回來的都是一塊一塊的小內(nèi)存,無法做到一次性進(jìn)行free,所以需要一個自由鏈表將這些小內(nèi)存都掛接住 //這里其實才是核心的關(guān)鍵點 //對于指針來說,在32位的平臺下面是4字節(jié),在64位平臺下面是8字節(jié) //頭插到freeList //*((int*)obj)= (int)_freeList; Nextobj(obj) = _freeList; _freeList = obj; } private: char* _memory = nullptr;//這里給char*是為了好走大小,并不是一定要給T*或者void* int _leftSize = 0; //為什么會加入這個成員變量呢?因為你的menory += sizeof(T),有可能就會造成越界的問題 void* _freeList = nullptr; //給一些缺省值,讓他的構(gòu)造函數(shù)自己生成就可以了 }; struct TreeNode { int _val; TreeNode* _left; TreeNode* _right; TreeNode() :_val(0) , _left(nullptr) , _right(nullptr) {} }; void TestObjectPool() { 驗證還回來的內(nèi)存是否重復(fù)利用的問題 ObjectPool<TreeNode> tnPool; TreeNode* node1 = tnPool.New(); TreeNode* node2 = tnPool.New(); cout << node1 << endl; cout << node2 << endl; tnPool.Delete(node1); TreeNode* node3 = tnPool.New(); cout << node3 << endl; cout << endl; //驗證內(nèi)存池到底快不快,有沒有做到性能的優(yōu)化 //new底層本身調(diào)用的malloc,會一直和操作系統(tǒng)的底部打交道 size_t begin1 = clock(); std::vector<TreeNode*> v1; for (int i = 0; i < 1000000; ++i) { v1.push_back(new TreeNode); } for (int i = 0; i < 1000000; ++i) { delete v1[i]; } size_t end1 = clock(); //這里我們調(diào)用自己所寫的內(nèi)存池 ObjectPool<TreeNode> tnPool; size_t begin2 = clock(); std::vector<TreeNode*> v2; for (int i = 0; i < 1000000; ++i) { v2.push_back(tnPool.New()); } for (int i = 0; i < 1000000; ++i) { tnPool.Delete(v2[i]); } size_t end2 = clock(); cout << end1 - begin1 << endl; cout << end2 - begin2 << endl; }
這個定長的內(nèi)存池依舊存在著大量的問題:
- 我們所采用的是取這塊小內(nèi)存的前4個或者8個字節(jié)來存放下一個小內(nèi)存的地址,但是如果這里的模板類型T是一個char類型怎么辦,它本身都沒有4字節(jié),怎么來存放?(解決的辦法就是,進(jìn)行一次判斷如果sizeof(T) < sizeof(T*)的大小,那么就開辟T*的大?。?/li>
- 無法編寫這個ObjectPool的析構(gòu)函數(shù),因為申請的都是一個個的小塊內(nèi)存,但是對于free來說,應(yīng)該是一次性的對整個所開辟出來的內(nèi)存塊都進(jìn)行釋放(解決的辦法就是,將這些向操作系統(tǒng)申請的大塊內(nèi)存也管理起來,如果小塊內(nèi)存都還回來了,那么就可以對這個大塊內(nèi)存進(jìn)行釋放)
對于上述的具體實現(xiàn)可以參考下面這篇文章寫的很詳細(xì):
總結(jié)
到此這篇關(guān)于C++如何實現(xiàn)定長內(nèi)存池的文章就介紹到這了,更多相關(guān)C++定長內(nèi)存池內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
C++?const與constexpr區(qū)別小結(jié)
C++11標(biāo)準(zhǔn)中,const用于為修飾的變量添加只讀屬性,而constexpr關(guān)鍵字則用于指明其后是一個常量,本文主要介紹了C++?const與constexpr區(qū)別小結(jié),感興趣的可以了解一下2024-03-03C++如何實現(xiàn)BCD碼和ASCII碼的相互轉(zhuǎn)換
這篇文章主要介紹了C++實現(xiàn)BCD碼和ASCII碼互轉(zhuǎn),本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-06-06