joblib模型固化 

joblib提供了三個(gè)與對(duì)象序列化和模型固化相關(guān)的函數(shù)hash,dump,load。

joblib.hash主要是為了提供一個(gè)numpy對(duì)象的hash方法， joblib.dump 并 joblib.load 替代了pickle，使其可以在包含大數(shù)據(jù)（尤其是大型numpy數(shù)組）的任意Python對(duì)象上高效工作。

hash

joblib.hash（obj，hash_name ='md5'，coerce_mmap = False ）

參數(shù)：    

hash_name：'md5'或'sha1'

使用哈希算法。sha1應(yīng)該更安全，但是md5更快。

• coerce_mmap：布爾值
• np.memmap和np.ndarray之間沒有區(qū)別

快速計(jì)算哈希值，以唯一標(biāo)識(shí)包含numpy數(shù)組的Python對(duì)象。主要是因?yàn)閜ython自帶的hash函數(shù)不支持numpy對(duì)象的hash值計(jì)算。

dump

joblib.dump(value, filename, compress=0, protocol=None)

 value：任何Python對(duì)象,要存儲(chǔ)到磁盤的對(duì)象。

文件名：str，pathlib.Path或文件對(duì)象。

要在其中存儲(chǔ)文件的文件對(duì)象或文件路徑。與支持的文件擴(kuò)展名之一（“ .z”，“。gz”，“。bz2”，“。xz”或“ .lzma”）對(duì)應(yīng)的壓縮方法將自動(dòng)使用。

compress：int從0到9或bool或2元組，可選

數(shù)據(jù)的可選壓縮級(jí)別。0或False不壓縮。較高的值表示更多的壓縮，但同時(shí)也降低了讀寫時(shí)間。使用3值通常是一個(gè)很好的折衷方案。有關(guān)更多詳細(xì)信息，請(qǐng)參見注釋。

如果compress為True，則使用的壓縮級(jí)別為3。如果compress為2元組，則第一個(gè)元素必須對(duì)應(yīng)于受支持的壓縮器之間的字符串（例如'zlib'，'gzip'，'bz2'，'lzma''xz '），第二個(gè)元素必須是0到9的整數(shù)，對(duì)應(yīng)于壓縮級(jí)別。

protocol:不用管了，與pickle里的protocol參數(shù)一樣

>>> # Dumping in a gzip compressed file using a compress level of 3.
>>> joblib.dump(to_persist, filename + '.gz', compress=('gzip', 3))  # doctest: +ELLIPSIS
['...test.joblib.gz']
>>> joblib.load(filename + '.gz')
[('a', [1, 2, 3]), ('b', array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]))]
>>> joblib.dump(to_persist, filename + '.bz2', compress=('bz2', 3))  # doctest: +ELLIPSIS
['...test.joblib.bz2']
>>> joblib.load(filename + '.bz2')
[('a', [1, 2, 3]), ('b', array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]))]

該函數(shù)的 compress 參數(shù) joblib.dump() 還接受與所用壓縮器名稱相對(duì)應(yīng)的字符串。使用此選項(xiàng)時(shí)，壓縮器將使用默認(rèn)壓縮級(jí)別：

>>> joblib.dump(to_persist, filename + '.gz', compress='gzip')  # doctest: +ELLIPSIS
['...test.joblib.gz']

load

joblib.load(filename, mmap_mode=None)

filename：str，pathlib.Path或文件對(duì)象。要從中加載對(duì)象的文件對(duì)象或文件路徑

mmap_mode：{無，'r +'，'r'，'w +'，'c'}，可選

如果不是“None”，則從磁盤對(duì)陣列進(jìn)行內(nèi)存映射。

此模式對(duì)壓縮文件無效。請(qǐng)注意，在這種情況下，重建對(duì)象可能不再與原始腌制對(duì)象完全匹配

*mmap_mode為None時(shí)加載后的對(duì)象就是普通的python對(duì)象，否則就是磁盤上的ying映射，每次使用douy都要從磁盤讀取

到此這篇關(guān)于Python的joblib模型固化函數(shù)解析的文章就介紹到這了,更多相關(guān)joblib模型固化內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論