Pytorch實(shí)現(xiàn)tensor序列化和并行化的示例詳解
Pytorch 實(shí)現(xiàn) tensor 序列化和反序列化
序列化 Serialization
保存一個(gè)對象到一個(gè)硬盤文件上
torch.save(obj, f, pickle_mode, pickle_protocol)
參數(shù)：
- obj – 保存對象
- f - 類文件對象 (返回文件描述符)或一個(gè)保存文件名的字符串
- pickle_module – 用于 pickling 元數(shù)據(jù)和對象的模塊
- pickle_protocol – 指定 pickle protocal 可以覆蓋默認(rèn)參數(shù)
從磁盤文件中讀取一個(gè)通過 torch.save()保存的對象
torch.load(f, map_location=None, pickle_mode)
torch.load() 可通過參數(shù) map_location 動態(tài)地進(jìn)行內(nèi)存重映射，使其能從不動設(shè)備中讀取文件。一般調(diào)用時(shí)，需兩個(gè)參數(shù): storage 和 location tag。 返回不同地址中的 storage，或著返回 None (此時(shí)地址可以通過默認(rèn)方法進(jìn)行解析)。 如果這個(gè)參數(shù)是字典的話，意味著其是從文件的地址標(biāo)記到當(dāng)前系統(tǒng)的地址標(biāo)記的映射。 默認(rèn)情況下，location tags 中 "cpu"對應(yīng) host tensors,‘cuda:device_id’ (e.g.‘cuda:2’) 對應(yīng) cuda tensors。 用戶可以通過 register_package 進(jìn)行擴(kuò)展，使用自己定義的標(biāo)記和反序列化方法。
- f – 類文件對象 (返回文件描述符)或一個(gè)保存文件名的字符串
- map_location – 一個(gè)函數(shù)或字典規(guī)定如何 remap 存儲位置
- pickle_module – 用于 unpickling 元數(shù)據(jù)和對象的模塊 (必須匹配序列化文件時(shí)的 pickle_module )
并行化 Parallelism
torch.get_num_threads torch.get_num_threads() → int #獲得用于并行化 CPU 操作的 OpenMP 線程數(shù) torch.set_num_threads torch.set_num_threads(int) #設(shè)定用于并行化 CPU 操作的 OpenMP 線程數(shù)
以上就是Pytorch實(shí)現(xiàn)tensor序列化和并行化的示例詳解的詳細(xì)內(nèi)容，更多關(guān)于Pytorch tensor序列化和并行化的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了Mac版的Python、PyCharm安裝及使用方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-04-04
詳解Python中使用base64模塊來處理base64編碼的方法
8bit的bytecode經(jīng)常會被用base64編碼格式保存,Python中自帶base64模塊對base64提供支持,這里我們就來詳解Python中使用base64模塊來處理base64編碼的方法,需要的朋友可以參考下2016-07-07
這篇文章主要為大家詳細(xì)介紹了wxPython實(shí)現(xiàn)畫圖板，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-11-11
這篇文章主要介紹了解讀python?cvxpy下SDP問題編程，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-12-12
Python 使用input同時(shí)輸入多個(gè)數(shù)的操作
這篇文章主要介紹了Python 使用input同時(shí)輸入多個(gè)數(shù)的操作，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
這篇文章主要為大家介紹了Python爬蟲進(jìn)階中Scrapy框架精細(xì)講解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步2021-10-10
numpy的Fancy Indexing和array比較詳解
這篇文章主要介紹了numpy的Fancy Indexing和array比較詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
這篇文章主要介紹了Python中的類屬性與實(shí)例屬性區(qū)別詳解,類屬性是在類中定義的屬性，它是和這個(gè)類所綁定的，這個(gè)類中的所有對象都可以訪問,實(shí)例屬性是與類的實(shí)例相關(guān)聯(lián)的數(shù)據(jù)值，是這個(gè)實(shí)例私有的,需要的朋友可以參考下2023-08-08
Python實(shí)現(xiàn)身份證前六位地區(qū)碼對照表文件
這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)身份證前六位地區(qū)碼對照表文件，文中的示例代碼講解詳細(xì)，感興趣的可以了解一下2022-12-12
元類就是類的模板——太形象了了呀，霍霍。2009-12-12