Python numpy大矩陣運算內存不足如何解決
更新時間：2020年11月19日 08:33:58 作者：Gelthin
這篇文章主要介紹了Python numpy大矩陣運算內存不足如何解決,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
程序運行，產生如下結果，然后進程終止，導致這一結果的原因很有可能是內存爆炸。
當兩個較大的 (e.g., 10000*10000 維）ndarray 做運算(加法，or 乘法）時，很容易出現這樣的結果.
解決辦法：
- 大多數情況下，這種大矩陣都是稀疏的。盡可能地利用稀疏計算的方式，例如稀疏矩陣，或者只計算非 0 位置的值。
- 如果都是整數運算，可以設置 dtype=int，而非 dtype=float, 可以省下不少空間。
linux 系統(tǒng)下，使用 top 命令，可以很容易地看到內存（%MEM) 的使用情況。
# 代碼段 1， true_similarity_matrix 是 int, similarity_matrix 是 float
tmp_matrix = similarity_matrix * true_similarity_matrix # 內存會炸掉，兩個 10000*10000 維 float array
num_correct_edge = sum(sum(tmp_matrix))
# 代碼段 2
for i in range():
for j in range():
set_true_ij.append(i,j)
num_correct_edge = 0
for i, j in set_true_ij:
num_correct_edge += similarity_matrix[i,j]
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
python實現12306搶票及自動郵件發(fā)送提醒付款功能
本文給大家分享python實現12306搶票及自動郵件發(fā)送提醒付款功能，文章沒有給大家貼出完整代碼，只是技術交流，感興趣的朋友跟隨腳本之家小編一起看看吧2018-03-03
json庫是處理JSON格式的Python標準庫,json庫主要包括兩類函數,操作函數和解析函數,下面這篇文章主要給大家介紹了關于python標準庫模塊之json庫的基礎用法,需要的朋友可以參考下2022-06-06
這篇文章主要介紹了python 如何讀、寫、解析CSV文件，幫助大家更好的理解和學習使用python，感興趣的朋友可以了解下2021-03-03
這篇文章主要介紹了Python操作Word批量生成合同的實現示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-08-08
這篇文章主要介紹了python機器學習理論與實戰(zhàn)第二篇，決策樹的相關資料，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-01-01
這篇文章主要介紹了深入flask之異步非堵塞實現代碼示例,小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-07-07
這篇文章主要介紹了python實現代碼行數統(tǒng)計的示例,需要的朋友可以參考下2014-02-02
本文主要介紹了matplotlib一維散點分布圖的實現，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-03-03
基于K.image_data_format() == ''channels_first'' 的理解
這篇文章主要介紹了基于K.image_data_format() == 'channels_first' 的理解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
這篇文章主要為大家詳細介紹了python實現反轉部分單向鏈表，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-09-09