使用seaborn繪制強化學(xué)習(xí)中的圖片問題

更新時間：2023年01月31日 10:29:28 作者：johnjim0816

這篇文章主要介紹了使用seaborn繪制強化學(xué)習(xí)中的圖片問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教

seaborn繪制強化學(xué)習(xí)中的圖片

seaborn可以說是matplotlib的升級版，使用seaborn繪制折線圖時參數(shù)數(shù)據(jù)可以傳遞ndarray或者pandas，方便又好看！

本篇用繪制強化學(xué)習(xí)中的rewards舉例，實際上也可以用來機器學(xué)習(xí)中的loss曲線，原理類似。

從一個簡單示例開始

import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns # 導(dǎo)入模塊
sns.set() # 設(shè)置美化參數(shù)，一般默認(rèn)就好

rewards = np.array([0, 0.1,0,0.2,0.4,0.5,0.6,0.9,0.9,0.9])
plt.plot(rewards)
plt.show()

如上首先導(dǎo)入seaborn模塊，并設(shè)置美化參數(shù)(aesthetic parameters)sns.set()，使用matplotlib.pyplot as plt就可以繪制一個基本的圖像：

使用sns.lineplot或者sns.relplot

實際上relplot包含lineplot和scatterplot，并通過kind傳參可以轉(zhuǎn)換為lineplot，

relplot(kind="line")等價于lineplot
relplot(kind="scatter")等價于scatterplot

然后再進(jìn)行適當(dāng)?shù)恼{(diào)整并加上x，y軸的label，如下：

import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns; sns.set() # 因為sns.set()一般不用改，可以在導(dǎo)入模塊時順便設(shè)置好

rewards = np.array([0, 0.1,0,0.2,0.4,0.5,0.6,0.9,0.9,0.9])
sns.lineplot(x=range(len(rewards)),y=rewards)
# sns.relplot(x=range(len(rewards)),y=rewards,kind="line") # 與上面一行等價
plt.xlabel("episode")
plt.ylabel("reward")
plt.show()

最后呈現(xiàn)效果如下：

繪制rewards聚合圖

當(dāng)我們對同一實驗作出多次得到一組rewards時，如下：

rewards1 = np.array([0, 0.1,0,0.2,0.4,0.5,0.6,0.9,0.9,0.9])
rewards2 = np.array([0, 0,0.1,0.4,0.5,0.5,0.55,0.8,0.9,1])
rewards=np.vstack((rewards1,rewards2)) # 合并成二維數(shù)組

我們希望繪制出聚合圖，但是sns.lineplot無法輸入一維以上的數(shù)據(jù)，我們可以將它們?nèi)哭D(zhuǎn)為一維，雖然有些難看：

import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns; sns.set() # 因為sns.set()一般不用改，可以在導(dǎo)入模塊時順便設(shè)置好

rewards1 = np.array([0, 0.1,0,0.2,0.4,0.5,0.6,0.9,0.9,0.9])
rewards2 = np.array([0, 0,0.1,0.4,0.5,0.5,0.55,0.8,0.9,1])
rewards=np.concatenate((rewards1,rewards2)) # 合并數(shù)組
episode1=range(len(rewards1))
episode2=range(len(rewards2))
episode=np.concatenate((episode1,episode2))
sns.lineplot(x=episode,y=rewards)
plt.xlabel("episode")
plt.ylabel("reward")
plt.show()

結(jié)果如圖：

繪制出了帶聚合陰影的圖，實際上實際部分是seaborn默認(rèn)對同一x軸的多個y值即rewards做了均值，陰影部分表示多組rewards的范圍，可以使用sns.lineplot(x=episode,y=rewards,ci=None)去掉。

使用pandas傳參

上面都是用ndarray傳參，這樣一方面免不了與matplotlib.pyplot混雜的成分比如plt.xlabel，另外繪制rewards聚合圖，也比較麻煩。

既然使用pandas傳參，就需要先把array轉(zhuǎn)成DataFrame形式，如下：

import numpy as np
import pandas as pd
rewards1 = np.array([0, 0.1,0,0.2,0.4,0.5,0.6,0.9,0.9,0.9])
rewards2 = np.array([0, 0,0.1,0.4,0.5,0.5,0.55,0.8,0.9,1])
rewards=np.vstack((rewards1,rewards2)) # 合并數(shù)組
df = pd.DataFrame(rewards).melt(var_name='episode',value_name='reward') # 推薦這種轉(zhuǎn)換方法
print(df)

推薦上述轉(zhuǎn)化方法，這樣無論rewards多少維都不影響最終的繪圖方式，其中melt方法將所有維合并成一列，var_name='episode',value_name='reward'則更改對應(yīng)的列名，轉(zhuǎn)化結(jié)果如下：

episode reward
0 0 0.0
1 0 0.1
2 0 0.0
3 0 0.2
4 0 0.4
5 0 0.5
6 0 0.6
7 0 0.9
8 0 0.9
9 0 0.9

下面完整繪圖：

import seaborn as sns;sns.set()
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

import pandas as pd
rewards1 = np.array([0, 0.1,0,0.2,0.4,0.5,0.6,0.9,0.9,0.9])
rewards2 = np.array([0, 0,0.1,0.4,0.5,0.5,0.55,0.8,0.9,1])
rewards=np.vstack((rewards1,rewards2)) # 合并數(shù)組
df = pd.DataFrame(rewards).melt(var_name='episode',value_name='reward')

sns.lineplot(x="episode", y="reward", data=df)
plt.show()

注意這里的x,y不再傳入數(shù)組，而是傳入DataFrame中對應(yīng)的列名，類似于python字典中的鍵

結(jié)果如下：

牛刀小試

最后繪制一個更為復(fù)雜的可以用于paper的繪制方法：

import seaborn as sns; sns.set()
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

def get_data():
    '''獲取數(shù)據(jù)
    '''
    basecond = np.array([[18, 20, 19, 18, 13, 4, 1],[20, 17, 12, 9, 3, 0, 0],[20, 20, 20, 12, 5, 3, 0]])
    cond1 = np.array([[18, 19, 18, 19, 20, 15, 14],[19, 20, 18, 16, 20, 15, 9],[19, 20, 20, 20, 17, 10, 0]]) 
    cond2 = np.array([[20, 20, 20, 20, 19, 17, 4],[20, 20, 20, 20, 20, 19, 7],[19, 20, 20, 19, 19, 15, 2]]) 
    cond3 = np.array([[20, 20, 20, 20, 19, 17, 12],[18, 20, 19, 18, 13, 4, 1], [20, 19, 18, 17, 13, 2, 0]])    
    return basecond, cond1, cond2, cond3
    
data = get_data()
label = ['algo1', 'algo2', 'algo3', 'algo4']
df=[]
for i in range(len(data)):
    df.append(pd.DataFrame(data[i]).melt(var_name='episode',value_name='loss'))
    df[i]['algo']= label[i] 

df=pd.concat(df) # 合并
sns.lineplot(x="episode", y="loss", hue="algo", style="algo",data=df)
plt.title("some loss")
plt.show()

結(jié)果如下：