亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

pytorch如何保存訓(xùn)練模型參數(shù)并實(shí)現(xiàn)繼續(xù)訓(xùn)練

 更新時(shí)間：2023年09月11日 14:56:36   作者：回爐重造P  
這篇文章主要介紹了pytorch如何保存訓(xùn)練模型參數(shù)并實(shí)現(xiàn)繼續(xù)訓(xùn)練問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

最近的想法是在推薦模型中考慮根據(jù)用戶(hù)對(duì)推薦結(jié)果的后續(xù)選擇，利用已訓(xùn)練的offline預(yù)訓(xùn)練模型參數(shù)來(lái)更新新的結(jié)果。

簡(jiǎn)單記錄一下中途保存參數(shù)和后續(xù)使用不同數(shù)據(jù)訓(xùn)練的方法。

簡(jiǎn)單模型和訓(xùn)練數(shù)據(jù)

先準(zhǔn)備一個(gè)簡(jiǎn)單模型，簡(jiǎn)單兩層linear出個(gè)分類(lèi)結(jié)果。

class MyModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.linear = nn.Linear(64, 32)
        self.linear1 = nn.Linear(32, 10)
        self.relu = nn.ReLU()
    def forward(self, x):
        x = self.linear(x)
        x = self.relu(x)
        x = self.linear1(x)
        return x

準(zhǔn)備訓(xùn)練用數(shù)據(jù)，這里直接隨機(jī)兩份，同時(shí)給出配套的十個(gè)類(lèi)的分類(lèi)label結(jié)果。

要注意的是 crossEntropy 交叉熵只認(rèn) long 以上的tensor，label記得轉(zhuǎn)一下類(lèi)型。

    rand1 = torch.rand((100, 64)).to(torch.float)
    label1 = np.random.randint(0, 10, size=100)
    label1 = torch.from_numpy(label1).to(torch.long)
    rand2 = torch.rand((100, 64)).to(torch.float)
    label2 = np.random.randint(0, 10, size=100)
    label2 = torch.from_numpy(label2).to(torch.long)

訓(xùn)練簡(jiǎn)單使用交叉熵，優(yōu)化器Adam。

    model = MyModel()
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
    loss = nn.CrossEntropyLoss()
    iteration = 100
    for i in range(iteration):
        output = model(rand1)
        my_loss = loss(output, label1)
        optimizer.zero_grad()
        my_loss.backward()
        optimizer.step()
        print("iteration:{} loss:{}".format(i, my_loss))

反正能跑起來(lái)：

在這里插入圖片描述

保存與讀取訓(xùn)練參數(shù)結(jié)果的方法

關(guān)鍵的保存方法，可以分為兩種，一種是直接把模型整體保存：

torch.save(model, save_path)

兩個(gè)參數(shù)，模型和保存目錄。不過(guò)這種不常用，如果模型變化或者只需要其中一部分參數(shù)就不太靈活。

常用方法的是將需要的模型或優(yōu)化器參數(shù)取出以字典形式存儲(chǔ)，這樣可以在使用時(shí)初始化相關(guān)模型，讀入對(duì)應(yīng)參數(shù)即可。

def save_model(save_path, iteration, optimizer, model):
    torch.save({'iteration': iteration,
                'optimizer_dict': optimizer.state_dict(),
                'model_dict': model.state_dict()},
                save_path)
    print("model save success")

分別存儲(chǔ)訓(xùn)練循環(huán)次數(shù)，優(yōu)化器設(shè)置和模型參數(shù)結(jié)果。

初始化模型，讀取參數(shù)并設(shè)置：

def load_model(save_name, optimizer, model):
    model_data = torch.load(save_name)
    model.load_state_dict(model_data['model_dict'])
    optimizer.load_state_dict(model_data['optimizer_dict'])
    print("model load success")

初始化新模型：

    path = "net.dict"
    save_model(path, iteration, optimizer, model)
    print(model.state_dict()['linear.weight'])
    new_model = MyModel()
    new_optimizer = torch.optim.Adam(new_model.parameters(), lr=0.01)
    load_model(path, new_optimizer, new_model)
    print(new_model.state_dict()['linear.weight'])

輸出第一個(gè)linear層的參數(shù)看看，確實(shí)相同，參數(shù)成功讀取上了。注意optimizer的初始化對(duì)應(yīng)模型別寫(xiě)錯(cuò)了。

在這里插入圖片描述

之后用新模型繼續(xù)訓(xùn)練試試：

    for i in range(iteration):
        output = new_model(rand2)
        my_loss = loss(output, label2)
        new_optimizer.zero_grad()
        my_loss.backward()
        new_optimizer.step()
        print("iteration:{} loss:{}".format(i, my_loss))

能成功訓(xùn)練。

在這里插入圖片描述

變化學(xué)習(xí)率的保存

上面的demo只用了固定的學(xué)習(xí)率來(lái)做實(shí)驗(yàn)。

如果使用了 scheduler 來(lái)變化步長(zhǎng)，只要保存 scheduler 的 state_dict ，之后對(duì)新初始化的 scheduler 設(shè)置對(duì)應(yīng)的當(dāng)前循環(huán)次數(shù)即可。

# 存儲(chǔ)時(shí)
'scheduler': scheduler.state_dict()
# 讀取時(shí)
scheduler.load_state_dict(checkpoint['lr_schedule'])

scheduler的使用可以看看我之前整理的文章：利用scheduler實(shí)現(xiàn)learning-rate學(xué)習(xí)率動(dòng)態(tài)變化

總結(jié)

這次主要是整理了一下pytorch模型參數(shù)的整體保存方法，來(lái)實(shí)現(xiàn)新數(shù)據(jù)的后續(xù)訓(xùn)練或直接作為offline預(yù)訓(xùn)練模型來(lái)使用。

不過(guò)后續(xù)數(shù)據(jù)分布不同的話(huà)感覺(jué)效果會(huì)很差啊…

也不知道能不能用什么算法修改下權(quán)重來(lái)貼合新的數(shù)據(jù)，找點(diǎn)多次訓(xùn)練優(yōu)化論文看看好了。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論