記錄使用pytorch構(gòu)建網(wǎng)絡(luò)模型過(guò)程遇到的點(diǎn)

1. 網(wǎng)絡(luò)模型構(gòu)建中的問(wèn)題

1.1 輸入變量是Tensor張量

各個(gè)模塊和網(wǎng)絡(luò)模型的輸入，　一定要是tensor 張量；

可以用一個(gè)列表存放多個(gè)張量。

如果是張量維度不夠，需要升維度，

可以先使用 torch.unsqueeze(dim = expected)

然后再使用torch.cat(dim ) 進(jìn)行拼接；

需要傳遞梯度的數(shù)據(jù)，禁止使用numpy， 也禁止先使用numpy，然后再轉(zhuǎn)換成張量的這種情況出現(xiàn)；

這是因?yàn)閜ytorch的機(jī)制是只有是 Tensor　張量的類型，才會(huì)有梯度等屬性值，如果是numpy這些類別，這些變量并會(huì)丟失其梯度值。

1.2 __init__()方法使用

class ex:
    def __init__(self):
        pass

__init__方法必須接受至少一個(gè)參數(shù)即self，

Python中，self是指向該對(duì)象本身的一個(gè)引用，

通過(guò)在類的內(nèi)部使用self變量，

類中的方法可以訪問(wèn)自己的成員變量，簡(jiǎn)單來(lái)說(shuō)，self.varname的意義為”訪問(wèn)該對(duì)象的varname屬性“

當(dāng)然，__init__()中可以封裝任意的程序邏輯，這是允許的，init()方法還接受任意多個(gè)其他參數(shù)，允許在初始化時(shí)提供一些數(shù)據(jù)，例如，對(duì)于剛剛的worker類，可以這樣寫(xiě)：

class worker:
    def __init__(self,name,pay):
        self.name=name
        self.pay=pay

這樣，在創(chuàng)建worker類的對(duì)象時(shí)，必須提供name和pay兩個(gè)參數(shù)：

b=worker('Jim',5000)

Python會(huì)自動(dòng)調(diào)用worker.init()方法，并傳遞參數(shù)。

細(xì)節(jié)參考這里init方法

1.3 內(nèi)置函數(shù)setattr()

此時(shí)，可以使用python自帶的內(nèi)置函數(shù) setattr(),　和對(duì)應(yīng)的getattr()

setattr(object, name, value)

object – 對(duì)象。

name – 字符串，對(duì)象屬性。

value – 屬性值。

對(duì)已存在的屬性進(jìn)行賦值：
>>>class A(object):
...     bar = 1
... 
>>> a = A()
>>> getattr(a, 'bar')          # 獲取屬性 bar 值
1
>>> setattr(a, 'bar', 5)       # 設(shè)置屬性 bar 值
>>> a.bar
5
如果屬性不存在會(huì)創(chuàng)建一個(gè)新的對(duì)象屬性，并對(duì)屬性賦值:

>>>class A():
...     name = "runoob"
... 
>>> a = A()
>>> setattr(a, "age", 28)
>>> print(a.age)
28
>>>

setattr() 語(yǔ)法

setattr(object, name, value)

object – 對(duì)象。

name – 字符串，對(duì)象屬性。

value – 屬性值。

1.4 網(wǎng)絡(luò)模型的構(gòu)建

注意到，　在python的 __init__() 函數(shù)中，　self 本身就是該類的對(duì)象的一個(gè)引用，即self是指向該對(duì)象本身的一個(gè)引用，

利用上述這一點(diǎn)，當(dāng)在神經(jīng)網(wǎng)絡(luò)中，

需要給多個(gè)屬性進(jìn)行實(shí)例化時(shí)，

且這多個(gè)屬性使用的是同一個(gè)類進(jìn)行實(shí)例化.

則使用 setattr(self, string, object1) 添加屬性；

class Temporal_GroupTrans(nn.Module):
    def __init__(self,   num_classes=10,num_groups=35, drop_prob=0.5, pretrained= True):
        super(Temporal_GroupTrans, self).__init__()
        conv_block = Basic_slide_conv()
        for i in range( num_groups):
            setattr(self, "group" + str(i), conv_block)
        # 自定義transformer模型的初始化， CustomTransformerModel() 在該類中傳入初始化模型的參數(shù),
        # nip:512　輸入序列中，每個(gè)列向量的編碼維度，　16:　注意力頭的個(gè)數(shù)
        # 600:　中間mlp 隱藏層的維數(shù),  6: 堆疊transforEncode　編碼模塊的個(gè)數(shù)；
        self.trans_model = CustomTransformerModel(512,16,600, 6,droupout=0.5,nclass=4)

則使用 getattr(self, string, object1) 獲取屬性；

        trans_input_sequence = []
        for i in range(0, num_groups, ):
            #  　每組語(yǔ)譜圖的大小是一個(gè) (bt, ch,96,12)的矩陣,組與組之間沒(méi)有重疊；
            cur_group = x[:, :, :, 12 * i:12 * (i + 1)]
            # VARIABLE_fun = "self.group"   # 每一組，與之對(duì)應(yīng)的卷積模塊；
            # cur_fun = eval(VARIABLE_fun + str(i ))
            cur_fun = getattr(self, 'group'+str(i))
            cur_group_out = cur_fun(cur_group).unsqueeze(dim=1)  # [bt,1, 512]
            trans_input_sequence.append(cur_group_out)

到此這篇關(guān)于pytorch網(wǎng)絡(luò)模型構(gòu)建場(chǎng)景的問(wèn)題介紹的文章就介紹到這了,更多相關(guān)pytorch網(wǎng)絡(luò)模型構(gòu)建內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論