快捷導航

淺析PyTorch中nn.Linear的使用

更新時間：2019年08月18日 15:32:46 作者：Steven·簡談

這篇文章主要介紹了淺析PyTorch中nn.Linear的使用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

查看源碼

Linear 的初始化部分：

class Linear(Module):
 ...
 __constants__ = ['bias']
 
 def __init__(self, in_features, out_features, bias=True):
   super(Linear, self).__init__()
   self.in_features = in_features
   self.out_features = out_features
   self.weight = Parameter(torch.Tensor(out_features, in_features))
   if bias:
     self.bias = Parameter(torch.Tensor(out_features))
   else:
     self.register_parameter('bias', None)
   self.reset_parameters()
 ...

需要實現(xiàn)的內(nèi)容：

計算步驟：

@weak_script_method
  def forward(self, input):
    return F.linear(input, self.weight, self.bias)

返回的是：input * weight + bias

對于 weight

weight: the learnable weights of the module of shape
  :math:`(\text{out\_features}, \text{in\_features})`. The values are
  initialized from :math:`\mathcal{U}(-\sqrt{k}, \sqrt{k})`, where
  :math:`k = \frac{1}{\text{in\_features}}`

對于 bias

bias:  the learnable bias of the module of shape :math:`(\text{out\_features})`.
    If :attr:`bias` is ``True``, the values are initialized from
    :math:`\mathcal{U}(-\sqrt{k}, \sqrt{k})` where
    :math:`k = \frac{1}{\text{in\_features}}`

實例展示

舉個例子：

>>> import torch
>>> nn1 = torch.nn.Linear(100, 50)
>>> input1 = torch.randn(140, 100)
>>> output1 = nn1(input1)
>>> output1.size()
torch.Size([140, 50])

張量的大小由 140 x 100 變成了 140 x 50

執(zhí)行的操作是：

[140,100]×[100,50]=[140,50]

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python處理中文標點符號大集合
中文文本中可能出現(xiàn)的標點符號來源比較復雜，通過匹配等手段對他們處理的時候需要格外小心，防止遺漏，下面小編給大家?guī)砹薖ython處理中文標點符號大集合，感興趣的朋友跟隨腳本之家小編一起看看吧
2018-05-05
解決Python保存文件名太長OSError: [Errno 36] File
這篇文章主要介紹了解決Python保存文件名太長OSError: [Errno 36] File name too lon問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-05-05
Python pyinstaller庫的安裝配置教程分享
pyinstaller模塊主要用于python代碼打包成exe程序直接使用，這樣在其它電腦上即使沒有python環(huán)境也是可以運行的。本文就來和大家分享一下pyinstaller庫的安裝配置教程，希望對大家有所幫助
2023-04-04
使用 tf.nn.dynamic_rnn 展開時間維度方式
今天小編就為大家分享一篇使用 tf.nn.dynamic_rnn 展開時間維度方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-01-01
Python3 requests文件下載期間顯示文件信息和下載進度代碼實例
這篇文章主要介紹了Python3 requests文件下載期間顯示文件信息和下載進度代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2019-08-08
Jupyter Notebook 如何修改字體和大小以及更改字體樣式
這篇文章主要介紹了Jupyter Notebook 如何修改字體和大小以及更改字體樣式的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2021-06-06
Python3.5實現(xiàn)的羅馬數(shù)字轉(zhuǎn)換成整數(shù)功能示例
這篇文章主要介紹了Python3.5實現(xiàn)的羅馬數(shù)字轉(zhuǎn)換成整數(shù)功能,涉及Python字符串遍歷與數(shù)值運算相關(guān)操作技巧,需要的朋友可以參考下
2019-02-02
Python+Selenium實現(xiàn)讀取網(wǎng)易郵箱驗證碼
在自動化工作中，有可能會遇到一些發(fā)送郵箱驗證碼類似的功能。本文將利用Python?Selenium實現(xiàn)自動化讀取網(wǎng)易郵箱驗證碼，感興趣的可以了解一下
2022-03-03
如何使用python批量修改文本文件編碼格式
把文本文件的編碼格式進行批量幻化，比如ascii， gb2312， utf8等，相互轉(zhuǎn)化，字符集的大小來看，utf8>gb2312>ascii,因此最好把gb2312轉(zhuǎn)為utf8，否則容易出現(xiàn)亂碼，這篇文章主要介紹了如何使用python批量修改文本文件編碼格式,需要的朋友可以參考下
2023-03-03
一篇文章詳細了解pycharm的安裝及配置
這篇文章主要給大家pycharm安裝及配置的相關(guān)資料,pycharm是編輯python很好使用的工具,文中通過圖文介紹的非常詳細,對大家學習或者使用pycharm具有一定的參考借鑒價值,需要的朋友可以參考下
2023-12-12