在tensorflow中，經(jīng)常會遇到參數(shù)初始化問題，比如在訓(xùn)練自己的詞向量時(shí)，需要對原始的embeddigs矩陣進(jìn)行初始化，更一般的，在全連接神經(jīng)網(wǎng)絡(luò)中，每層的權(quán)值w也需要進(jìn)行初始化。

tensorlfow中應(yīng)該有一下幾種初始化方法

1. tf.constant_initializer() 常數(shù)初始化
2. tf.ones_initializer() 全1初始化
3. tf.zeros_initializer() 全0初始化
4. tf.random_uniform_initializer() 均勻分布初始化
5. tf.random_normal_initializer() 正態(tài)分布初始化
6. tf.truncated_normal_initializer() 截?cái)嗾龖B(tài)分布初始化
7. tf.uniform_unit_scaling_initializer() 這種方法輸入方差是常數(shù)
8. tf.variance_scaling_initializer() 自適應(yīng)初始化
9. tf.orthogonal_initializer() 生成正交矩陣

具體的

1、tf.constant_initializer()，它的簡寫是tf.Constant()

#coding:utf-8
import numpy as np 
import tensorflow as tf 
train_inputs = [[1,2],[1,4],[3,2]]
with tf.variable_scope("embedding-layer"):
  val = np.array([[1,2,3,4,5,6,7],[1,3,4,5,2,1,9],[0,12,3,4,5,7,8],[2,3,5,5,6,8,9],[3,1,6,1,2,3,5]])
  const_init = tf.constant_initializer(val)
  embeddings = tf.get_variable("embed",shape=[5,7],dtype=tf.float32,initializer=const_init)
  embed = tf.nn.embedding_lookup(embeddings, train_inputs)             #在embedding中查找train_input所對應(yīng)的表示
  print("embed",embed)
  sum_embed = tf.reduce_mean(embed,1)
initall = tf.global_variables_initializer()
with tf.Session() as sess:
  sess.run(initall)
  print(sess.run(embed))
  print(sess.run(tf.shape(embed)))
  print(sess.run(sum_embed))

4、random_uniform_initializer = RandomUniform()

可簡寫為tf.RandomUniform()

生成均勻分布的隨機(jī)數(shù)，參數(shù)有四個(gè)（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分別用于指定最小值，最大值，隨機(jī)數(shù)種子和類型。

6、tf.truncated_normal_initializer()

可簡寫tf.TruncatedNormal()

生成截?cái)嗾龖B(tài)分布的隨機(jī)數(shù)，這個(gè)初始化方法在tf中用得比較多。

它有四個(gè)參數(shù)（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32)，分別用于指定均值、標(biāo)準(zhǔn)差、隨機(jī)數(shù)種子和隨機(jī)數(shù)的數(shù)據(jù)類型，一般只需要設(shè)置stddev這一個(gè)參數(shù)就可以了。

8、tf.variance_scaling_initializer()

可簡寫為tf.VarianceScaling()

參數(shù)為（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32)

scale: 縮放尺度（正浮點(diǎn)數(shù)）

mode: "fan_in", "fan_out", "fan_avg"中的一個(gè)，用于計(jì)算標(biāo)準(zhǔn)差stddev的值。

distribution：分布類型，"normal"或“uniform"中的一個(gè)。

當(dāng) distribution="normal" 的時(shí)候，生成truncated normal distribution（截?cái)嗾龖B(tài)分布） 的隨機(jī)數(shù)，其中stddev = sqrt(scale / n) ，n的計(jì)算與mode參數(shù)有關(guān)。

如果mode = "fan_in"， n為輸入單元的結(jié)點(diǎn)數(shù)；

如果mode = "fan_out"，n為輸出單元的結(jié)點(diǎn)數(shù)；

如果mode = "fan_avg",n為輸入和輸出單元結(jié)點(diǎn)數(shù)的平均值。

當(dāng)distribution="uniform”的時(shí)候 ，生成均勻分布的隨機(jī)數(shù)，假設(shè)分布區(qū)間為[-limit, limit]，則 limit = sqrt(3 * scale / n)

以上這篇關(guān)于tensorflow的幾種參數(shù)初始化方法小結(jié)就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評論