淺談keras中的Merge層(實(shí)現(xiàn)層的相加、相減、相乘實(shí)例)

更新時(shí)間：2020年05月23日 10:48:41 作者：C小C

這篇文章主要介紹了淺談keras中的Merge層(實(shí)現(xiàn)層的相加、相減、相乘實(shí)例)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

【題目】keras中的Merge層（實(shí)現(xiàn)層的相加、相減、相乘）

詳情請(qǐng)參考：

Merge層

一、層相加

keras.layers.Add()

添加輸入列表的圖層。

該層接收一個(gè)相同shape列表張量，并返回它們的和，shape不變。

Example

import keras
 
input1 = keras.layers.Input(shape=(16,))
x1 = keras.layers.Dense(8, activation='relu')(input1)
input2 = keras.layers.Input(shape=(32,))
x2 = keras.layers.Dense(8, activation='relu')(input2)
added = keras.layers.Add()([x1, x2]) # equivalent to added = keras.layers.add([x1, x2])
 
out = keras.layers.Dense(4)(added)
model = keras.models.Model(inputs=[input1, input2], outputs=out)

二、層相減

SubStract

keras.layers.Subtract()

兩個(gè)輸入的層相減。

它將大小至少為2，相同Shape的列表張量作為輸入，并返回一個(gè)張量（輸入[0] - 輸入[1]），也是相同的Shape。

Example

import keras
 
input1 = keras.layers.Input(shape=(16,))
x1 = keras.layers.Dense(8, activation='relu')(input1)
input2 = keras.layers.Input(shape=(32,))
x2 = keras.layers.Dense(8, activation='relu')(input2)
# Equivalent to subtracted = keras.layers.subtract([x1, x2])
subtracted = keras.layers.Subtract()([x1, x2])
 
out = keras.layers.Dense(4)(subtracted)
model = keras.models.Model(inputs=[input1, input2], outputs=out)

三、層相乘

Multiply

keras.layers.Multiply()

該層接收一個(gè)列表的同shape張量，并返回它們的逐元素積的張量，shape不變。

注意：keras.layers.add(inputs)、keras.layers.subtract(inputs)、keras.layers.multiply(inputs)分別是對(duì)應(yīng)的層包裝，一般只用層包裝。

補(bǔ)充知識(shí)：Keras天坑：想當(dāng)然的對(duì)層的直接運(yùn)算帶來(lái)的問(wèn)題

天坑

keras如何操作某一層的值（如讓某一層的值取反加1等）？keras如何將某一層的神經(jīng)元拆分以便進(jìn)一步操作（如取輸入的向量的第一個(gè)元素乘別的層）？keras如何重用某一層的值（如輸入層和輸出層乘積作為最終輸出）？

這些問(wèn)題都指向同一個(gè)答案，即使用Lambda層。

另外，如果想要更加靈活地操作層的話，推薦使用函數(shù)式模型寫法，而不是序列式。

Keras當(dāng)中，任何的操作都是以網(wǎng)絡(luò)層為單位，操作的實(shí)現(xiàn)都是新添一層，不管是加減一個(gè)常數(shù)還是做乘法，或者是對(duì)兩層的簡(jiǎn)單拼接。

所以，將一層單獨(dú)劈一半出來(lái)，是一件難事。強(qiáng)調(diào)，Keras的最小操作單位是Layer，每次操作的是整個(gè)batch。

自然，在keras中，每個(gè)層都是對(duì)象，可以通過(guò)dir(Layer對(duì)象)來(lái)查看具有哪些屬性。

然而，Backend中Tensorflow的最小操作單位是Tensor，而你搞不清楚到底是Layer和Tensor時(shí)，盲目而想當(dāng)然地進(jìn)行層的操作，就會(huì)出問(wèn)題。到底是什么？通過(guò)type和shape是看不出來(lái)的。

如果你只是想對(duì)流經(jīng)該層的數(shù)據(jù)做個(gè)變換，而這個(gè)變換本身沒(méi)有什么需要學(xué)習(xí)的參數(shù)，那么直接用Lambda Layer是最合適的了。

也就是說(shuō)，對(duì)每一層的加減乘除都得用keras的函數(shù)，你不能簡(jiǎn)單使用形如 ‘new_layer' =1−= 1-=1−'layer'這樣的表達(dá)方式來(lái)對(duì)層進(jìn)行操作。

當(dāng)遇到如下報(bào)錯(cuò)信息：

AttributeError: 'NoneType' object has no attribute '_inbound_nodes'

或

TypeError: 'Tensor' object is not callable

等等

這是就要考慮一下將程序中層的操作改成Lambda的方式表達(dá)。

使用Lambda編寫自己的層

Lamda層怎么用？官方文檔給了這樣一個(gè)例子。

# add a x -> x^2 layer
model.add(Lambda(lambda x: x ** 2))

# add a layer that returns the concatenation
# of the positive part of the input and
# the opposite of the negative part

def antirectifier(x):
  x -= K.mean(x, axis=1, keepdims=True)
  x = K.l2_normalize(x, axis=1)
  pos = K.relu(x)
  neg = K.relu(-x)
  return K.concatenate([pos, neg], axis=1)

def antirectifier_output_shape(input_shape):
  shape = list(input_shape)
  assert len(shape) == 2 # only valid for 2D tensors
  shape[-1] *= 2
  return tuple(shape)

model.add(Lambda(antirectifier,
     output_shape=antirectifier_output_shape))

乍一看，有點(diǎn)懵逼，什么亂七八糟的。事實(shí)上，很簡(jiǎn)單，假設(shè)L0和L1是兩層，你只要將你形如下面這樣的表達(dá)：