在神經(jīng)網(wǎng)絡(luò)的建模過程中，模型很重要的性質(zhì)就是非線性，同時為了模型泛化能力，需要加入隨機正則，例如dropout(隨機置一些輸出為0,其實也是一種變相的隨機非線性激活)，而隨機正則與非線性激活是分開的兩個事情，而其實模型的輸入是由非線性激活與隨機正則兩者共同決定的。

GELUs正是在激活中引入了隨機正則的思想，是一種對神經(jīng)元輸入的概率描述，直觀上更符合自然的認識，同時實驗效果要比Relus與ELUs都要好。

翻看bert源碼給出的GELU代碼表示如下：

def gelu(input_tensor):
	cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0)))
	return input_tesnsor*cdf

感覺bert源碼中的近似計算更簡單，具體怎么近似的，我猜不出來。

下面貼一些論文的實驗圖，就是證明GELU學(xué)習(xí)更快且更好：

以上就是GELU激活函數(shù)算法的詳細內(nèi)容，更多關(guān)于GELU激活函數(shù)的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章:

相關(guān)文章

用python腳本24小時刷瀏覽器的訪問量方法
今天小編就為大家分享一篇用python腳本24小時刷瀏覽器的訪問量方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-12-12
python tkinter實現(xiàn)連連看游戲
這篇文章主要介紹了python tkinter實現(xiàn)連連看游戲的示例,幫助大家更好的理解和使用python，感興趣的朋友可以了解下
2020-11-11
Python爬蟲實戰(zhàn)JS逆向AES逆向加密爬取
一個建筑行業(yè)的堂哥為了搞一些商業(yè)數(shù)據(jù)前前后后花了1w，辣條我半個小時就能解決的事情，這就是技術(shù)的魅力！聲明：爬取是的公開數(shù)據(jù)
2021-10-10
Python反射和內(nèi)置方法重寫操作詳解
這篇文章主要介紹了Python反射和內(nèi)置方法重寫,結(jié)合實例形式較為詳細的分析了Python反射概念、原理及內(nèi)置方法重寫相關(guān)操作技巧與注意事項,需要的朋友可以參考下
2018-08-08
利用Pygame制作躲避僵尸游戲
本文參考了神廟逃亡，利用Pygame實現(xiàn)一個人躲避僵尸的小游戲，主要的是精靈、精靈組之間相撞、相交的處理，感興趣的可以了解一下
2022-05-05
Python3處理HTTP請求的實例
今天小編就為大家分享一篇Python3處理HTTP請求的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-05-05
Python requests.post()方法中data和json參數(shù)的使用方法
這篇文章主要介紹了Python requests.post()方法中data和json參數(shù)的使用方法，文章圍繞主題展開詳細的內(nèi)容介紹，具有一定的參考價值，感興趣的小伙伴可以參考一下
2022-08-08
Python算法的時間復(fù)雜度和空間復(fù)雜度(實例解析)
算法復(fù)雜度分為時間復(fù)雜度和空間復(fù)雜度，簡單而講時間復(fù)雜度指的是語句執(zhí)行次數(shù)，空間復(fù)雜度指的是算法所占的存儲空間，本文通過代碼給大家介紹Python算法的時間復(fù)雜度和空間復(fù)雜度問題，感興趣的朋友一起看看吧
2019-11-11
django執(zhí)行原生SQL查詢的實現(xiàn)
本文主要介紹了django執(zhí)行原生SQL查詢的實現(xiàn)，主要有兩種方法實現(xiàn)，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-08-08
python smtplib模塊自動收發(fā)郵件功能（二）
這篇文章主要為大家詳細介紹了python smtplib模塊自動收發(fā)郵件功能的第二篇，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2018-05-05