GPT-4技術(shù)報告 重點(diǎn)介紹GPT-4的能力、限制和安全屬性，介紹了GPT-4，一個能夠處理圖像和文本輸入并產(chǎn)生文本輸出的大型多模態(tài)模型。還討論了項目的一個關(guān)鍵挑戰(zhàn)，即開發(fā)在各種規(guī)模下表現(xiàn)可預(yù)測的深度學(xué)習(xí)基礎(chǔ)設(shè)施和優(yōu)化方。

報告了GPT-4的開發(fā)情況，這是一個大規(guī)模的多模態(tài)模型，可以接受圖像和文本輸入并產(chǎn)生文本輸出。雖然在許多現(xiàn)實世界的場景中，GPT-4的能力不如人類，但它在各種專業(yè)和學(xué)術(shù)基準(zhǔn)上表現(xiàn)出人類水平的性能，包括在模擬的律師考試中，以大約前10%的考生的分?jǐn)?shù)通過。GPT-4是一個基于Transformer的模型，經(jīng)過預(yù)訓(xùn)練可以預(yù)測文檔中的下一個標(biāo)記。訓(xùn)練后的調(diào)整過程導(dǎo)致在衡量事實性和堅持理想行為方面的表現(xiàn)得到改善。這個項目的一個核心部分是開發(fā)基礎(chǔ)設(shè)施和優(yōu)化方法，這些方法在廣泛的規(guī)模中表現(xiàn)得可預(yù)測。這使我們能夠根據(jù)以不超過GPT-4的1/1000的計算量訓(xùn)練的模型準(zhǔn)確地預(yù)測GPT-4的某些方面的性能。