快捷導(dǎo)航

詳解R語(yǔ)言實(shí)現(xiàn)前向逐步回歸(前向選擇模型)

更新時(shí)間：2021年08月11日 09:57:24 作者：gaomeihong1993

本文主要介紹了詳解R語(yǔ)言實(shí)現(xiàn)前向逐步回歸，從實(shí)現(xiàn)原理開(kāi)始，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

前向逐步回歸原理

前向逐步回歸的過(guò)程是：遍歷屬性的一列子集，選擇使模型效果最好的那一列屬性。接著尋找與其組合效果最好的第二列屬性，而不是遍歷所有的兩列子集。以此類推，每次遍歷時(shí)，子集都包含上一次遍歷得到的最優(yōu)子集。這樣，每次遍歷都會(huì)選擇一個(gè)新的屬性添加到特征集合中，直至特征集合中特征個(gè)數(shù)不能再增加。

數(shù)據(jù)導(dǎo)入并分組

導(dǎo)入數(shù)據(jù)，將數(shù)據(jù)集抽取70%作為訓(xùn)練集，剩下30%作為測(cè)試集。特征與標(biāo)簽分開(kāi)存放。

導(dǎo)入數(shù)據(jù)

R語(yǔ)言的實(shí)現(xiàn)如下圖：

在這里插入圖片描述

train和test中存儲(chǔ)的數(shù)據(jù)情況如下：

在這里插入圖片描述

特征與標(biāo)簽分開(kāi)存放

R語(yǔ)言的實(shí)現(xiàn)如下圖：

在這里插入圖片描述

前向逐步回歸構(gòu)建輸出特征集合

通過(guò)for循環(huán)，從屬性的一個(gè)子集開(kāi)始進(jìn)行遍歷。第一次遍歷時(shí)，該子集為空。每一個(gè)屬性被加入子集后，通過(guò)線性回歸來(lái)擬合模型，并計(jì)算在測(cè)試集上的誤差，每次遍歷選擇得到誤差最小的一列加入輸出特征集合中。最終得到輸出特征集合的關(guān)聯(lián)索引和屬性名稱。

從空開(kāi)始一次創(chuàng)建屬性列表

R語(yǔ)言的實(shí)現(xiàn)如下圖：

在這里插入圖片描述

模型效果評(píng)估

分別畫(huà)出RMSE與屬性個(gè)數(shù)之間的關(guān)系，前向逐步預(yù)測(cè)算法對(duì)數(shù)據(jù)預(yù)測(cè)對(duì)錯(cuò)誤直方圖，和真實(shí)標(biāo)簽與預(yù)測(cè)標(biāo)簽散點(diǎn)圖。R實(shí)現(xiàn)如下：

在這里插入圖片描述