C++實現(xiàn)簡單BP神經(jīng)網(wǎng)絡(luò)
更新時間：2020年05月25日 14:33:20 作者：Anders221
這篇文章主要為大家詳細(xì)介紹了C++實現(xiàn)簡單BP神經(jīng)網(wǎng)絡(luò)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
本文實例為大家分享了C++實現(xiàn)簡單BP神經(jīng)網(wǎng)絡(luò)的具體代碼，供大家參考，具體內(nèi)容如下
實現(xiàn)了一個簡單的BP神經(jīng)網(wǎng)絡(luò)
使用EasyX圖形化顯示訓(xùn)練過程和訓(xùn)練結(jié)果
使用了25個樣本，一共訓(xùn)練了1萬次。
該神經(jīng)網(wǎng)絡(luò)有兩個輸入，一個輸出端
下圖是訓(xùn)練效果，data是訓(xùn)練的輸入數(shù)據(jù)，temp代表所在層的輸出，target是訓(xùn)練目標(biāo)，右邊的大圖是BP神經(jīng)網(wǎng)絡(luò)的測試結(jié)果。
以下是詳細(xì)的代碼實現(xiàn)，主要還是基本的矩陣運算。
#include <stdio.h>
#include <stdlib.h>
#include <graphics.h>
#include <time.h>
#include <math.h>
#define uint unsigned short
#define real double
#define threshold (real)(rand() % 99998 + 1) / 100000
// 神經(jīng)網(wǎng)絡(luò)的層
class layer{
private:
char name[20];
uint row, col;
uint x, y;
real **data;
real *bias;
public:
layer(){
strcpy_s(name, "temp");
row = 1;
col = 3;
x = y = 0;
data = new real*[row];
bias = new real[row];
for (uint i = 0; i < row; i++){
data[i] = new real[col];
bias[i] = threshold;
for (uint j = 0; j < col; j++){
data[i][j] = 1;
}
}
}
layer(FILE *fp){
fscanf_s(fp, "%d %d %d %d %s", &row, &col, &x, &y, name);
data = new real*[row];
bias = new real[row];
for (uint i = 0; i < row; i++){
data[i] = new real[col];
bias[i] = threshold;
for (uint j = 0; j < col; j++){
fscanf_s(fp, "%lf", &data[i][j]);
}
}
}
layer(uint row, uint col){
strcpy_s(name, "temp");
this->row = row;
this->col = col;
this->x = 0;
this->y = 0;
this->data = new real*[row];
this->bias = new real[row];
for (uint i = 0; i < row; i++){
data[i] = new real[col];
bias[i] = threshold;
for (uint j = 0; j < col; j++){
data[i][j] = 1.0f;
}
}
}
layer(const layer &a){
strcpy_s(name, a.name);
row = a.row, col = a.col;
x = a.x, y = a.y;
data = new real*[row];
bias = new real[row];
for (uint i = 0; i < row; i++){
data[i] = new real[col];
bias[i] = a.bias[i];
for (uint j = 0; j < col; j++){
data[i][j] = a.data[i][j];
}
}
}
~layer(){
// 刪除原有數(shù)據(jù)
for (uint i = 0; i < row; i++){
delete[]data[i];
}
delete[]data;
}
layer& operator =(const layer &a){
// 刪除原有數(shù)據(jù)
for (uint i = 0; i < row; i++){
delete[]data[i];
}
delete[]data;
delete[]bias;
// 重新分配空間
strcpy_s(name, a.name);
row = a.row, col = a.col;
x = a.x, y = a.y;
data = new real*[row];
bias = new real[row];
for (uint i = 0; i < row; i++){
data[i] = new real[col];
bias[i] = a.bias[i];
for (uint j = 0; j < col; j++){
data[i][j] = a.data[i][j];
}
}
return *this;
}
layer Transpose() const {
layer arr(col, row);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[j][i] = data[i][j];
}
}
return arr;
}
layer sigmoid(){
layer arr(col, row);
arr.x = x, arr.y = y;
for (uint i = 0; i < x.row; i++){
for (uint j = 0; j < x.col; j++){
arr.data[i][j] = 1 / (1 + exp(-data[i][j]));// 1/(1+exp(-z))
}
}
return arr;
}
layer operator *(const layer &b){
layer arr(row, col);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[i][j] = data[i][j] * b.data[i][j];
}
}
return arr;
}
layer operator *(const int b){
layer arr(row, col);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[i][j] = b * data[i][j];
}
}
return arr;
}
layer matmul(const layer &b){
layer arr(row, b.col);
arr.x = x, arr.y = y;
for (uint k = 0; k < b.col; k++){
for (uint i = 0; i < row; i++){
arr.bias[i] = bias[i];
arr.data[i][k] = 0;
for (uint j = 0; j < col; j++){
arr.data[i][k] += data[i][j] * b.data[j][k];
}
}
}
return arr;
}
layer operator -(const layer &b){
layer arr(row, col);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[i][j] = data[i][j] - b.data[i][j];
}
}
return arr;
}
layer operator +(const layer &b){
layer arr(row, col);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[i][j] = data[i][j] + b.data[i][j];
}
}
return arr;
}
layer neg(){
layer arr(row, col);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[i][j] = -data[i][j];
}
}
return arr;
}
bool operator ==(const layer &a){
bool result = true;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
if (abs(data[i][j] - a.data[i][j]) > 10e-6){
result = false;
break;
}
}
}
return result;
}
void randomize(){
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
data[i][j] = threshold;
}
bias[i] = 0.3;
}
}
void print(){
outtextxy(x, y - 20, name);
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
COLORREF color = HSVtoRGB(360 * data[i][j], 1, 1);
putpixel(x + i, y + j, color);
}
}
}
void save(FILE *fp){
fprintf_s(fp, "%d %d %d %d %s\n", row, col, x, y, name);
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
fprintf_s(fp, "%lf ", data[i][j]);
}
fprintf_s(fp, "\n");
}
}
friend class network;
friend layer operator *(const double a, const layer &b);
};
layer operator *(const double a, const layer &b){
layer arr(b.row, b.col);
arr.x = b.x, arr.y = b.y;
for (uint i = 0; i < arr.row; i++){
for (uint j = 0; j < arr.col; j++){
arr.data[i][j] = a * b.data[i][j];
}
}
return arr;
}
// 神經(jīng)網(wǎng)絡(luò)
class network{
int iter;
double learn;
layer arr[3];
layer data, target, test;
layer& unit(layer &x){
for (uint i = 0; i < x.row; i++){
for (uint j = 0; j < x.col; j++){
x.data[i][j] = i == j ? 1.0 : 0.0;
}
}
return x;
}
layer grad_sigmoid(layer &x){
layer e(x.row, x.col);
e = x*(e - x);
return e;
}
public:
network(FILE *fp){
fscanf_s(fp, "%d %lf", &iter, &learn);
// 輸入數(shù)據(jù)
data = layer(fp);
for (uint i = 0; i < 3; i++){
arr[i] = layer(fp);
//arr[i].randomize();
}
target = layer(fp);
// 測試數(shù)據(jù)
test = layer(2, 40000);
for (uint i = 0; i < test.col; i++){
test.data[0][i] = ((double)i / 200) / 200.0f;
test.data[1][i] = (double)(i % 200) / 200.0f;
}
}
void train(){
int i = 0;
char str[20];
data.print();
target.print();
for (i = 0; i < iter; i++){
sprintf_s(str, "Iterate:%d", i);
outtextxy(0, 0, str);
// 正向傳播
layer l0 = data;
layer l1 = arr[0].matmul(l0).sigmoid();
layer l2 = arr[1].matmul(l1).sigmoid();
layer l3 = arr[2].matmul(l2).sigmoid();
// 顯示輸出結(jié)果
l1.print();
l2.print();
l3.print();
if (l3 == target){
break;
}
// 反向傳播
layer l3_delta = (l3 - target ) * grad_sigmoid(l3);
layer l2_delta = arr[2].Transpose().matmul(l3_delta) * grad_sigmoid(l2);
layer l1_delta = arr[1].Transpose().matmul(l2_delta) * grad_sigmoid(l1);
// 梯度下降法
arr[2] = arr[2] - learn * l3_delta.matmul(l2.Transpose());
arr[1] = arr[1] - learn * l2_delta.matmul(l1.Transpose());
arr[0] = arr[0] - learn * l1_delta.matmul(l0.Transpose());
}
sprintf_s(str, "Iterate:%d", i);
outtextxy(0, 0, str);
// 測試輸出
// selftest();
}
void selftest(){
// 測試
layer l0 = test;
layer l1 = arr[0].matmul(l0).sigmoid();
layer l2 = arr[1].matmul(l1).sigmoid();
layer l3 = arr[2].matmul(l2).sigmoid();
setlinecolor(WHITE);
// 測試?yán)?
for (uint j = 0; j < test.col; j++){
COLORREF color = HSVtoRGB(360 * l3.data[0][j], 1, 1);// 輸出顏色
putpixel((int)(test.data[0][j] * 160) + 400, (int)(test.data[1][j] * 160) + 30, color);
}
// 標(biāo)準(zhǔn)例
for (uint j = 0; j < data.col; j++){
COLORREF color = HSVtoRGB(360 * target.data[0][j], 1, 1);// 輸出顏色
setfillcolor(color);
fillcircle((int)(data.data[0][j] * 160) + 400, (int)(data.data[1][j] * 160) + 30, 3);
}
line(400, 30, 400, 230);
line(400, 30, 600, 30);
}
void save(FILE *fp){
fprintf_s(fp, "%d %lf\n", iter, learn);
data.save(fp);
for (uint i = 0; i < 3; i++){
arr[i].save(fp);
}
target.save(fp);
}
};
#include "network.h"
void main(){
FILE file;
FILE *fp = &file;
// 讀取狀態(tài)
fopen_s(&fp, "Text.txt", "r");
network net(fp);
fclose(fp);
initgraph(600, 320);
net.train();
// 保存狀態(tài)
fopen_s(&fp, "Text.txt", "w");
net.save(fp);
fclose(fp);
getchar();
closegraph();
}
上面這段代碼是在2016年初實現(xiàn)的，非常簡陋，且不利于擴展。時隔三年，我再次回顧了反向傳播算法，重構(gòu)了上面的代碼。
最近，參考【深度學(xué)習(xí)】一書對反向傳播算法的描述，我用C++再次實現(xiàn)了基于反向傳播算法的神經(jīng)網(wǎng)絡(luò)框架：Github: Neural-Network。該框架支持張量運算，如卷積，池化和上采樣運算。除了能實現(xiàn)傳統(tǒng)的stacked網(wǎng)絡(luò)模型，還實現(xiàn)了基于計算圖的自動求導(dǎo)算法，目前還有些bug。預(yù)計支持搭建卷積神經(jīng)網(wǎng)絡(luò)，并實現(xiàn)【深度學(xué)習(xí)】一書介紹的一些基于梯度的優(yōu)化算法。
歡迎感興趣的同學(xué)在此提出寶貴建議。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
C++標(biāo)準(zhǔn)庫bitset類型的簡單使用方法介紹
這篇文章主要介紹了C++標(biāo)準(zhǔn)庫bitset類型的簡單使用方法,需要的朋友可以參考下2017-07-07
本文給大家分享的是使用C語言來實現(xiàn)xml構(gòu)造解析器的方法和代碼，簡單易用，推薦給大家2016-07-07
C++ STL入門教程(7) multimap、multiset的使用
這篇文章主要介紹了C++ STL入門教程第七篇，multimap一對多索引，multiset多元集合的使用方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-08-08
這篇文章主要介紹了C++泛型編程函(數(shù)模板+類模板),類模板與函數(shù)模板一樣也會經(jīng)過兩次編譯,在此文中重點區(qū)分一下類模板與模板類,函數(shù)模板與模板函數(shù)的概念,泛型編程是C++開發(fā)的一大精髓,靈活地運用泛型編程,需要的朋友可以參考一下2022-02-02
這篇文章主要從單文件壓縮、多文件壓縮、多文件異步壓縮講訴了c語言壓縮文件,需要的朋友可以參考下面具體的文章內(nèi)容2021-09-09
C語言中參數(shù)的傳值一直比較含糊，今天在網(wǎng)上看到三個面試題的詳解，感覺講的很好，就拿來記下，方便學(xué)習(xí)和記憶2013-10-10
QTreeView,顧名思義,就是一種樹形的控件,在我們需要做類似于文件列表的視圖時,是一個不錯的選擇,下面我們就來看看qt如何重寫QTreeView實現(xiàn)酷炫樣式,感興趣的可以了解一下2023-08-08
C語言實現(xiàn)手寫Map(數(shù)組+鏈表+紅黑樹)的示例代碼
這篇文章主要為大家詳細(xì)介紹了如何利用C語言實現(xiàn)手寫Map(數(shù)組+鏈表+紅黑樹)，文中的示例代碼講解詳細(xì)，對我們學(xué)習(xí)有一定借鑒價值，需要的可以參考一下2022-09-09
這篇文章主要為大家詳細(xì)介紹了C語言鏈表實現(xiàn)歌手評分系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-03-03
C語言中不定參數(shù)?...?的語法以及函數(shù)封裝
不定參數(shù)是指函數(shù)可以接收不確定個數(shù)的參數(shù),下面這篇文章主要給大家介紹了關(guān)于C語言中不定參數(shù)?...?的語法以及函數(shù)封裝的相關(guān)資料,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-01-01