yaml文件

模型深度&寬度

nc: 3  # 類別數(shù)量
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple

depth_multiple：控制子模塊數(shù)量=int(number*depth)

width_multiple：控制卷積核的數(shù)量=int(number*width)

Anchor

anchors:
  - [10,13, 16,30, 33,23]  # P3/8，檢測小目標(biāo)，10,13是一組尺寸，總共三組檢測小目標(biāo)
  - [30,61, 62,45, 59,119]  # P4/16，檢測中目標(biāo)，共三組
  - [116,90, 156,198, 373,326]  # P5/32，檢測大目標(biāo)，共三組

該anchor尺寸是為輸入圖像640×640分辨率預(yù)設(shè)的，實(shí)現(xiàn)了即可以在小特征圖（feature map）上檢測大目標(biāo)，也可以在大特征圖上檢測小目標(biāo)。三種尺寸的特征圖，每個(gè)特征圖上的格子有三個(gè)尺寸的anchor。

Backbone

backbone:
  # [from, number, module, args]
  [[-1, 1, Focus, [64, 3]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 9, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 1, SPP, [1024, [5, 9, 13]]],
   [-1, 3, C3, [1024, False]],  # 9
  ]

具體解釋如下：

from：輸入來自那一層，-1代表上一次，1代表第1層，3代表第3層

number：模塊的數(shù)量，最終數(shù)量需要乘width，然后四舍五入取整，如果小于1，取1。

module：子模塊

args：模塊參數(shù)，channel，kernel_size，stride，padding，bias等

Focus：對(duì)特征圖進(jìn)行切片操作，[64,3]得到[3,32,3]，即輸入channel=3（RGB），輸出為640.5(width_multiple)=32，3為卷積核尺寸。

Conv：nn.conv(kenel_size=1，stride=1，groups=1，bias=False) + Bn + Leaky_ReLu。[-1, 1, Conv, [128, 3, 2]]：輸入來自上一層，模塊數(shù)量為1個(gè)，子模塊為Conv，網(wǎng)絡(luò)中最終有1280.5=32個(gè)卷積核，卷積核尺寸為3，stride=2,。

BottleNeckCSP：借鑒CSPNet網(wǎng)絡(luò)結(jié)構(gòu)，由3個(gè)卷積層和X個(gè)殘差模塊Concat組成，若有False，則沒有殘差模塊，那么組成結(jié)構(gòu)為nn.conv+Bn+Leaky_ReLu

SPP：[-1, 1, SPP, [1024, [5, 9, 13]]]表示5×5，9×9，13×13的最大池化方式，進(jìn)行多尺度融合。源代碼如下：

k = [5, 9, 13]
self.m = nn.ModuleList([nn.MaxPool2d(kernel_size=x, stride=1, padding=x // 2) for x in k])

Head

head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],  上采樣
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4  代表concat上一層和第6層
   [-1, 3, C3, [512, False]],  # 13  說明該層是第13層網(wǎng)絡(luò)
 
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)
 
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)
 
   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)
 
   [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)，[17, 20, 23]說明輸入來自第17,20,23層
  

YOLOv5中的Head包括Neck和Detect_head兩部分。Neck采用了PANet機(jī)構(gòu)，Detect結(jié)構(gòu)和YOLOv3中的Head一樣。其中BottleNeckCSP帶有False，說明沒有使用殘差結(jié)構(gòu)，而是采用的backbone中的Conv。

超參數(shù)

初始化超參

YOLOv5的超參文件見data/hyp.finetune.yaml（適用VOC數(shù)據(jù)集）或者h(yuǎn)yo.scrach.yaml（適用COCO數(shù)據(jù)集）文件

lr0: 0.01  # 初始學(xué)習(xí)率 (SGD=1E-2, Adam=1E-3)
lrf: 0.2  # 循環(huán)學(xué)習(xí)率 (lr0 * lrf)
momentum: 0.937  # SGD momentum/Adam beta1 學(xué)習(xí)率動(dòng)量
weight_decay: 0.0005  # 權(quán)重衰減系數(shù) 
warmup_epochs: 3.0  # 預(yù)熱學(xué)習(xí) (fractions ok)
warmup_momentum: 0.8  # 預(yù)熱學(xué)習(xí)動(dòng)量
warmup_bias_lr: 0.1  # 預(yù)熱初始學(xué)習(xí)率
box: 0.05  # iou損失系數(shù)
cls: 0.5  # cls損失系數(shù)
cls_pw: 1.0  # cls BCELoss正樣本權(quán)重
obj: 1.0  # 有無物體系數(shù)(scale with pixels)
obj_pw: 1.0  # 有無物體BCELoss正樣本權(quán)重
iou_t: 0.20  # IoU訓(xùn)練時(shí)的閾值
anchor_t: 4.0  # anchor的長寬比（長:寬 = 4:1）
# anchors: 3  # 每個(gè)輸出層的anchors數(shù)量(0 to ignore)
#以下系數(shù)是數(shù)據(jù)增強(qiáng)系數(shù)，包括顏色空間和圖片空間
fl_gamma: 0.0  # focal loss gamma (efficientDet default gamma=1.5)
hsv_h: 0.015  # 色調(diào) (fraction)
hsv_s: 0.7  # 飽和度 (fraction)
hsv_v: 0.4  # 亮度 (fraction)
degrees: 0.0  # 旋轉(zhuǎn)角度 (+/- deg)
translate: 0.1  # 平移(+/- fraction)
scale: 0.5  # 圖像縮放 (+/- gain)
shear: 0.0  # 圖像剪切 (+/- deg)
perspective: 0.0  # 透明度 (+/- fraction), range 0-0.001
flipud: 0.0  # 進(jìn)行上下翻轉(zhuǎn)概率 (probability)
fliplr: 0.5  # 進(jìn)行左右翻轉(zhuǎn)概率 (probability)
mosaic: 1.0  # 進(jìn)行Mosaic概率 (probability)
mixup: 0.0  # 進(jìn)行圖像混疊概率（即，多張圖像重疊在一起） (probability)

訓(xùn)練超參

訓(xùn)練超參數(shù)包括：yaml文件的選擇，和訓(xùn)練圖片的大小，預(yù)訓(xùn)練，batch，epoch等。

可以直接在train.py的parser中修改，也可以在命令行執(zhí)行時(shí)修改，如：$ python train.py --data coco.yaml --cfg yolov5s.yaml --weights ‘’ --batch-size 64

–data指定訓(xùn)練數(shù)據(jù)文件 --cfg設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)的配置文件 –weihts加載預(yù)訓(xùn)練模型的路徑

優(yōu)化策略

1）數(shù)增強(qiáng)策略

從數(shù)據(jù)角度，我們通過粘貼、裁剪、mosaic、仿射變換、顏色空間轉(zhuǎn)換等對(duì)樣本進(jìn)行增強(qiáng)，增加目標(biāo)多樣性，以提升模型的檢測與分類精度。

2）SAM優(yōu)化器

SAM優(yōu)化器[4]可使損失值和損失銳度同時(shí)最小化，并可以改善各種基準(zhǔn)數(shù)據(jù)集（例如CIFAR-f10、100g，ImageNet，微調(diào)任務(wù)）和模型的模型泛化能力，從而產(chǎn)生了多種最新性能。另外， SAM優(yōu)化器具有固有的魯棒性。

經(jīng)實(shí)驗(yàn)對(duì)比，模型進(jìn)行優(yōu)化器梯度歸一化和采用SAM優(yōu)化器，約有0.027點(diǎn)的提升。

3）Varifocal Loss損失函數(shù)

Varifocal Loss主要訓(xùn)練密集目標(biāo)檢測器使IOU感知的分類得分（IASC）回歸，來提高檢測精度。而目標(biāo)遮擋是密集目標(biāo)的特征之一，因此嘗試使用該loss來緩解目標(biāo)遮擋造成漏檢現(xiàn)象。并且與focal loss不同，varifocal loss是不對(duì)稱對(duì)待正負(fù)樣本所帶來的損失。

4）凍結(jié)訓(xùn)練

在訓(xùn)練過程中采取常規(guī)訓(xùn)練與凍結(jié)訓(xùn)練想相結(jié)合的方式迭代，進(jìn)一步抑制訓(xùn)練過程中容易出現(xiàn)的過擬合現(xiàn)象，具體訓(xùn)練方案是：1）常規(guī)訓(xùn)練；2）加入凍結(jié)模塊的分步訓(xùn)練1；3）加入凍結(jié)模塊的分步訓(xùn)練2。

我們?cè)敿?xì)講解以上步驟。第一步：從訓(xùn)練數(shù)據(jù)中隨機(jī)選取一半，進(jìn)行yolov5常規(guī)訓(xùn)練，該過程中所有的參數(shù)是同時(shí)更新的。具體流程如下：

第二步分布迭代1就是采用的凍結(jié)模塊進(jìn)行，數(shù)據(jù)是隨機(jī)選取訓(xùn)練數(shù)據(jù)的一半，預(yù)訓(xùn)練模型是第一步常規(guī)訓(xùn)練的最好模型，按照凍結(jié)訓(xùn)練方式進(jìn)行訓(xùn)練。這個(gè)流程循環(huán)多次，獲得model2。

第三步分布迭代2同樣采用的是凍結(jié)模塊進(jìn)行，數(shù)據(jù)是所有訓(xùn)練數(shù)據(jù)，由于參數(shù)已經(jīng)學(xué)過，這時(shí)我們將學(xué)習(xí)率調(diào)小一個(gè)量級(jí)，同樣也是按照凍結(jié)訓(xùn)練方式進(jìn)行訓(xùn)練。這個(gè)流程只循環(huán)一次，獲得最終的模型。

兩步的具體流程如下：

5）訓(xùn)練時(shí)間優(yōu)化

最初我們直接采用yolov5訓(xùn)練，這種數(shù)據(jù)加載方式是以張為單位，基于像素的訪問，但是訓(xùn)練時(shí)速度很慢，可能受其他線程影響造成的，大概一輪要40分鐘左右。然后我們就嘗試了cache這種方式，它是將所有訓(xùn)練數(shù)據(jù)存入到內(nèi)存中，我們以6406403的輸入圖像為例，占道數(shù)據(jù)總共有10147張，全部讀進(jìn)去大約占11.6G的內(nèi)存，平臺(tái)是提供12G的內(nèi)存，幾乎將內(nèi)存占滿，也會(huì)導(dǎo)致訓(xùn)練變慢；于是我們就嘗試改進(jìn)訓(xùn)練讀取數(shù)據(jù)方式，我們采用的是cache+圖像編解碼的方式，內(nèi)存占用僅是cache的1/6，由于添加了編解碼，速度比cache慢點(diǎn)，但從數(shù)據(jù)比較來看，相差無幾。這樣既能節(jié)省內(nèi)存又能加快訓(xùn)練速度。節(jié)省了我們訓(xùn)練過程的極力值和加快實(shí)驗(yàn)的步伐。

總結(jié)

到此這篇關(guān)于YOLOV5超參數(shù)介紹以及優(yōu)化策略的文章就介紹到這了,更多相關(guān)YOLOV5超參數(shù)及優(yōu)化內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論