Yolov5訓練意外中斷后如何接續(xù)訓練詳解
1.配置環(huán)境
操作系統(tǒng):Ubuntu20.04
CUDA版本:11.4
Pytorch版本:1.9.0
TorchVision版本:0.7.0
IDE:PyCharm
硬件:RTX2070S*2
2.問題描述
在訓練YOLOv5時由于數據集很大導致訓練時間十分漫長,這期間Python、主機等可能遇到死機的情況,如果需要訓練300個epoch但是訓練一晚后發(fā)現在200epoch時停下是十分崩潰了,好在博主摸索到在yolov5中接續(xù)訓練的方法了。
3.解決方法
首先直接上方法
3.1設置需要接續(xù)訓練的結果
如果你想從上一次訓練結果中回復訓練,那么首先保證你的訓練結果(一般都存放在/runs/train目錄下)在保存目錄中代號為最大的。
如上圖所示,在train文件夾下一共有14個訓練結果,假設我的第12次訓練中斷了,想接著第12次的結果繼續(xù)訓練,那么只需要將比12更大的:exp13、exp14這兩個文件夾刪除或者移動到其他地方,這樣便設置好了需要接續(xù)訓練的結果。
3.2設置訓練代碼
代碼見yolov5代碼中的train.py
if __name__ == '__main__': os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE" parser = argparse.ArgumentParser() parser.add_argument('--weights', type=str, default='../weights/yolov5s.pt', help='initial weights path') parser.add_argument('--cfg', type=str, default='./models/yolov5s.yaml', help='model.yaml path') parser.add_argument('--data', type=str, default='data/car.yaml', help='data.yaml path') parser.add_argument('--hyp', type=str, default='data/hyp.scratch.yaml', help='hyperparameters path') parser.add_argument('--epochs', type=int, default=300) parser.add_argument('--batch-size', type=int, default=32, help='total batch size for all GPUs') parser.add_argument('--img-size', nargs='+', type=int, default=[640, 640], help='[train, test] image sizes') parser.add_argument('--rect', action='store_true', help='rectangular training') parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training') parser.add_argument('--nosave', action='store_true', help='only save final checkpoint') parser.add_argument('--notest', action='store_true', help='only test final epoch') parser.add_argument('--noautoanchor', action='store_true', help='disable autoanchor check') parser.add_argument('--evolve', action='store_true', help='evolve hyperparameters') parser.add_argument('--bucket', type=str, default='', help='gsutil bucket') parser.add_argument('--cache-images', action='store_true', help='cache images for faster training') parser.add_argument('--image-weights', action='store_true', help='use weighted image selection for training') parser.add_argument('--device', default='1', help='cuda device, i.e. 0 or 0,1,2,3 or cpu') parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%') parser.add_argument('--single-cls', action='store_true', help='train multi-class data as single-class') parser.add_argument('--adam', action='store_true', help='use torch.optim.Adam() optimizer') parser.add_argument('--sync-bn', action='store_true', help='use SyncBatchNorm, only available in DDP mode') parser.add_argument('--local_rank', type=int, default=-1, help='DDP parameter, do not modify') parser.add_argument('--workers', type=int, default=8, help='maximum number of dataloader workers') parser.add_argument('--project', default='runs/train', help='save to project/name') parser.add_argument('--entity', default=None, help='W&B entity') parser.add_argument('--name', default='exp', help='save to project/name') parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment') parser.add_argument('--quad', action='store_true', help='quad dataloader') parser.add_argument('--linear-lr', action='store_true', help='linear LR') parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon') parser.add_argument('--upload_dataset', action='store_true', help='Upload dataset as W&B artifact table') parser.add_argument('--bbox_interval', type=int, default=-1, help='Set bounding-box image logging interval for W&B') parser.add_argument('--save_period', type=int, default=-1, help='Log model after every "save_period" epoch') parser.add_argument('--artifact_alias', type=str, default="latest", help='version of dataset artifact to be used') opt = parser.parse_args()
注意上面patser中第9個參數resume,將其設置為default=True
即可,也就是那一行代碼改變?yōu)?/p>
parser.add_argument('--resume', nargs='?', const=True, default=True, help='resume most recent training')
接下來運行python train.py邊不會產生新的exp而是在最新的exp上接續(xù)訓練
如下圖所示:
博主運行完python train.py
后便是接著上一次訓練完139個epoch繼續(xù)訓練
4.原理
其實接續(xù)訓練不是什么深奧內容 ,博主在訓練自己模型的時候也早會使用。
我們在使用yolov5提供的權重,也就是像yolov5s.pt之類的文件時就是使用了官方提供的模型接續(xù)訓練的。
我們每次訓練模型時都會生成新的模型結果,存放在/runs/train/expxxx/weights下,接續(xù)訓練就是將上次訓練一半得到的結果拿來和模型結合進行訓練。具體來說:如果最終訓練目標是300個epoch,上次訓練完了139個epoch,那么就是將第139個epoch得到的權重載入到模型中再訓練161個epoch便可等效為訓練了300個epoch
5.結束語
到此這篇關于Yolov5訓練意外中斷后如何接續(xù)訓練的文章就介紹到這了,更多相關Yolov5訓練中斷接續(xù)訓練內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Python3導入CSV文件的實例(跟Python2有些許的不同)
今天小編就為大家分享一篇Python3導入CSV文件的實例(跟Python2有些許的不同),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06使用python matplotlib 畫圖導入到word中如何保證分辨率
這篇文章主要介紹了使用python matplotlib 畫圖導入到word中如何保證分辨率的例子,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04