Jupyter Notebook運(yùn)行Python代碼實(shí)現(xiàn)傳參方式
Jupyter Notebook運(yùn)行Python代碼實(shí)現(xiàn)傳參
在Jupyter Notebook中,運(yùn)行Python源代碼非常方便,但是如何模擬命令行方式運(yùn)行時(shí)的輸入?yún)?shù)呢?
如果直接使用sys.argv會(huì)出現(xiàn)錯(cuò)誤。
例如,使用argv[1]時(shí)出現(xiàn)
導(dǎo)致上述錯(cuò)誤的原因?yàn)椋涸贘upyter Notebook中運(yùn)行Python代碼時(shí),argv中有三個(gè)默認(rèn)參數(shù),分別是:
argv[0]: ‘路徑\test.py' (源代碼文件名) argv[1]: ‘-f' argv[2]: '路徑\kernel-…json'
而在命令行方式下運(yùn)行Python代碼時(shí),argv[0]與上述argv[0]相同,但argv[1]為命令行中緊隨在test.py之后的字符串
例如,在如下命令行中
python test.py test.txt argv[1]為 test.txt
因此,解決方案就是對(duì) list argv 進(jìn)行修改,如下面的代碼所示:
#需要sys模塊來使用argv from sys import argv #查看當(dāng)前的argv列表 print(len(argv)) print(argv) #直接修改argv argv[1] = 'test.txt' #也可以添加新的參數(shù) argv.append('test.txt')
這樣,在后續(xù)代碼中, .py 和 .ipynb源代碼一致,無需為在Jupyter Notebook中運(yùn)行而進(jìn)行修改。
jupyter notebook參數(shù)化運(yùn)行python
Updates
(2019.8.14 19:53)吃飯前用這個(gè)方法實(shí)戰(zhàn)了一下,吃完回來一看好像不太行:跑完一組參數(shù)之后,到跑下一組參數(shù)時(shí)好像沒有釋放之占用的 GPU,于是 notebook 上的結(jié)果,后面好幾條都報(bào)錯(cuò)說 cuda out of memory。
現(xiàn)在改成:將 notebook 中的代碼寫在一個(gè) python 文件中,然后用命令行運(yùn)行這個(gè)文件,比如:
# autorun.py import os # print(os.getcwd()) over = [ ?# 之前手工改參數(shù)跑完的參數(shù)組合 ? ? [0, 1, 1], [0, 1, 2], [0, 1, 3], ? ? [0, 2, 1], ? ? [1, 0, 1], ? ? [1, 2, 1] ] for alpha in range(1, 4, 1): ? ? for beta in range(3): ? ? ? ? for gamma in range(3): ? ? ? ? ? ? if [alpha, beta, gamma] in over: ? ? ? ? ? ? ? ? continue ? ? ? ? ? ? os.system(f'python main.py --alpha {alpha} --beta {beta} --gamma {gamma}')
這里的 main.py 是訓(xùn)練用的主文件。改在 py 里用 os.system 跑,希望跑一組參數(shù)之后完會(huì)自動(dòng)釋放資源再跑下一組(?)
Notes
有多組參數(shù)組合需要嘗試,不想每組參數(shù)都人工修改 python 代碼,再在 notebook 中 %run 它。
python 參數(shù)通過的 argparse 接收,在 notebook 中寫個(gè)多重循環(huán)遍歷參數(shù)組合傳給 python 程序自動(dòng)運(yùn)行。
記錄一個(gè)簡(jiǎn)例。
Codes
test_dir
|- test.py
|- test.ipynb
in py file
# test.py import argparse parser = argparse.ArgumentParser() parser.add_argument('--number', type=int, default=0, help='number') parser.add_argument('--string', type=str, default='abc', help='string') args = parser.parse_args() print('number:', args.number, type(args.number)) print('string:', args.string, type(args.string))
in notebook
注意傳參數(shù)時(shí) $ 的使用
# test.ipynb for i in range(3): ? ? for s in ('a', 'b', 'c'): ? ? ? ? %run test.py --number $i --string $s
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
ChatGPT 幫我自動(dòng)編寫 Python 爬蟲腳本的詳細(xì)過程
ChatGPT是一種基于大語言模型的生成式AI,換句話說它可以自動(dòng)生成類似人類語言的文本,把梳理好的有邏輯的答案呈現(xiàn)在你面前,這完全不同于傳統(tǒng)搜索工具,這篇文章主要介紹了ChatGPT 幫我自動(dòng)編寫 Python 爬蟲腳本,需要的朋友可以參考下2023-02-02Python實(shí)現(xiàn)上傳Minio和阿里Oss文件
這篇文章主要介紹了如何通過Python上傳Minio和阿里OSS文件,文中的示例代碼介紹得很詳細(xì),對(duì)我們的工作和學(xué)習(xí)都有一定的價(jià)值,感興趣的小伙伴可以了解一下2021-12-12Pycharm中flask開啟debug模式的詳細(xì)流程
PyCharm是一個(gè)強(qiáng)大的集成開發(fā)環(huán)境(IDE),非常適合Python開發(fā)者,包括Flask框架,當(dāng)你在使用Flask開發(fā)Web應(yīng)用時(shí),Debug功能是非常重要的,它允許你在運(yùn)行時(shí)檢查程序的狀態(tài)、調(diào)試代碼錯(cuò)誤,本文將介紹Pycharm中flask開啟debug模式的詳細(xì)流程,需要的朋友可以參考下2024-08-08Python+PyQt5實(shí)現(xiàn)美劇爬蟲可視工具的方法
這篇文章主要介紹了Python+PyQt5實(shí)現(xiàn)美劇爬蟲可視工具的方法,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04Python3.7實(shí)現(xiàn)中控考勤機(jī)自動(dòng)連接
這篇文章主要為大家詳細(xì)介紹了Python3.7實(shí)現(xiàn)中控考勤機(jī)自動(dòng)連接,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-08-08sqlalchemy實(shí)現(xiàn)時(shí)間列自動(dòng)更新教程
這篇文章主要介紹了sqlalchemy實(shí)現(xiàn)時(shí)間列自動(dòng)更新教程,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-09-09Python中不同數(shù)據(jù)對(duì)象的空值校驗(yàn)的方法小結(jié)
Python中有多種數(shù)據(jù)對(duì)象,每種都有其特定的空值表示方法和校驗(yàn)方式,本文將深入探討這些空值校驗(yàn)的方法,有需要的小伙伴可以參考一下2024-04-04Python實(shí)現(xiàn)自動(dòng)上傳文件到百度網(wǎng)盤
這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)自動(dòng)上傳文件到百度網(wǎng)盤功能,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起了解一下2023-04-04