快捷導(dǎo)航

通過(guò)實(shí)例解析python subprocess模塊原理及用法

更新時(shí)間：2020年10月10日 10:59:25 作者：lincappu

這篇文章主要介紹了通過(guò)實(shí)例解析python subprocess模塊原理及用法,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

一、subprocess以及常用的封裝函數(shù)

運(yùn)行python的時(shí)候，我們都是在創(chuàng)建并運(yùn)行一個(gè)進(jìn)程。像Linux進(jìn)程那樣，一個(gè)進(jìn)程可以fork一個(gè)子進(jìn)程，并讓這個(gè)子進(jìn)程exec另外一個(gè)程序。在Python中，我們通過(guò)標(biāo)準(zhǔn)庫(kù)中的subprocess包來(lái)fork一個(gè)子進(jìn)程，并運(yùn)行一個(gè)外部的程序。
subprocess包中定義有數(shù)個(gè)創(chuàng)建子進(jìn)程的函數(shù)，這些函數(shù)分別以不同的方式創(chuàng)建子進(jìn)程，所以我們可以根據(jù)需要來(lái)從中選取一個(gè)使用。另外subprocess還提供了一些管理標(biāo)準(zhǔn)流(standard stream)和管道(pipe)的工具，從而在進(jìn)程間使用文本通信。

subprocess.call()

父進(jìn)程等待子進(jìn)程完成

返回退出信息(returncode，相當(dāng)于Linux exit code)

subprocess.check_call()

父進(jìn)程等待子進(jìn)程完成

返回0

檢查退出信息，如果returncode不為0，則舉出錯(cuò)誤subprocess.CalledProcessError，該對(duì)象包含有returncode屬性，可用try…except…來(lái)檢查

subprocess.check_output()

父進(jìn)程等待子進(jìn)程完成

返回子進(jìn)程向標(biāo)準(zhǔn)輸出的輸出結(jié)果

檢查退出信息，如果returncode不為0，則舉出錯(cuò)誤subprocess.CalledProcessError，該對(duì)象包含有returncode屬性和output屬性，output屬性為標(biāo)準(zhǔn)輸出的輸出結(jié)果，可用try…except…來(lái)檢查。

這三個(gè)函數(shù)的使用方法相類似，下面來(lái)以subprocess.call()舉例說(shuō)明:

代碼如下:

>>> import subprocess
>>> retcode = subprocess.call(["ls", "-l"])
#和shell中命令ls -a顯示結(jié)果一樣
>>> print retcode
0

將程序名(ls)和所帶的參數(shù)(-l)一起放在一個(gè)表中傳遞給subprocess.call()

shell默認(rèn)為False，在Linux下，shell=False時(shí), Popen調(diào)用os.execvp()執(zhí)行args指定的程序；shell=True時(shí)，如果args是字符串，Popen直接調(diào)用系統(tǒng)的Shell來(lái)執(zhí)行args指定的程序，如果args是一個(gè)序列，則args的第一項(xiàng)是定義程序命令字符串，其它項(xiàng)是調(diào)用系統(tǒng)Shell時(shí)的附加參數(shù)。

上面例子也可以寫成如下：

代碼如下:

>>> retcode = subprocess.call("ls -l",shell=True)

在Windows下，不論shell的值如何，Popen調(diào)用CreateProcess()執(zhí)行args指定的外部程序。如果args是一個(gè)序列，則先用list2cmdline()轉(zhuǎn)化為字符串，但需要注意的是，并不是MS Windows下所有的程序都可以用list2cmdline來(lái)轉(zhuǎn)化為命令行字符串。

subprocess.Popen()

代碼如下:

class Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0)

實(shí)際上，上面的幾個(gè)函數(shù)都是基于Popen()的封裝(wrapper)。這些封裝的目的在于讓我們?nèi)菀资褂米舆M(jìn)程。當(dāng)我們想要更個(gè)性化我們的需求的時(shí)候，就要轉(zhuǎn)向Popen類，該類生成的對(duì)象用來(lái)代表子進(jìn)程。

與上面的封裝不同，Popen對(duì)象創(chuàng)建后，主程序不會(huì)自動(dòng)等待子進(jìn)程完成。我們必須調(diào)用對(duì)象的wait()方法，父進(jìn)程才會(huì)等待 (也就是阻塞block)，舉例：

代碼如下:

>>> import subprocess
>>> child = subprocess.Popen(['ping','-c','4','blog.linuxeye.com'])
>>> print 'parent process'

從運(yùn)行結(jié)果中看到，父進(jìn)程在開(kāi)啟子進(jìn)程之后并沒(méi)有等待child的完成，而是直接運(yùn)行print。

對(duì)比等待的情況:

代碼如下:

>>> import subprocess
>>> child = subprocess.Popen('ping -c4 blog.linuxeye.com',shell=True)
>>> child.wait()
>>> print 'parent process'

從運(yùn)行結(jié)果中看到，父進(jìn)程在開(kāi)啟子進(jìn)程之后并等待child的完成后，再運(yùn)行print。
此外，你還可以在父進(jìn)程中對(duì)子進(jìn)程進(jìn)行其它操作，比如我們上面例子中的child對(duì)象:代碼如下:

child.poll() # 檢查子進(jìn)程狀態(tài)
child.kill() # 終止子進(jìn)程
child.send_signal() # 向子進(jìn)程發(fā)送信號(hào)
child.terminate() # 終止子進(jìn)程

子進(jìn)程的PID存儲(chǔ)在child.pid

二、子進(jìn)程的文本流控制

子進(jìn)程的標(biāo)準(zhǔn)輸入、標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤如下屬性分別表示:

代碼如下:

child.stdin
child.stdout
child.stderr

可以在Popen()建立子進(jìn)程的時(shí)候改變標(biāo)準(zhǔn)輸入、標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤，并可以利用subprocess.PIPE將多個(gè)子進(jìn)程的輸入和輸出連接在一起，構(gòu)成管道(pipe)，如下2個(gè)例子：

代碼如下:

>>> import subprocess
>>> child1 = subprocess.Popen(["ls","-l"], stdout=subprocess.PIPE)
>>> print child1.stdout.read(),
#或者child1.communicate()
>>> import subprocess
>>> child1 = subprocess.Popen(["cat","/etc/passwd"], stdout=subprocess.PIPE)
>>> child2 = subprocess.Popen(["grep","0:0"],stdin=child1.stdout, stdout=subprocess.PIPE)
>>> out = child2.communicate()

subprocess.PIPE實(shí)際上為文本流提供一個(gè)緩存區(qū)。child1的stdout將文本輸出到緩存區(qū)，隨后child2的stdin從該P(yáng)IPE中將文本讀取走。child2的輸出文本也被存放在PIPE中，直到communicate()方法從PIPE中讀取出PIPE中的文本。
注意：communicate()是Popen對(duì)象的一個(gè)方法，該方法會(huì)阻塞父進(jìn)程，直到子進(jìn)程完成

subprocess 模塊首先推薦使用的是它的 run 方法，更高級(jí)的用法可以直接使用 Popen 接口。

run 方法語(yǔ)法格式如下：

subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, capture_output=False, shell=False, cwd=None, timeout=None, check=False, encoding=None, errors=None, text=None, env=None, universal_newlines=None)

args：表示要執(zhí)行的命令。必須是一個(gè)字符串，字符串參數(shù)列表。
stdin、stdout 和 stderr：子進(jìn)程的標(biāo)準(zhǔn)輸入、輸出和錯(cuò)誤。其值可以是 subprocess.PIPE、subprocess.DEVNULL、一個(gè)已經(jīng)存在的文件描述符、已經(jīng)打開(kāi)的文件對(duì)象或者 None。subprocess.PIPE 表示為子進(jìn)程創(chuàng)建新的管道。subprocess.DEVNULL 表示使用 os.devnull。默認(rèn)使用的是 None，表示什么都不做。另外，stderr 可以合并到 stdout 里一起輸出。
timeout：設(shè)置命令超時(shí)時(shí)間。如果命令執(zhí)行時(shí)間超時(shí)，子進(jìn)程將被殺死，并彈出 TimeoutExpired 異常。
check：如果該參數(shù)設(shè)置為 True，并且進(jìn)程退出狀態(tài)碼不是 0，則彈出 CalledProcessError 異常。
encoding: 如果指定了該參數(shù)，則 stdin、stdout 和 stderr 可以接收字符串?dāng)?shù)據(jù)，并以該編碼方式編碼。否則只接收 bytes 類型的數(shù)據(jù)。
shell：如果該參數(shù)為 True，將通過(guò)操作系統(tǒng)的 shell 執(zhí)行指定的命令。
run 方法調(diào)用方式返回 CompletedProcess 實(shí)例，和直接 Popen 差不多，實(shí)現(xiàn)是一樣的，實(shí)際也是調(diào)用 Popen，與 Popen 構(gòu)造函數(shù)大致相同，例如:

實(shí)例

#執(zhí)行l(wèi)s -l /dev/null 命令
>>> subprocess.run(["ls", "-l", "/dev/null"])
crw-rw-rw- 1 root wheel 3, 2 5 4 13:34 /dev/null
CompletedProcess(args=['ls', '-l', '/dev/null'], returncode=0)

returncode: 執(zhí)行完子進(jìn)程狀態(tài)，通常返回狀態(tài)為0則表明它已經(jīng)運(yùn)行完畢，若值為負(fù)值 "-N",表明子進(jìn)程被終。

簡(jiǎn)單實(shí)例：

實(shí)例

import subprocess
def runcmd(command):
  ret = subprocess.run(command,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE,encoding="utf-8",timeout=1)
  if ret.returncode == 0:
    print("success:",ret)
  else:
    print("error:",ret)
runcmd(["dir","/b"])#序列參數(shù)
runcmd("exit 1")#字符串參數(shù)

輸出結(jié)果如下：

success: CompletedProcess(args=['dir', '/b'], returncode=0, stdout='test.py\n', stderr='')
error: CompletedProcess(args='exit 1', returncode=1, stdout='', stderr='')

Popen() 方法

Popen 是 subprocess的核心，子進(jìn)程的創(chuàng)建和管理都靠它處理。

構(gòu)造函數(shù)：

class subprocess.Popen(args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None,
preexec_fn=None, close_fds=True, shell=False, cwd=None, env=None, universal_newlines=False,
startupinfo=None, creationflags=0,restore_signals=True, start_new_session=False, pass_fds=(),
*, encoding=None, errors=None)

常用參數(shù)：

args：shell命令，可以是字符串或者序列類型（如：list，元組）

bufsize：緩沖區(qū)大小。當(dāng)創(chuàng)建標(biāo)準(zhǔn)流的管道對(duì)象時(shí)使用，默認(rèn)-1。

0：不使用緩沖區(qū)

1：表示行緩沖，僅當(dāng)universal_newlines=True時(shí)可用，也就是文本模式

正數(shù)：表示緩沖區(qū)大小

負(fù)數(shù)：表示使用系統(tǒng)默認(rèn)的緩沖區(qū)大小。

stdin, stdout, stderr：分別表示程序的標(biāo)準(zhǔn)輸入、輸出、錯(cuò)誤句柄
preexec_fn：只在 Unix 平臺(tái)下有效，用于指定一個(gè)可執(zhí)行對(duì)象（callable object），它將在子進(jìn)程運(yùn)行之前被調(diào)用
shell：如果該參數(shù)為 True，將通過(guò)操作系統(tǒng)的 shell 執(zhí)行指定的命令。
cwd：用于設(shè)置子進(jìn)程的當(dāng)前目錄。
env：用于指定子進(jìn)程的環(huán)境變量。如果 env = None，子進(jìn)程的環(huán)境變量將從父進(jìn)程中繼承。

創(chuàng)建一個(gè)子進(jìn)程，然后執(zhí)行一個(gè)簡(jiǎn)單的命令:

實(shí)例

>>> import subprocess
>>> p = subprocess.Popen('ls -l', shell=True)
>>> total 164
-rw-r--r-- 1 root root 133 Jul 4 16:25 admin-openrc.sh
-rw-r--r-- 1 root root 268 Jul 10 15:55 admin-openrc-v3.sh
...
>>> p.returncode
>>> p.wait()
0
>>> p.returncode

這里也可以使用 p = subprocess.Popen(['ls', '-cl']) 來(lái)創(chuàng)建子進(jìn)程。

Popen 對(duì)象方法

poll(): 檢查進(jìn)程是否終止，如果終止返回 returncode，否則返回 None。
wait(timeout): 等待子進(jìn)程終止。
communicate(input,timeout): 和子進(jìn)程交互，發(fā)送和讀取數(shù)據(jù)。
send_signal(singnal): 發(fā)送信號(hào)到子進(jìn)程。
terminate(): 停止子進(jìn)程,也就是發(fā)送SIGTERM信號(hào)到子進(jìn)程。
kill(): 殺死子進(jìn)程。發(fā)送 SIGKILL 信號(hào)到子進(jìn)程。

實(shí)例

import time
import subprocess

def cmd(command):
  subp = subprocess.Popen(command,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE,encoding="utf-8")
  subp.wait(2)
  if subp.poll() == 0:
    print(subp.communicate()[1])
  else:
    print("失敗")
cmd("java -version")
cmd("exit 1")

輸出結(jié)果如下：