Python venv虛擬環(huán)境跨設備遷移的實現(xiàn)
背景
我們通常會遇到想簡易搬遷一臺設備的python開發(fā)環(huán)境到另外一臺設備的情況，但可能我們另一臺設備本身的python環(huán)境包括系統(tǒng)環(huán)境是不可控的，這里我遇到的是從centos7搬遷python開發(fā)環(huán)境到centos6，centos7自帶的python環(huán)境為2.7.5版本且一些依賴的文件庫也是適配2.7.5版本及以上的，導致我們把環(huán)境搬遷到centos6的默認python2.6.6環(huán)境下時，產(chǎn)生了非常多的報錯，以下文檔內(nèi)容記錄我遇到的報錯及解決方式，并提供一種較為完美的方式輕量級的解決環(huán)境移植問題。
python加載lib庫的順序
環(huán)境
制作python 虛擬環(huán)境設備：
- 系統(tǒng)版本：centos 7
- python版本：python2.7.5
移植的目標設備：
- 系統(tǒng)版本：centos 6
- python版本：python2.6.6
詳細操作
安裝virtualenv
[centos 7] # pip install virtualenv
創(chuàng)建python venv環(huán)境
[centos 7] # mkdir -p /opt/python_venv_test [centos 7] # virtualenv -p /usr/bin/python2.7 --copies /opt/python_venv_test
--copies的參數(shù)意思為盡量不要為/opt/python_venv_test的文件創(chuàng)建軟鏈接，如果不指定該參數(shù)，我們可以看到/opt/python_venv_test目錄有些文件就是這樣的：
[centos 7] # ll /opt/python_venv_test/lib64/python2.7/* lrwxrwxrwx 1 root root ? 32 Apr 26 20:24 /opt/python_venv_test/lib64/python2.7/lib-dynload -> /usr/lib64/python2.7/lib-dynload lrwxrwxrwx 1 root root ? 26 Apr 26 20:24 /opt/python_venv_test/lib64/python2.7/os.py -> /usr/lib64/python2.7/os.py lrwxrwxrwx 1 root root ? 27 Apr 26 20:24 /opt/python_venv_test/lib64/python2.7/os.pyc -> /usr/lib64/python2.7/os.pyc -rw-r--r-- 1 root root 6978 Apr 26 20:24 /opt/python_venv_test/lib64/python2.7/site.py /opt/python_venv_test/lib64/python2.7/config: total 0 lrwxrwxrwx 1 root root 36 Apr 26 20:24 Makefile -> /usr/lib64/python2.7/config/Makefile /opt/python_venv_test/lib64/python2.7/site-packages: total 0
可以看到很多文件直接是做了軟鏈接到原python 環(huán)境中的lib庫中的文件，如果這個時候咱們把他打包移植到另外的設備，這些文件就全部都會被清空，所以一定要加--copies這個參數(shù)。加了--copies參數(shù)之后是這樣的：
[centos 7] # ll -d /opt/python_venv_test/lib64/python2.7/* drwxr-xr-x 2 root root 4096 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/config drwxr-xr-x 2 root root 4096 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/lib-dynload -rw-r--r-- 1 root root 25769 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/os.py -rw-r--r-- 1 root root 25557 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/os.pyc drwxr-xr-x 2 root root 4096 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/site-packages -rw-r--r-- 1 root root 6978 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/site.py
可以看到?jīng)]有軟鏈接了，那么我們這個環(huán)境就是完全獨立的，這時候我們的python venv環(huán)境就已經(jīng)生成了。
打包依賴的glibc庫
我們的python環(huán)境為python2.7.5版本，比較推薦的是使用glibc-2.17版本，下載地址為：glibc下載地址 ，里面有各個版本的glibc文件。
為什么這里要打包依賴的glibc庫呢？
我把虛擬環(huán)境目錄移植到目標的centos6機器上測試了一下，如果上面的這些庫文件在新的設備上沒有，那么就會報錯，這里我遇到的報錯就是：
/bin/python: error while loading shared libraries: libpython2.7.so.1.0: cannot open shared object file: No such file or directory
./bin/python: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /usr/lib64/libpython2.7.so.1.0)
這兩個報錯都是很有可能會命中的，提示我們?nèi)鄙賻煳募瑳]有辦法運行python binary。
那么到底缺少哪些庫文件呢？我們可以通過readelf -d /opt/python_venv_test/bin/python 命令檢查python binary的依賴文件：
[centos 7] # readelf -d /opt/python_venv_test/bin/python Dynamic section at offset 0xdd8 contains 29 entries: ? Tag ? ? ? ?Type ? ? ? ? ? ? ? ? ? ? ? ? Name/Value ?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libpython2.7.so.1.0] ?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libpthread.so.0] ?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libdl.so.2] ?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libutil.so.1] ?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libm.so.6] ?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libc.so.6] ?0x000000000000000c (INIT) ? ? ? ? ? ? ? 0x4005e0 ?0x000000000000000d (FINI) ? ? ? ? ? ? ? 0x4007a4 ?0x0000000000000019 (INIT_ARRAY) ? ? ? ? 0x600dc0 ?0x000000000000001b (INIT_ARRAYSZ) ? ? ? 8 (bytes) ?0x000000000000001a (FINI_ARRAY) ? ? ? ? 0x600dc8 ?0x000000000000001c (FINI_ARRAYSZ) ? ? ? 8 (bytes) ?0x000000006ffffef5 (GNU_HASH) ? ? ? ? ? 0x400298 ?0x0000000000000005 (STRTAB) ? ? ? ? ? ? 0x400478 ?0x0000000000000006 (SYMTAB) ? ? ? ? ? ? 0x4002f8 ?0x000000000000000a (STRSZ) ? ? ? ? ? ? ?218 (bytes) ?0x000000000000000b (SYMENT) ? ? ? ? ? ? 24 (bytes) ?0x0000000000000015 (DEBUG) ? ? ? ? ? ? ?0x0 ?0x0000000000000003 (PLTGOT) ? ? ? ? ? ? 0x601000 ?0x0000000000000002 (PLTRELSZ) ? ? ? ? ? 48 (bytes) ?0x0000000000000014 (PLTREL) ? ? ? ? ? ? RELA ?0x0000000000000017 (JMPREL) ? ? ? ? ? ? 0x4005b0 ?0x0000000000000007 (RELA) ? ? ? ? ? ? ? 0x400598 ?0x0000000000000008 (RELASZ) ? ? ? ? ? ? 24 (bytes) ?0x0000000000000009 (RELAENT) ? ? ? ? ? ?24 (bytes) ?0x000000006ffffffe (VERNEED) ? ? ? ? ? ?0x400578 ?0x000000006fffffff (VERNEEDNUM) ? ? ? ? 1 ?0x000000006ffffff0 (VERSYM) ? ? ? ? ? ? 0x400552 ?0x0000000000000000 (NULL) ? ? ? ? ? ? ? 0x0
我們可以在兩臺機器上查看一下到底有沒有庫文件，以及庫文件產(chǎn)出自哪個rpm包：
目標 centos 6機器沒有找到libpython2.7.so.1.0庫文件， 而/lib64/libc.so.6文件版本較低，沒有達到glibc-2.14版本：
[centos 6] # ?whereis libpython2.7.so.1.0 libpython2.7.so.1: [centos 6] # whereis /lib64/libc.so.6 libc.so: /lib/libc.so.6 /lib64/libc.so.6 /usr/lib64/libc.so [centos 6] # rpm -qf /lib64/libc.so.6 glibc-2.12-1.80.el6.x86_64
我們回到centos 7機器看看，可以看到有l(wèi)ibpython2.7.so.1.0這個文件，而且/usr/lib64/libc.so.6的版本也大于glibc-2.14版本。
[centos 7] # whereis libpython2.7.so.1.0 libpython2.7.so.1: /usr/lib64/libpython2.7.so.1.0 [centos 7] # ?rpm -qf /usr/lib64/libpython2.7.so.1.0 python-libs-2.7.5-68.el7.x86_64 [centos 7] # ?whereis /lib64/libc.so.6 libc.so: /usr/lib/libc.so.6 /usr/lib64/libc.so /usr/lib64/libc.so.6 [centos 7] # ?rpm -qf /usr/lib64/libc.so.6 glibc-devel-2.17-260.el7_6.3.x86_64
好了， 我們回歸正題，我們現(xiàn)在要解決上面這些問題。
首先，在centos 7機器上，下載及安裝glibc-2.17:
[centos 7] # wget http://ftp.gnu.org/gnu/glibc/glibc-2.17.tar.xz -O /tmp/ [centos 7] # cd /tmp/; tar xf glibc-2.17.tar.xz; cd /tmp/glibc-2.17 [centos 7] # mkdir build; cd build [centos 7] # ../configure --prefix=/opt/python_venv_test/glibc-217 [centos 7] # make -j4 [centos 7] # make install
以上操作完成后，我們就可以在/opt/python_venv_test/glibc-217目錄下看到glibc-2.17的所有文件都在里面了。然后我們把發(fā)現(xiàn)的不屬于glibc但又需要的庫文件libpython2.7.so.1.0移植進來glibc-2.17的lib目錄里：
[centos 7] # cp -ar /usr/lib64/libpython2.7.so.1.0 /opt/python_venv_test/glibc-217/lib/
除了glibc這個基礎庫，還需要python本身的基礎庫，是運行binary python時需要加載的模塊，比如os等，這個庫一般是在系統(tǒng)的/usr/lib64/python2.7/目錄，我們把它移植到我們的虛擬環(huán)境目錄下(這個地方如果我們本地的/usr/lib64/python2.7 過大，可以考慮起一個可運行干凈的python環(huán)境centos 7虛擬機，把它的/usr/lib64/python2.7拷貝過來，這樣就能保證它是最小的包量)：
[centos 7] # rm -rf /opt/python_venv_test/lib64/python2.7 [centos 7] # cp -ar /usr/lib64/python2.7 /opt/python_venv_test/lib64/python2.7
如果上面這個操作你沒有做，可能就會遇到這樣的報錯:
[centos 7] # ./bin/python
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
ImportError: No module named site
當你把$PYTHONHOME設置完成后，或者會遇到這樣的報錯（總之就是找不到基礎庫文件）：
[centos 7] # ./bin/python
Traceback (most recent call last):
File "/home/zhaoqiang09/bsc_python_venv.b/lib64/python2.7/site.py", line 190, in <module>
main()
File "/home/zhaoqiang09/bsc_python_venv.b/lib64/python2.7/site.py", line 18, in main
rewrite_standard_library_sys_path()
File "/home/zhaoqiang09/bsc_python_venv.b/lib64/python2.7/site.py", line 97, in rewrite_standard_library_sys_path
import os
ImportError: No module named os
改寫環(huán)境加載文件/opt/python_venv_test/pyvenv.cfg，這樣我們就不需要依賴移植后目標centos 6系統(tǒng)本身的lib庫了，以免造成版本沖突：
home = /opt/python_venv_test/ implementation = CPython version_info = 2.7.5.final.0 virtualenv = 20.13.0 include-system-site-packages = false base-prefix = /opt/python_venv_test/ base-exec-prefix = /usr base-executable = /opt/python_venv_test/bin/python
我們還得改寫一下/opt/python_venv_test/bin/activate 文件，這個文件是我們在移植后目標centos 6系統(tǒng)加載python虛擬環(huán)境的入口，我們在這里面加一條對LD_LIBRARY_PATH環(huán)境變量的局部重寫（紅色字體部分，第一條是為了退出環(huán)境變量時，下掉alias的綁定，第二條是開始加載activate環(huán)境時對LD_LIBRARY_PATH環(huán)境變量的局部重寫）：·
··········
deactivate () {
? ? unalias python >/dev/null 2>&1
? ? unset -f pydoc >/dev/null 2>&1 || true
·············
# Make sure to unalias pydoc if it's already there
alias pydoc 2>/dev/null >/dev/null && unalias pydoc || true
alias python="${VIRTUAL_ENV}/glibc-217/lib/ld-2.17.so --library-path ${VIRTUAL_ENV}/glibc-217/lib:/lib64 ${VIRTUAL_ENV}/bin/python"
·················然后，我們就可以打包了：
[centos 7] # cd /opt/ [centos 7] # tar -czf python_venv_test.tar.gz python_venv_test
移植包到目標Centos 6系統(tǒng)上執(zhí)行
首先在centos 7 系統(tǒng)上我們scp壓縮包到目標機器
[centos 7] # cd /opt/ [centos 7] # scp python_venv_test.tar.gz root@centos_6:/opt/python_venv_test.tar.gz
然后我們在centos 6上解壓壓縮包：
[centos 6] # cd /opt/ [centos 6] # tar xf python_venv_test.tar.gz
這時候就可以虛擬環(huán)境目錄運行python了
[centos 6] # cd /opt/python_venv_test [centos 6] # souce bin/bin/activate [centos 6] # python Python 2.7.5 (default, Apr 11 2018, 07:36:10) [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>>
我們要擴充一些第三方擴展包
回到centos7機器
搬遷新增的flask、requests、psutil等第三方庫
我們還是先回到我們的虛擬環(huán)境目錄/opt/python_venv_test下面，先使用bin目錄下的pip安裝flask
# ./bin/pip install flask requests psutil
打壓縮包，并拷貝壓縮包到centos 6目標系統(tǒng)上
cd /opt/ tar -czf python_venv_test.tar.gz python_venv_test/ [centos 7] # scp python_venv_test.tar.gz root@centos_6:/opt/python_venv_test.tar.gz
回到centos6 機器上，解壓縮包，并運行python看看有沒有什么問題
cd /opt/python_venv_test/ # source bin/activate # python Python 2.7.5 (default, Apr 11 2018, 07:36:10) [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> import flask bash: /opt/bsc_python_venv/glibc-217/lib/libssl.so.10: No such file or directory
報錯顯示缺少libssl.so.10文件，我們看看這個文件分別在兩臺測試機的哪里：
centos 6機器情況：
# whereis libssl.so.10 ld-2.17:
centos 7機器情況，并且要確定的是它不是一個軟鏈接：
# whereis libssl.so.10 libssl.so: /usr/lib64/libssl.so.10 /usr/lib64/libssl.so # ll -d /usr/lib64/libssl.so.10 lrwxrwxrwx 1 root root 16 Jan 21 ?2021 /usr/lib64/libssl.so.10 -> libssl.so.1.0.2k # ll -d /usr/lib64/libssl.so.1.0.2k -rwxr-xr-x 1 root root 470360 Mar 12 ?2019 /usr/lib64/libssl.so.1.0.2k
我們再把centos7 的 /usr/lib64/libssl.so.1.0.2k 這個文件給放到虛擬環(huán)境glibc-217目錄，然后做成壓縮包，傳到centos6機器上，再來試試
# cp -ar /usr/lib64/libssl.so.1.0.2k /opt/python_venv_test/glibc-217/lib/libssl.so.10 # cd /opt/ # tar -czf python_venv_test.tar.gz python_venv_test/ [centos 7] # scp python_venv_test.tar.gz root@centos_6:/opt/python_venv_test.tar.gz
我們再在centos 6的機器上把原來的文件刪除，解壓縮，再試試import flask、requests、psutil這三個庫文件，就不會再報剛才那個錯了:
cd /opt/python_venv_test/ # source bin/activate # python Python 2.7.5 (default, Apr 11 2018, 07:36:10) [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> import flask >>> import requests >>> import psutil
結(jié)束！
本文設計的內(nèi)容較多，如果有一些細節(jié)不太懂的地方，建議自行搜索，再回來反復查看本文檔。
到此這篇關于Python venv虛擬環(huán)境跨設備遷移的實現(xiàn)的文章就介紹到這了,更多相關Python venv遷移內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
切片的作用就是截取序列對象，然而，對于非序列對象，我們是否有辦法做到切片操作呢？在使用切片的過程中，有什么要點值得重視，又有什么底層原理值得關注呢？本文將主要跟大家一起來探討這些內(nèi)容2019-02-02
這篇文章主要介紹了Pyinstaller加密打包應用的示例代碼，代碼簡單易懂，非常不錯，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-06-06
在日常爬蟲練習中，我們爬取到的數(shù)據(jù)需要進行保存操作，在scrapy中我們可以使用ImagesPipeline這個類來進行相關操作，本文主要介紹了scrapy下載保存圖片，感興趣的可以了解一下2021-07-07
這篇文章主要介紹了pyCharm中python對象的自動提示方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
python基于socketserver實現(xiàn)并發(fā),驗證客戶端的合法性
TCP協(xié)議的socket一次只能和一個客戶端通信, 而socketsever可以時間和多個客戶端通信。本文將講解socketserver的具體使用2021-05-05
python中關于CIFAR10數(shù)據(jù)集的使用
這篇文章主要介紹了python中關于CIFAR10數(shù)據(jù)集的使用方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
這篇文章主要為大家詳細介紹了用python實現(xiàn)打磚塊小游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-05-05
。二分查找是一種在有序列表中查找某一特定元素的搜索算法，bisect?庫是?Python?標準庫中的一部分，它提供了二分查找的功能，這篇文章主要介紹了Python?二分查找之bisect庫的使用,需要的朋友可以參考下2023-03-03
這篇文章主要為大家介紹了Python之可迭代對象,迭代器和生成器，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
Python Pygame實戰(zhàn)之實現(xiàn)經(jīng)營類游戲夢想小鎮(zhèn)代碼版
作為一名模擬經(jīng)營類游戲的發(fā)燒友，各種農(nóng)場類、醫(yī)院類、鐵路類的游戲玩兒了很多年。今天用代碼給大家打造一款夢想小鎮(zhèn)游戲，希望大家喜歡啦2022-12-12