Python探針完成調(diào)用庫(kù)的數(shù)據(jù)提取
1.簡(jiǎn)單粗暴的方法--對(duì)mysql庫(kù)進(jìn)行封裝
要統(tǒng)計(jì)一個(gè)執(zhí)行過(guò)程, 就需要知道這個(gè)執(zhí)行過(guò)程的開(kāi)始位置和結(jié)束位置, 所以最簡(jiǎn)單粗暴的方法就是基于要調(diào)用的方法進(jìn)行封裝,在框架調(diào)用MySQL庫(kù)和MySQL庫(kù)中間實(shí)現(xiàn)一個(gè)中間層, 在中間層完成耗時(shí)統(tǒng)計(jì),如:
# 偽代碼
def my_execute(conn, sql, param):
# 針對(duì)MySql庫(kù)的統(tǒng)計(jì)封裝組件
with MyTracer(conn, sql, param):
# 以下為正常使用MySql庫(kù)的代碼
with conn.cursor as cursor:
?cursor.execute(sql, param)
...看樣子實(shí)現(xiàn)起來(lái)非常不錯(cuò), 而且更改非常方便, 但由于是在最頂層的API上進(jìn)行修改, 其實(shí)是非常不靈活的, 同時(shí)在cursor.execute里會(huì)進(jìn)行一些預(yù)操作, 如把sql和param進(jìn)行拼接, 調(diào)用nextset清除當(dāng)前游標(biāo)的數(shù)據(jù)等等。我們最后拿到的數(shù)據(jù)如時(shí)間耗時(shí)也是不準(zhǔn)確的, 同時(shí)也沒(méi)辦法得到一些詳細(xì)的元數(shù)據(jù), 如錯(cuò)誤碼等等.
如果要拿到最直接有用的數(shù)據(jù),就只能去改源代碼, 然后再調(diào)用源代碼了, 但是如果每個(gè)庫(kù)都需要改源代碼才能統(tǒng)計(jì), 那也太麻煩了, 好在Python也提供了一些類(lèi)似探針的接口, 可以通過(guò)探針把庫(kù)的源碼進(jìn)行替換完成我們的代碼.
2.Python的探針
在Python中可以通過(guò)sys.meta_path來(lái)實(shí)現(xiàn)import hook的功能, 當(dāng)執(zhí)行 import 相關(guān)操作時(shí), 會(huì)根據(jù)sys.meta_path定義的對(duì)象對(duì)import相關(guān)庫(kù)進(jìn)行更改.sys.meta_path中的對(duì)象需要實(shí)現(xiàn)一個(gè)find_module方法, 這個(gè)find_module方法返回None或一個(gè)實(shí)現(xiàn)了load_module方法的對(duì)象, 我們可以通過(guò)這個(gè)對(duì)象, 針對(duì)一些庫(kù)在import時(shí), 把相關(guān)的方法進(jìn)行替換, 簡(jiǎn)單用法如下,通過(guò)hooktime.sleep讓他在sleep的時(shí)候能打印消耗的時(shí)間.
import importlib
import sys
from functools import wraps
def func_wrapper(func):
"""這里通過(guò)一個(gè)裝飾器來(lái)達(dá)到貍貓換太子和獲取數(shù)據(jù)的效果"""
@wraps(func)
def wrapper(*args, **kwargs):
# 記錄開(kāi)始時(shí)間
start = time.time()
result = func(*args, **kwargs)
# 統(tǒng)計(jì)消耗時(shí)間
end = time.time()
print(f"speed time:{end - start}")
return result
return wrapper
class MetaPathFinder:
def find_module(self, fullname, path=None):
# 執(zhí)行時(shí)可以看出來(lái)在import哪些模塊
print(f'find module:{path}:{fullname}')
return MetaPathLoader()
class MetaPathLoader:
def load_module(self, fullname):
# import的模塊都會(huì)存放在sys.modules里面, 通過(guò)判斷可以減少重復(fù)import
if fullname in sys.modules:
return sys.modules[fullname]
# 防止遞歸調(diào)用
finder = sys.meta_path.pop(0)
# 導(dǎo)入 module
module = importlib.import_module(fullname)
if fullname == 'time':
# 替換函數(shù)
module.sleep = func_wrapper(module.sleep)
sys.meta_path.insert(0, finder)
return module
sys.meta_path.insert(0, MetaPathFinder())
if __name__ == '__main__':
import time
time.sleep(1)
# 輸出示例:
# find module:datetime
# find module:time
# load module:time
# find module:math
# find module:_datetime
# speed time:1.000733852386474683.制作探針模塊
了解完了主要流程后, 可以開(kāi)始制作自己的探針模塊了, 由于示例只涉及到aiomysql模塊, 那么在MetaPathFinder.find_module中需要只對(duì)aiomysql模塊進(jìn)行處理, 其他的先忽略. 然后我們需要確定我們要把a(bǔ)iomysql的哪個(gè)功能給替換, 從業(yè)務(wù)上來(lái)說(shuō), 一般情況下我們只要cursor.execute, cursor.fetchone, cursor.fetchall, cursor.executemany這幾個(gè)主要的操作,所以需要深入cursor看看如何去更改代碼, 后者重載哪個(gè)函數(shù).
先cursor.execute的源碼(cursor.executemanay也類(lèi)似), 發(fā)現(xiàn)會(huì)先調(diào)用self.nextset的方法, 把上個(gè)請(qǐng)求的數(shù)據(jù)先拿完, 再合并sql語(yǔ)句, 最后通過(guò)self._query進(jìn)行查詢(xún):
async def execute(self, query, args=None):
"""Executes the given operation
Executes the given operation substituting any markers with
the given parameters.
For example, getting all rows where id is 5:
cursor.execute("SELECT * FROM t1 WHERE id = %s", (5,))
:param query: ``str`` sql statement
:param args: ``tuple`` or ``list`` of arguments for sql query
:returns: ``int``, number of rows that has been produced of affected
"""
conn = self._get_db()
while (await self.nextset()):
pass
if args is not None:
query = query % self._escape_args(args, conn)
await self._query(query)
self._executed = query
if self._echo:
logger.info(query)
logger.info("%r", args)
return self._rowcount再看cursor.fetchone的源碼(cursor.fetchall也類(lèi)似), 發(fā)現(xiàn)其實(shí)是從緩存中獲取數(shù)據(jù),
這些數(shù)據(jù)在執(zhí)行cursor.execute中就已經(jīng)獲取了:
def fetchone(self):
"""Fetch the next row """
self._check_executed()
fut = self._loop.create_future()
if self._rows is None or self._rownumber >= len(self._rows):
fut.set_result(None)
return fut
result = self._rows[self._rownumber]
self._rownumber += 1
fut = self._loop.create_future()
fut.set_result(result)
return fut綜合上面的分析, 我們只要對(duì)核心的方法self._query進(jìn)行重載即可拿到我們要的數(shù)據(jù), 從源碼中我們可以知道, 我們能獲取到傳入self._query的self和sql參數(shù), 根據(jù)self又能獲取到查詢(xún)的結(jié)果, 同時(shí)我們通過(guò)裝飾器能獲取到運(yùn)行的時(shí)間, 要的數(shù)據(jù)基本都到齊了,
按照思路修改后的代碼如下:
import importlib
import time
import sys
from functools import wraps
from typing import cast, Any, Callable, Optional, Tuple, TYPE_CHECKING
from types import ModuleType
if TYPE_CHECKING:
import aiomysql
def func_wrapper(func: Callable):
@wraps(func)
async def wrapper(*args, **kwargs) -> Any:
start: float = time.time()
func_result: Any = await func(*args, **kwargs)
end: float = time.time()
# 根據(jù)_query可以知道, 第一格參數(shù)是self, 第二個(gè)參數(shù)是sql
self: aiomysql.Cursor = args[0]
sql: str = args[1]
# 通過(guò)self,我們可以拿到其他的數(shù)據(jù)
db: str = self._connection.db
user: str = self._connection.user
host: str = self._connection.host
port: str = self._connection.port
execute_result: Tuple[Tuple] = self._rows
# 可以根據(jù)自己定義的agent把數(shù)據(jù)發(fā)送到指定的平臺(tái), 然后我們就可以在平臺(tái)上看到對(duì)應(yīng)的數(shù)據(jù)或進(jìn)行監(jiān)控了,
# 這里只是打印一部分?jǐn)?shù)據(jù)出來(lái)
print({
"sql": sql,
"db": db,
"user": user,
"host": host,
"port": port,
"result": execute_result,
"speed time": end - start
})
return func_result
return cast(Callable, wrapper)
class MetaPathFinder:
@staticmethod
def find_module(fullname: str, path: Optional[str] = None) -> Optional["MetaPathLoader"]:
if fullname == 'aiomysql':
# 只有aiomysql才進(jìn)行hook
return MetaPathLoader()
else:
return None
class MetaPathLoader:
@staticmethod
def load_module(fullname: str):
if fullname in sys.modules:
return sys.modules[fullname]
# 防止遞歸調(diào)用
finder: "MetaPathFinder" = sys.meta_path.pop(0)
# 導(dǎo)入 module
module: ModuleType = importlib.import_module(fullname)
# 針對(duì)_query進(jìn)行hook
module.Cursor._query = func_wrapper(module.Cursor._query)
sys.meta_path.insert(0, finder)
return module
async def test_mysql() -> None:
import aiomysql
pool: aiomysql.Pool = await aiomysql.create_pool(
host='127.0.0.1', port=3306, user='root', password='123123', db='mysql'
)
async with pool.acquire() as conn:
async with conn.cursor() as cur:
await cur.execute("SELECT 42;")
(r,) = await cur.fetchone()
assert r == 42
pool.close()
await pool.wait_closed()
if __name__ == '__main__':
sys.meta_path.insert(0, MetaPathFinder())
import asyncio
asyncio.run(test_mysql())
# 輸出示例:
# 可以看出sql語(yǔ)句與我們輸入的一樣, db, user, host, port等參數(shù)也是, 還能知道執(zhí)行的結(jié)果和運(yùn)行時(shí)間
# {'sql': 'SELECT 42;', 'db': 'mysql', 'user': 'root', 'host': '127.0.0.1', 'port': 3306, 'result': ((42,),), 'speed time': 0.00045609474182128906}這個(gè)例子看來(lái)很不錯(cuò), 但是需要在調(diào)用的入口處顯式調(diào)用該邏輯, 通常一個(gè)項(xiàng)目可能有幾個(gè)入口, 每個(gè)入口都顯示調(diào)用該邏輯會(huì)非常麻煩, 而且必須先調(diào)用我們的hook邏輯后才能import, 這樣就得訂好引入規(guī)范, 不然就可能出現(xiàn)部分地方hook不成功, 如果能把引入hook這個(gè)邏輯安排在解析器啟動(dòng)后馬上執(zhí)行, 就可以完美地解決這個(gè)問(wèn)題了. 查閱了一翻資料后發(fā)現(xiàn),python解釋器初始化的時(shí)候會(huì)自動(dòng)import PYTHONPATH下存在的sitecustomize和usercustomize模塊, 我們只要?jiǎng)?chuàng)建該模塊, 并在模塊里面寫(xiě)入我們的 替換函數(shù)即可。
. ├── __init__.py ├── hook_aiomysql.py ├── sitecustomize.py └── test_auto_hook.py
hook_aiomysql.py是我們制作探針的代碼為例子, 而sitecustomize.py存放的代碼如下, 非常簡(jiǎn)單, 就是引入我們的探針代碼, 并插入到sys.meta_path:
import sys from hook_aiomysql import MetaPathFinder sys.meta_path.insert(0, MetaPathFinder())
test_auto_hook.py則是測(cè)試代碼:
import asyncio from hook_aiomysql import test_mysql asyncio.run(test_mysql())
接下來(lái)只要設(shè)置PYTHONPATH并運(yùn)行我們的代碼即可(如果是項(xiàng)目的話一般交由superisor啟動(dòng),則可以在配置文件中設(shè)置好PYTHONPATH):
(.venv) ? python_hook git:(master) ? export PYTHONPATH=.
(.venv) ? python_hook git:(master) ? python test_auto_hook.py
{'sql': 'SELECT 42;', 'db': 'mysql', 'user': 'root', 'host': '127.0.0.1', 'port': 3306, 'result': ((42,),), 'speed time': 0.000213623046875}4.直接替換方法
可以看到上面的方法很好的運(yùn)行了, 而且可以很方便的嵌入到我們的項(xiàng)目中, 但是依賴(lài)與sitecustomize.py文件很難讓他抽離成一個(gè)第三方的庫(kù), 如果要抽離成第三方的庫(kù)就得考慮看看有沒(méi)有其他的方法。在上面介紹MetaPathLoader時(shí)說(shuō)到了sys.module, 在里面通過(guò)sys.modules來(lái)減少重復(fù)引入:
class MetaPathLoader:
def load_module(self, fullname):
# import的模塊都會(huì)存放在sys.modules里面, 通過(guò)判斷可以減少重復(fù)import
if fullname in sys.modules:
return sys.modules[fullname]
# 防止遞歸調(diào)用
finder = sys.meta_path.pop(0)
# 導(dǎo)入 module
module = importlib.import_module(fullname)
if fullname == 'time':
# 替換函數(shù)
module.sleep = func_wrapper(module.sleep)
sys.meta_path.insert(0, finder)
return module這個(gè)減少重復(fù)引入的原理是, 每次引入一個(gè)模塊后, 他就會(huì)存放在sys.modules, 如果是重復(fù)引入, 就會(huì)直接刷新成最新引入的模塊。上面之所以會(huì)考慮到減少重復(fù)import是因?yàn)槲覀儾粫?huì)在程序運(yùn)行時(shí)升級(jí)第三方庫(kù)的依賴(lài)。利用到我們可以不考慮重復(fù)引入同名不同實(shí)現(xiàn)的模塊, 以及sys.modules會(huì)緩存引入模塊的特點(diǎn), 我們可以把上面的邏輯簡(jiǎn)化成引入模塊->替換當(dāng)前模塊方法為我們修改的hook方法。
import time
from functools import wraps
from typing import Any, Callable, Tuple, cast
import aiomysql
def func_wrapper(func: Callable):
"""和上面一樣的封裝函數(shù), 這里簡(jiǎn)單略過(guò)"""
# 判斷是否hook過(guò)
_IS_HOOK: bool = False
# 存放原來(lái)的_query
_query: Callable = aiomysql.Cursor._query
# hook函數(shù)
def install_hook() -> None:
_IS_HOOK = False
if _IS_HOOK:
return
aiomysql.Cursor._query = func_wrapper(aiomysql.Cursor._query)
_IS_HOOK = True
# 還原到原來(lái)的函數(shù)方法
def reset_hook() -> None:
aiomysql.Cursor._query = _query
_IS_HOOK = False代碼簡(jiǎn)單明了,接下來(lái)跑一跑剛才的測(cè)試:
import asyncio
import aiomysql
from demo import install_hook, reset_hook
async def test_mysql() -> None:
pool: aiomysql.Pool = await aiomysql.create_pool(
host='127.0.0.1', port=3306, user='root', password='', db='mysql'
)
async with pool.acquire() as conn:
async with conn.cursor() as cur:
await cur.execute("SELECT 42;")
(r,) = await cur.fetchone()
assert r == 42
pool.close()
await pool.wait_closed()
print("install hook")
install_hook()
asyncio.run(test_mysql())
print("reset hook")
reset_hook()
asyncio.run(test_mysql())
print("end")通過(guò)測(cè)試輸出可以發(fā)現(xiàn)我們的邏輯的正確的, install hook后能出現(xiàn)我們提取的元信息, 而reset后則不會(huì)打印原信息
install hook
{'sql': 'SELECT 42;', 'db': 'mysql', 'user': 'root', 'host': '127.0.0.1', 'port': 3306, 'result': ((42,),), 'speed time': 0.000347137451171875}
reset hook
end5.總結(jié)
得益于Python動(dòng)態(tài)語(yǔ)言的特性, 我們可以很容易的為第三方庫(kù)實(shí)現(xiàn)鉤子方法,上面說(shuō)的兩種方法中, 第二種方法非常簡(jiǎn)單, 但在自己項(xiàng)目中最好還是采用第一種方法, 因?yàn)镻ython是通過(guò)一行一行代碼進(jìn)行掃描執(zhí)行的, 第二種方法只能放在入口代碼中, 并且要在被hook的對(duì)象實(shí)例化之前執(zhí)行, 不然就會(huì)實(shí)現(xiàn)hook失敗的現(xiàn)象, 而第一種方法除了麻煩外,基本上能躲避所有坑。
到此這篇關(guān)于Python探針完成調(diào)用庫(kù)的數(shù)據(jù)提取的文章就介紹到這了,更多相關(guān) Python探針 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
一文解密Python中_getattr_和_getattribute_的用法與區(qū)別
這篇文章主要為大家詳細(xì)介紹了Python中_getattr_和_getattribute_的用法與區(qū)別,文中通過(guò)一些簡(jiǎn)單的示例為大家進(jìn)行了講解,需要的可以參考一下2023-01-01
python實(shí)現(xiàn)堆棧與隊(duì)列的方法
這篇文章主要介紹了python實(shí)現(xiàn)堆棧與隊(duì)列的方法,包含了堆棧與隊(duì)列的定義方法及常用操作,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-01-01
在python中利用try..except來(lái)代替if..else的用法
今天小編就為大家分享一篇在python中利用try..except來(lái)代替if..else的用法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
python3+selenium獲取頁(yè)面加載的所有靜態(tài)資源文件鏈接操作
這篇文章主要介紹了python3+selenium獲取頁(yè)面加載的所有靜態(tài)資源文件鏈接操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
Python 中的Selenium異常處理實(shí)例代碼
本文通過(guò)實(shí)例代碼給大家介紹了Python 中的Selenium異常處理的相關(guān)知識(shí),非常不錯(cuò),具有參考借鑒價(jià)值,需要的朋友參考下吧2018-05-05
使用Python對(duì)MySQL數(shù)據(jù)操作
本文介紹Python3使用PyMySQL連接數(shù)據(jù)庫(kù),并實(shí)現(xiàn)簡(jiǎn)單的增刪改查。具有很好的參考價(jià)值。下面跟著小編一起來(lái)看下吧2017-04-04

