Python使用Pandas庫實現(xiàn)MySQL數(shù)據庫讀寫

更新時間：2023年08月07日 09:53:40 作者：jclian91

本次分享將介紹如何在Python中使用Pandas庫實現(xiàn)MySQL數(shù)據庫的讀寫,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪

ORM技術

本次分享將介紹如何在Python中使用Pandas庫實現(xiàn)MySQL數(shù)據庫的讀寫。首先我們需要了解點ORM方面的知識。

對象關系映射技術，即ORM（Object-Relational Mapping）技術，指的是把關系數(shù)據庫的表結構映射到對象上，通過使用描述對象和數(shù)據庫之間映射的元數(shù)據，將程序中的對象自動持久化到關系數(shù)據庫中。在Python中，最有名的ORM框架是SQLAlchemy。Java中典型的ORM中間件有:Hibernate,ibatis,speedframework。

SQLAlchemy

SQLAlchemy是Python編程語言下的一款開源軟件。提供了SQL工具包及對象關系映射（ORM）工具，使用MIT許可證發(fā)行?？梢允褂胮ip命令安裝SQLAlchemy模塊：

pip install sqlalchemy

SQLAlchemy模塊提供了create_engine()函數(shù)用來初始化數(shù)據庫連接，SQLAlchemy用一個字符串表示連接信息：

'數(shù)據庫類型+數(shù)據庫驅動名稱://用戶名:口令@機器地址:端口號/數(shù)據庫名'

Pandas讀寫MySQL數(shù)據庫

我們需要以下三個庫來實現(xiàn)Pandas讀寫MySQL數(shù)據庫：

pandas
sqlalchemy
pymysql

其中，pandas模塊提供了read_sql_query（）函數(shù)實現(xiàn)了對數(shù)據庫的查詢，to_sql（）函數(shù)實現(xiàn)了對數(shù)據庫的寫入，并不需要實現(xiàn)新建MySQL數(shù)據表。sqlalchemy模塊實現(xiàn)了與不同數(shù)據庫的連接，而pymysql模塊則使得Python能夠操作MySQL數(shù)據庫。我們將使用MySQL數(shù)據庫中的mydb數(shù)據庫以及employee表，內容如下：

下面將介紹一個簡單的例子來展示如何在pandas中實現(xiàn)對MySQL數(shù)據庫的讀寫：

# -*- coding: utf-8 -*-
# 導入必要模塊
import pandas as pd
from sqlalchemy import create_engine
# 初始化數(shù)據庫連接，使用pymysql模塊
# MySQL的用戶：root, 密碼:147369, 端口：3306,數(shù)據庫：mydb
engine = create_engine('mysql+pymysql://root:147369@localhost:3306/mydb')
# 查詢語句，選出employee表中的所有數(shù)據
sql = '''
select * from employee;
'''
# read_sql_query的兩個參數(shù): sql語句， 數(shù)據庫連接
df = pd.read_sql_query(sql, engine)
# 輸出employee表的查詢結果
print(df)
# 新建pandas中的DataFrame, 只有id,num兩列
df = pd.DataFrame({'id':[1,2,3,4],'num':[12,34,56,89]})
# 將新建的DataFrame儲存為MySQL中的數(shù)據表，不儲存index列
df.to_sql('mydf', engine, index= False)
print('Read from and write to Mysql table successfully!')

程序的運行結果如下：

在MySQL中查看mydf表格：

這說明我們確實將pandas中新建的DataFrame寫入到了MySQL中！

將CSV文件寫入到MySQL中

以上的例子實現(xiàn)了使用Pandas庫實現(xiàn)MySQL數(shù)據庫的讀寫，我們將再介紹一個實例：將CSV文件寫入到MySQL中，示例的mpg.CSV文件前10行如下：

示例的Python代碼如下：

# -*- coding: utf-8 -*-
# 導入必要模塊
import pandas as pd
from sqlalchemy import create_engine
# 初始化數(shù)據庫連接，使用pymysql模塊
engine = create_engine('mysql+pymysql://root:147369@localhost:3306/mydb')
# 讀取本地CSV文件
df = pd.read_csv("E://mpg.csv", sep=',')
# 將新建的DataFrame儲存為MySQL中的數(shù)據表，不儲存index列
df.to_sql('mpg', engine, index= False)
print("Write to MySQL successfully!")

在MySQL中查看mpg表格：