python 操作hive pyhs2方式
使用kerberos時
import pyhs2 class HiveClient: # 初始化 def __init__(self, db_host, user, password, database, port=10000, authMechanism="PLAIN", configuration=None): self.conn = pyhs2.connect(host=db_host, port=port, authMechanism=authMechanism, user=user, password=password, database=database, configuration=configuration, ) # 查詢方法 def query(self, sql): with self.conn.cursor() as cursor: cursor.execute(sql) return cursor.fetch() def close(self): self.conn.close() def getHiveData(sql): config = {"mapreduce.job.queuename": "default", 'krb_host': 'hiveserve2ip', 'krb_service': 'hive'} hive_client = HiveClient(db_host='hiveserve2ip', port=10000, user='user@kdc.com', password='hive', database='dw.usee', authMechanism='KERBEROS', configuration=config) print sql result = hive_client.query(sql) return result
Could not start SASL: Error in sasl_client_start (-1) SASL(-1)
安裝
yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi
pyhs2 安裝 sasl問題
yum install cyrus-sasl-devel yum install cyrus-sasl-lib yum install libgsasl-devel yum install saslwrapper
對接superset hive kerberos
SQLAlchemy URI
hive://herverser2ip:10000/db
擴展 連接參數(shù)
{ "metadata_params": {}, "engine_params": { "connect_args": { "auth": "KERBEROS", "kerberos_service_name": "hive", "username" : "user@KDC.COM" } } }
以上這篇python 操作hive pyhs2方式就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
python中使用pymssql庫操作MSSQL數(shù)據(jù)庫
這篇文章主要給大家介紹了關(guān)于python中使用pymssql庫操作MSSQL數(shù)據(jù)庫的相關(guān)資料,最近在學(xué)習(xí)python,發(fā)現(xiàn)好像沒有對pymssql的詳細(xì)說明,于是乎把官方文檔學(xué)習(xí)一遍,重要部分做個歸檔,方便以后查閱,需要的朋友可以參考下2023-08-08利用pandas如何實現(xiàn)類似sql中的left join操作
這篇文章主要介紹了利用pandas如何實現(xiàn)類似sql中的left join操作,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2023-06-06Pycharm Available Package無法顯示/安裝包的問題Error Loading Package Li
這篇文章主要介紹了Pycharm Available Package無法顯示/安裝包的問題Error Loading Package List解決,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09pytorch讀取圖像數(shù)據(jù)轉(zhuǎn)成opencv格式實例
這篇文章主要介紹了pytorch讀取圖像數(shù)據(jù)轉(zhuǎn)成opencv格式實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06Python對象與json數(shù)據(jù)的轉(zhuǎn)換問題實例詳解
JSON(JavaScript?Object?Notation)?是一種輕量級的數(shù)據(jù)交換格式,很受廣大用戶喜愛,今天通過本文給大家介紹Python對象與json數(shù)據(jù)的轉(zhuǎn)換問題,需要的朋友可以參考下2022-07-07Django文件存儲 默認(rèn)存儲系統(tǒng)解析
這篇文章主要介紹了Django文件存儲 默認(rèn)存儲系統(tǒng)解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-08-08