使用Python構(gòu)造hive insert語句說明
mysql可以使用nevicat導(dǎo)出insert語句用于數(shù)據(jù)構(gòu)造，但是hive無法直接導(dǎo)出insert語句。我們可以先打印在hive命令行，然后使用腳本拼裝成insert語句，進(jìn)行數(shù)據(jù)構(gòu)造。
手動copy到python腳本進(jìn)行sql語句構(gòu)造：
def transformString(s): list_s = s.split('\t') print(len(list_s)) s_new = '' for item in list_s: s_new += '\"' + item.strip(' ') + '\"' + ',' return str(s_new.rstrip(','))# 為手動copy hive命令行打印輸出的記錄s = "555 helloworld"s_new = transformString(s)sql = 'insert into dw.test PARTITION (ymd = \'2019-03-18\') values({});'.format(s_new)print(sql)結(jié)果：
insert into dw.test PARTITION (ymd = '2019-03-18') values("555","helloworld");
補(bǔ)充知識：python向hive插入數(shù)據(jù)遇到的坑
因項目需求，應(yīng)用python建模需要通過hive取數(shù)，并將結(jié)果寫入hive表。
嘗試了以下幾條坑爹路，僅做記錄如下：
通過impyla庫搭建hive與python橋梁
1.1 環(huán)境配置的坑（回頭放連接）
注: 遠(yuǎn)程訪問hive一定要記得配置賬號密碼?。?！報錯：。。。-4.。。
1.2 一定不要用impyla中的executemany去批量插入數(shù)據(jù)，也不要用其他的方式向hive插入數(shù)據(jù)，都是坑！奇慢無比！找資料也都是說不建議這么做。
長途跋涉hdfs法
2.1 先用python的pyhdfs庫將結(jié)果寫成hdfs文件，然后。。。尼瑪?。「緵]成功連上服務(wù)器的hdfs，本地hdfs到是可以的
2.2 那既然寫hdfs，我就直接將模型結(jié)果通過hadoop/hdfs命令上傳至hdfs。然后， 通過hive命令load data將hdfs中的結(jié)果再導(dǎo)入hive。雖然有點繞，但是成功了?。?！BUT?。。⌒⌒值?，這個直接操作HDFS風(fēng)險太高了，要不你還是另尋他法吧，不可以拒絕哦?。?！
2.3 好吧，根據(jù)建議，使用kafka，抱歉這個坑后面再來踩。
2.4 臨時處理方案：先將結(jié)果寫入mysql，再轉(zhuǎn)入hive，這個沒有坑，具體我也只是寫到mysql，無坑。。就是有點繞。。。
以上這篇使用Python構(gòu)造hive insert語句說明就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Pytorch GPU內(nèi)存占用很高,但是利用率很低如何解決
這篇文章主要介紹了Pytorch GPU內(nèi)存占用很高,但是利用率很低的原因及解決方法，具有很好的參考價值，希望對大家 有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-06-06
這篇文章主要介紹了用python爬蟲批量下載pdf的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
這篇文章主要介紹了解決jupyter 在瀏覽器中 代碼不執(zhí)行的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
Matplotlib繪圖基礎(chǔ)之文本標(biāo)注詳解
Matplotlib?文本和標(biāo)注可以為數(shù)據(jù)和圖形之間提供額外的信息，幫助觀察者更好地理解數(shù)據(jù)和圖形的含義，下面就將通過示例依次介紹文本和標(biāo)注的常用使用方式2023-08-08
python正則表達(dá)式及使用正則表達(dá)式的例子
正則表達(dá)是用來匹配字符串，這篇文章給大家介紹了python正則表達(dá)式及正則表達(dá)式的例子，文章給大家提到了正則表達(dá)式語法規(guī)則，感興趣的朋友一起看看吧2018-01-01
Python實現(xiàn)自動打開電腦應(yīng)用的示例代碼
這篇文章主要介紹了Python實現(xiàn)自動打開電腦應(yīng)用的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
Python安全獲取域管理員權(quán)限幾種方式操作示例
在不考慮直接攻擊域控的情況下，如何快速獲取域管理員權(quán)限呢？本文分享幾種常見的獲取域管理員權(quán)限的方式，有需要的朋友可以借鑒參考下2021-10-10
在當(dāng)今這個人手一個?Web?服務(wù)的年代，GUI?程序還是沒有?Web?服務(wù)來的香啊。所以本文將用Python制作一個簡單的股票K線圖網(wǎng)站，感興趣的可以了解一下2022-09-09
OpenCV學(xué)習(xí)之圖像加噪與濾波的實現(xiàn)詳解
這篇文章主要為大家詳細(xì)介紹了OpenCV中圖像的加噪與濾波操作的相關(guān)資料，文中的示例代碼簡潔易懂，具有一定的借鑒價值，需要的可以參考一下2023-02-02
python中property屬性的介紹及其應(yīng)用詳解
這篇文章主要介紹了python中property屬性的介紹及其應(yīng)用詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-08-08