快捷導(dǎo)航

對python操作kafka寫入json數(shù)據(jù)的簡單demo分享

更新時間：2018年12月27日 10:00:23 作者：Liu-YanLin

今天小編就為大家分享一篇對python操作kafka寫入json數(shù)據(jù)的簡單demo，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

如下所示：

安裝kafka支持庫pip install kafka-python

from kafka import KafkaProducer
import json
 
'''
 生產(chǎn)者demo
 向test_lyl2主題中循環(huán)寫入10條json數(shù)據(jù)
 注意事項(xiàng)：要寫入json數(shù)據(jù)需加上value_serializer參數(shù)，如下代碼
'''
producer = KafkaProducer(
       value_serializer=lambda v: json.dumps(v).encode('utf-8'),
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667']
       )
for i in range(10):
 data={
  "name":"李四",
  "age":23,
  "gender":"男",
  "id":i
 }
 producer.send('test_lyl2', data)
producer.close()

from kafka import KafkaConsumer
import json
 
'''
 消費(fèi)者demo
 消費(fèi)test_lyl2主題中的數(shù)據(jù)
 注意事項(xiàng)：如需以json格式讀取數(shù)據(jù)需加上value_deserializer參數(shù)
'''
 
 
consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1",
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'],
       auto_offset_reset='earliest',value_deserializer=json.loads
       )
for message in consumer:
 print(message.value)

以上這篇對python操作kafka寫入json數(shù)據(jù)的簡單demo分享就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

pycharm下載依賴一直失敗的問題踩坑指南
在使用pycharm學(xué)習(xí)python的時候,經(jīng)常需要第三方庫,沒有第三方庫程序就會報(bào)錯,下面這篇文章主要給大家介紹了關(guān)于pycharm下載依賴一直失敗的問題踩坑指南,需要的朋友可以參考下
2023-06-06
Python的Flask開發(fā)框架簡單上手筆記
這篇文章主要介紹了Python的Flask開發(fā)框架的入門知識整理,Flask是一款極輕的Python web開發(fā)框架,需要的朋友可以參考下
2015-11-11
自制Python淘寶秒殺搶購腳本雙十一百分百中
年年雙十一，年年搶不到，今年小編自制Python淘寶秒殺搶購腳本，百分百中，下面小編把我的實(shí)現(xiàn)思路分享給大家，有興趣的朋友借鑒下吧
2021-11-11
Python接口自動化淺析logging封裝及實(shí)戰(zhàn)操作
本篇文章主要給大家介紹將了logging常用配置放入yaml配置文件、logging日志封裝及結(jié)合登錄用例，講解日志如何在接口測試中運(yùn)用的實(shí)例操作
2021-08-08
Python調(diào)用Google?Bard的圖文詳解
Google?Bard?是一種開源數(shù)據(jù)可視化和探索工具,可為?開發(fā)人員?提供支持,本文主要為大家介紹了Python調(diào)用Google?Bard的方法,需要的可以參考下
2023-08-08
python委派生成器的具體方法
在本篇內(nèi)容中小編給大家整理了一篇關(guān)于python委派生成器的具體方法內(nèi)容，有興趣的朋友們可以學(xué)習(xí)參考下。
2022-11-11
python中28種極坐標(biāo)繪圖函數(shù)總結(jié)
這篇文章主要為大家詳細(xì)介紹了python中28種極坐標(biāo)繪圖函數(shù)的用法,文中的示例代碼講解詳細(xì),具有一定的學(xué)習(xí)價值,感興趣的小伙伴可以跟隨小編一起了解一下
2023-09-09
python 寫入csv亂碼問題解決方法
這篇文章主要介紹了python 寫入csv亂碼問題解決方法的相關(guān)資料,需要的朋友可以參考下
2016-10-10
詳解Python用戶登錄接口的方法
這篇文章主要介紹了Python用戶登錄接口的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-04-04
Python腳本在Appium庫上對移動應(yīng)用實(shí)現(xiàn)自動化測試
這篇文章主要介紹了使用Python的Appium庫對移動應(yīng)用實(shí)現(xiàn)自動化測試的教程,屬于Python腳本的一個自動化應(yīng)用,需要的朋友可以參考下
2015-04-04