終于又開(kāi)新專欄啦（其實(shí)是填坑），相信很多同學(xué)對(duì)kafka都有一定的了解了，我們以前在RabbitMQ的選型中，也提到過(guò)兩者的對(duì)比，那么今天我們就正式開(kāi)始Kafka的學(xué)習(xí)吧，老規(guī)矩，先來(lái)一篇手把手安裝教程，因?yàn)楹罄m(xù)主要是用于自身學(xué)習(xí)，所以還是以windows的安裝為例

一、環(huán)境與下載

在進(jìn)行后續(xù)步驟前需要保證環(huán)境中已經(jīng)安裝并配置了JDK，存在JDK后，再進(jìn)行kafka的下載，

我們可以通過(guò)kafka其官網(wǎng)：https://kafka.apache.org/downloads來(lái)進(jìn)行下載，目前的發(fā)布版本為3.5.1，且推薦的Scala版本2.13，那我們此次就用這個(gè)版本。

當(dāng)然，筆者也知道很多小伙伴打不開(kāi)網(wǎng)頁(yè)，所以筆者也把這份包給上傳上來(lái)了（如果沒(méi)被CSDN下架的話），點(diǎn)此下載

二、安裝

解壓后請(qǐng)務(wù)必將其放在目錄較淺的位置，否則在后續(xù)執(zhí)行命令時(shí)可能會(huì)提示輸入行太長(zhǎng)，如下，我們不僅將其解壓后的文件直接放在E盤(pán)根目錄，而且縮寫(xiě)了其名字。

此時(shí)我們來(lái)到它目錄下的bin目錄，bin目錄本級(jí)存的是在linux下的運(yùn)行腳本，其下還有個(gè)windows子目錄

在該windos目錄下，就是windows使用的批處理腳本了

我們都知道 kafka 的運(yùn)行需要 Zookeeper ，但是不需要我們額外安裝，其本身就包含了Zookeeper的服務(wù)

三、啟動(dòng)

啟動(dòng)Kafka有兩個(gè)必要的服務(wù)：Zookeeper 和 Kafka 本身。

1. 啟動(dòng)ZK

在Kafka的根目錄中，進(jìn)入config目錄。您將看到一個(gè)名為zookeeper.properties的文件。

使用文本編輯器打開(kāi)該文件并更改dataDir的值，即ZK數(shù)據(jù)的存儲(chǔ)位置，例如：

在保存過(guò)后，我們回到ZK啟動(dòng)腳本的目錄下，并在目錄位置輸入cmd，回車(chē)進(jìn)入命令行

然后在命令行中輸入 以下命令來(lái)啟動(dòng) ZK

zookeeper-server-start.bat ../../config/zookeeper.properties

如果沒(méi)有報(bào)錯(cuò)就是啟動(dòng)成功了。

2. 啟動(dòng)Kafka

在Kafka的根目錄中，進(jìn)入config目錄，您將看到一個(gè)名為server.properties的文件。

使用文本編輯器打開(kāi)該文件并更改以下參數(shù)的值：

broker.id：每臺(tái)Kafka服務(wù)器需要一個(gè)唯一的broker.id值。
listeners：Kafka默認(rèn)使用9092端口，可以更改此端口。
log.dirs：Kafka默認(rèn)使用/tmp/kafka-logs作為數(shù)據(jù)存儲(chǔ)目錄，可以更改此目錄，我們提前創(chuàng)建目錄，然后設(shè)置該目錄為日志目錄，如下：

保存并關(guān)閉文件后，回到目錄E:\kafka\bin\windows，使用以下命令啟動(dòng)Kafka服務(wù)器

kafka-server-start.bat ../../config/server.properties

Kafka啟動(dòng)后，您將看到以下輸出：

至此，說(shuō)明kafka的啟用就完成了。

四、可視化工具 EFAK(kafka-eagle)

同我們?cè)谇懊嬷v解的ZK安裝一樣，kafka本身也沒(méi)有提供可視化頁(yè)面，但是市面上有很多開(kāi)源的可視化工具，我們接下來(lái)就講講他們的安裝及使用，我們選取其中的 EFAK來(lái)說(shuō)， 請(qǐng)注意，在安裝EFAK之前，你至少需要安裝了JDK、kafka、mysql的環(huán)境后，再進(jìn)行后續(xù)操作。

1. kafka開(kāi)啟JMX

JMX(Java Management Extensions)是一個(gè)為應(yīng)用程序植入管理功能的框架。JMX是一套標(biāo)準(zhǔn)的代理和服務(wù)，實(shí)際上，用戶能夠在任何Java應(yīng)用程序中使用這些代理和服務(wù)實(shí)現(xiàn)管理。用人話說(shuō)，就是對(duì)外暴露更多數(shù)據(jù)，方便某些監(jiān)控之類(lèi)的插件來(lái)使用

我們先要打開(kāi)剛剛的kafka啟動(dòng)腳本 kafka-server-start.bat，如下：

在腳本中找到一個(gè)會(huì)執(zhí)行到的位置，設(shè)置JMX的端口，并保存如下：

做完該步驟后，記得重啟kafka

2. 下載及配置

我們打開(kāi)它的官網(wǎng)：http://www.kafka-eagle.org/，如下：

直接下載其最新版，或者使用筆者上傳的壓縮包 http://xiazai.jb51.net/202311/yuanma/efak-web_jb51.rar

當(dāng)我們將其解壓縮后，需要注意到，如果使用其默認(rèn)的啟動(dòng)腳本，我們還需要維護(hù)兩個(gè)環(huán)境變量JAVA_HOME、KE_HOME，前者不必多說(shuō)，后者為EFAK的安裝根目錄，在本例中為

E:\efak-web-3.0.1\efak-web-3.0.1

配置好環(huán)境變量后，我們還需要在數(shù)據(jù)庫(kù)中選一個(gè)庫(kù)，或者是新建一個(gè)庫(kù)，筆者這邊是按推薦建立了一個(gè)名為ke的庫(kù)，如下：

然后在system-config.properties配置文件中連接該庫(kù)

同時(shí)別忘記，在該配置文件中還要配置kafka的JMX的地址，不然是拿不到kafka的數(shù)據(jù)的

最后，修改一下ZK的配置，把我們上面啟動(dòng)的ZK的位置給他填上去，填完注意保存后再關(guān)閉

最后進(jìn)入EFAK的bin目錄，運(yùn)行其 ke.bat 文件進(jìn)行啟動(dòng)

3. 啟動(dòng)故障及解決

在這一步筆者的電腦出現(xiàn)了幾個(gè)問(wèn)題，我們一一來(lái)說(shuō)：

① 錯(cuò)誤信息 C:\Program’ is not recognized as an internal or external command

該故障如下圖：

經(jīng)查驗(yàn)，發(fā)現(xiàn)是啟動(dòng)腳本中存在

%JAVA_HOME%\bin\jar -xvf %KE_HOME%\kms\webapps\ke.war

這樣的語(yǔ)句，因?yàn)楣P者的JAVA_HOME設(shè)置路徑，目錄Program Files存在空格，導(dǎo)致執(zhí)行命令時(shí)出現(xiàn)異常，

所以可以把JAVA_HOME的路徑中的Program Files為改為PROGRA~1，即如下：

② tomcat 啟動(dòng)亂碼

運(yùn)行命令實(shí)際上是執(zhí)行一個(gè)war包，并啟動(dòng)一個(gè)tomcat，并彈出一個(gè)新的命令行窗口，我們?cè)趖omcat 的窗口中看見(jiàn)大量的亂碼，如下：

這主要是其內(nèi)置的日志輸出中文，編碼為UTF-8，而命令行的編碼格式默認(rèn)為GBK導(dǎo)致的，這個(gè)問(wèn)題有很多方式解決，筆者提供三種思路：

方案一：Tomcat啟動(dòng)時(shí)會(huì)檢查本地語(yǔ)言環(huán)境，因?yàn)楣P者電腦是中文環(huán)境，才會(huì)輸出中文日志。實(shí)際上在生產(chǎn)中部署于linux環(huán)境時(shí)，基本都是英文環(huán)境，所以我們可以把運(yùn)行參數(shù)中的語(yǔ)言環(huán)境設(shè)置為英文即可。

我們打開(kāi) catalina 的腳本

在日志輸出的設(shè)置上，指定英文輸出，如下圖，即加上

-Duser.language=en -Duser.region=US

方案二：既然其日志輸出編碼格式為GBK，那我們就修改tmacat輸出日志的編碼成GBK，該方案需修改tomcat的日志配置文件，如下：

將其控制臺(tái)輸出的編碼格式改為GBK

方案三：修改我們控制臺(tái)的編碼，此方案我們可以設(shè)置命令提示行的屬性來(lái)完成，操作如下：

我們先打開(kāi)命令行，輸入 chcp 65001

然后單擊菜單可以看到菜單

點(diǎn)擊屬性可觀察到它的編碼格式

但是這樣的設(shè)置僅僅是針對(duì)當(dāng)前窗口的，當(dāng)我們啟動(dòng)tomcat時(shí)，它會(huì)打開(kāi)另一個(gè)命令窗口，我們可以設(shè)法讓其不會(huì)打開(kāi)其他窗口，而繼續(xù)在本窗口輸出。我們可以打開(kāi)啟動(dòng)tomcat 的腳本

將其執(zhí)行參數(shù)從 start 改為 run ,這樣就不會(huì)再?gòu)椘渌翱诹?/p>

③ mysql 時(shí)區(qū)值異常

如下圖，在啟動(dòng)過(guò)程中，連接mysql時(shí)在獲取時(shí)區(qū)信息時(shí)出現(xiàn)異常，這個(gè)其實(shí)在高版本mysql上很多人都遇到過(guò)，如下圖：

我們只需要在mysql 時(shí)把時(shí)區(qū)設(shè)置一下就可以，以root 用戶設(shè)置時(shí)區(qū)

set global time_zone='+8:00';

④ 表缺失

由于EFAK對(duì)數(shù)據(jù)庫(kù)的控制不夠精細(xì)，所以可能會(huì)出現(xiàn)建表故障，導(dǎo)致啟動(dòng)后沒(méi)有建表成功，此時(shí)還需要手動(dòng)建表，其建表腳本我已經(jīng)上傳，可自行點(diǎn)擊： 建表腳本下載

3. 啟動(dòng)與登錄

在解決完上述各項(xiàng)問(wèn)題后，我們成功啟動(dòng)了 kafka-eagle。此時(shí)可以打開(kāi)http://127.0.0.1:8048/，看到如下頁(yè)面：

輸入默認(rèn)的用戶名：admin 及密碼 123456 即可進(jìn)入管理頁(yè)面

總結(jié)

在本篇技術(shù)博文中，我們?cè)敿?xì)地教你如何安裝kafka，還有它的可視化工具 kafka-eagle，中間也列舉了一些異常以及它的處理方式，真正做到了手把手教學(xué)。那么安裝教學(xué)就告一段落。在后面的學(xué)習(xí)中，我們將講解他們的使用及運(yùn)行原理，希望同學(xué)們能喜歡

到此這篇關(guān)于安裝kafka與可視化工具kafka-eagle的文章就介紹到這了,更多相關(guān)kafka可視化工具內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論