linux下Doris單點(diǎn)部署實(shí)踐
1.Doris 下載
下載地址:Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris
注:下載前需要確認(rèn)服務(wù)器CPU是否支持avx2指令集,然后下載合適的版本
# 執(zhí)行如下命令確認(rèn)CPU是否支持avx2,返回值中包含:avx2 , 表示支持avx2 指令集 cat /proc/cpuinfo | grep avx2
選擇需要的介質(zhì)下載,這里以支持avx2指令集的apache-doris-2.1.6-bin-x64.tar.gz 為例
2. 環(huán)境準(zhǔn)備
2.1Linux操作系統(tǒng)版本需求
- CentOS 7.1 及以上
- Ubuntu 16.04 及以上
2.2 部署依賴
Java 1.8 及以上可參考Linux下JDK 安裝
GCC4.8.2 及以上
3.Doris 部署
3.1修改系統(tǒng)配置
3.1.1修改系統(tǒng)句柄數(shù)
(1)查看系統(tǒng)句柄數(shù)
# 默認(rèn)系統(tǒng)句柄數(shù)為 1024 ,啟動BE要求句柄數(shù)大于600000 ulimit -n
(2)修改系統(tǒng)最大打開文件句柄數(shù)
# 修改limits.conf 文件 vi /etc/security/limits.conf # 添加如下內(nèi)容 * soft nofile 655360 * hard nofile 655360 # 修改完畢后重啟系統(tǒng)即可生效,也可執(zhí)行如下命令臨時生效 ulimit -n 655350
3.1.2關(guān)閉swap分區(qū)
(1)修改fstab文件
修改 fstab 文件 , 將帶有swap的語句注釋掉
# 編輯 fstab 文件 vi /etc/fstab # 修改完畢后重啟系統(tǒng)即可生效,也可執(zhí)行如下命令臨時生效 swapoff -a
(2)檢查是否修改完成
# 如果swap對應(yīng)的數(shù)值均為0則代表修改成功 free -h
3.1.3 修改最大內(nèi)存映射區(qū)域數(shù)量
# 編輯sysctl.conf文件 vi /etc/sysctl.conf # 修改每個進(jìn)程允許的最大內(nèi)存映射區(qū)域的數(shù)量 vm.max_map_count = 6553600 # 加載并應(yīng)用 sysctl -p # 查看是否生效 cat /proc/sys/vm/max_map_count
3.2開放端口
(1)查看防火墻狀態(tài)
systemctl status firewalld
注:如果防火墻為關(guān)閉狀態(tài) ,可以省去以下開放端口步驟 ! !
(2)開放端口
firewall-cmd --zone=public --add-port=8030/tcp --permanent firewall-cmd --zone=public --add-port=9030/tcp --permanent firewall-cmd --zone=public --add-port=8060/tcp --permanent firewall-cmd --zone=public --add-port=8040/tcp --permanent
(3)防火墻重新加載配置
firewall-cmd --reload
(4) 查看防火墻所有開放的端口
firewall-cmd --zone=public --list-ports
3.3 fe 部署
(1)解壓
上傳介質(zhì)(apache-doris-2.1.6-bin-x64.tar.gz)到 /opt目錄下,并解壓到當(dāng)前目錄下
tar -zxvf apache-doris-2.1.6-bin-x64.tar.gz
(2)修改 fe 配置
vi /opt/apache-doris-2.1.6-bin-x64/fe/conf/fe.conf
修改以下配置,其他配置可根據(jù)需求更改
# 大小寫忽略,如果忘記,后面無法添加 !?。? lower_case_table_names=1 # 元數(shù)據(jù)存儲目錄 , 確保該目錄下有足夠大的磁盤空間 meta_dir = /opt/apache-doris-2.1.6-bin-x64/fe/doris-meta # 修改ip綁定地址段 priority_networks = 10.10.10.0/24
(3)啟動
/opt/apache-doris-2.1.6-bin-x64/fe/bin/start_fe.sh --daemon
(4)查看 fe 運(yùn)行狀態(tài)
curl http://127.0.0.1:8030/api/bootstrap
出現(xiàn)以下信息代表啟動成功
{"msg":"success","code":0,"data":{"replayedJournalId":0,"queryPort":0,"rpcPort":0,"arrowFlightSqlPort":0,"version":""},"count":0}
(5)訪問
啟動成功后 ,瀏覽器輸入http://ip:8030,即可訪問 fe,用戶名root,默認(rèn)密碼為空
進(jìn)入后點(diǎn)擊 System→frontends ,可以看到 fe 啟動成功的信息、
3.4be 部署
(1)修改 be 配置
vi /opt/apache-doris-2.1.6-bin-x64/be/conf/be.conf
修改以下配置,其他配置可根據(jù)需求更改
# 配置 JAVA_HOME 環(huán)境變量 JAVA_HOME=/usr/local/jdk1.8/jre # 數(shù)據(jù)存放目錄 storage_root_path = /opt/apache-doris-2.1.6-bin-x64/be/storage/ # 修改ip綁定地址段 priority_networks = 10.10.10.0/24
(2)啟動
/opt/apache-doris-2.1.6-bin-x64/be/bin/start_be.sh --daemon
(3)訪問
瀏覽器輸入http://ip:8060,即可訪問 be,檢查 be 是否啟動成功
3.5 be添加到Doris集群
(1)安裝MySQL客戶端
可以參考 :Linux下部署MySQL5.7.35
(2)MySQL連接fe
# 127.0.0.1為Master節(jié)點(diǎn)的IP mysql -h127.0.0.1 -P 9030 -uroot # 執(zhí)行以下sql檢查fe是否連接成功 SHOW FRONTENDS\G;
IsMaster、Join 和 Alive 結(jié)果均為 true,則表示連接成功
修改密碼
# 123456為密碼 SET PASSWORD FOR "root"@"%" = PASSWORD('123456');
(3)添加 be
# ip為be節(jié)點(diǎn)所在服務(wù)器ip ALTER SYSTEM ADD BACKEND "ip:9050";
4 驗(yàn)證
4.1檢查be是否添加成功
(1)命令查看 be 添加情況
# 執(zhí)行以下sql檢查be是否添加成功 SHOW BACKENDS\G;
Alive 結(jié)果均為 true , 表示添加成功
(2) 頁面查看 be 添加情況
通過訪問http://ip:8030 ,System→backends
4.2 連接數(shù)據(jù)庫
通過數(shù)據(jù)庫連接工具 ,連接數(shù)據(jù)庫 ,這里使用的是 idea 自帶的數(shù)據(jù)庫連接工具(也可用Navicat 等數(shù)據(jù)庫連接工具)
驅(qū)動選擇MySQL ,端口為 9030 , 輸入IP ,用戶密碼連接到數(shù)據(jù)庫,便可以操作數(shù)據(jù)庫
5. 總結(jié)
本文主要介紹了linux 系統(tǒng)下Doris單點(diǎn)部署 ,其中比較需要注意的就是大小寫忽略,系統(tǒng)配置修改 ,以及防火墻設(shè)置 。
以上為個人經(jīng)驗(yàn),希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Apache運(yùn)行模式之standalone和inetd模式介紹
這篇文章主要介紹了Apache運(yùn)行模式之standalone和inetd模式介紹,本文講解了ServerType這個配置參數(shù),ServerType這個配置選項(xiàng)指定如何運(yùn)行Apache,需要的朋友可以參考下2015-06-06Linux實(shí)現(xiàn)DHCP服務(wù)器的搭建
Linux常見的服務(wù)器有幾種,本文詳細(xì)介紹了Linux實(shí)現(xiàn)DHCP服務(wù)器的搭建,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下2021-08-08CentOS6.4 下安裝SVN的詳細(xì)教程(超詳細(xì))
這篇文章主要介紹了CentOS6.4 下安裝SVN的詳細(xì)教程,在安裝之前需要檢查是否已經(jīng)安裝過了,然后使用yum install subversion安裝,具體操作詳細(xì)過程請參考本文2016-10-10在麒麟V10服務(wù)器上編譯安裝Storm的詳細(xì)過程
這篇文章主要介紹了在麒麟V10服務(wù)器上編譯安裝Storm的方法,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-01-01Ubuntu 遠(yuǎn)程登陸服務(wù)器 ssh的安裝和配置詳解
這篇文章主要介紹了Ubuntu 遠(yuǎn)程登陸服務(wù)器 ssh的安裝和配置詳解,具有一定的參考價值,感興趣的小伙伴們可以參考一下2017-06-06