官方詳解HDFS?Balancer工具主要調(diào)優(yōu)參數(shù)

更新時(shí)間：2023年03月31日 11:18:25 作者：阿里云

這篇文章主要為大家介紹了HDFS?Balancer工具主要調(diào)優(yōu)參數(shù)的?官方詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

引言

HDFS Balancer工具可以用來分析塊的分布情況，并且可以重新分配DataNode中的數(shù)據(jù)。本文通過為您介紹如何使用HDFS Balancer工具以及Balancer的主要調(diào)優(yōu)參數(shù)。

使用HDFS Balancer

方式一：使用HDFS Balancer命令

HDFS Balancer命令語句如下。

hdfs balancer
[-threshold <threshold>]
[-policy <policy>]
[-exclude [-f <hosts-file> | <comma-separated list of hosts>]]
[-include [-f <hosts-file> | <comma-separated list of hosts>]]
[-source [-f <hosts-file> | <comma-separated list of hosts>]]
[-blockpools <comma-separated list of blockpool ids>]
[-idleiterations <idleiterations>]

Balancer主要參數(shù)如下表。

參數(shù)	描述
threshold	磁盤容量的百分?jǐn)?shù)。默認(rèn)值為10%，表示上下浮動(dòng)10%。當(dāng)集群總使用率較高時(shí)，需要調(diào)小Threshold，避免閾值過高。當(dāng)集群新增節(jié)點(diǎn)較多時(shí)，您可以適當(dāng)增加Threshold，使數(shù)據(jù)從高使用率節(jié)點(diǎn)移向低使用率節(jié)點(diǎn)。
policy	平衡策略。支持以下策略： datanode（默認(rèn)）：當(dāng)每一個(gè)DataNode是平衡的時(shí)候，集群就是平衡的。 blockpool：當(dāng)每一個(gè)DataNode中的blockpool是平衡的，集群就是平衡的。
exclude	Balancer排除特定的DataNode。
include	Balancer僅對(duì)特定的DataNode進(jìn)行平衡操作。
source	僅選擇特定的DataNode作為源節(jié)點(diǎn)。
blockpools	Balancer僅在指定的blockpools中運(yùn)行。
idleiterations	最多允許的空閑循環(huán)次數(shù)。覆蓋默認(rèn)的5次。

方式二：使用start-balancer.sh工具

start-balancer.sh實(shí)際上是調(diào)用hdfs daemon start balancer命令。使用方式如下：

登錄待配置集群的任意節(jié)點(diǎn)，詳情請參見登錄集群。

可選：執(zhí)行以下命令，修改Balancer的最大帶寬。

hdfs dfsadmin -setBalancerBandwidth &lt;bandwidth in bytes per second&gt;

說明 <bandwidth in bytes per second>為設(shè)置的最大帶寬。例如，如果需要設(shè)置最大帶寬為20 MB/s，對(duì)應(yīng)值為20971520，則完整代碼示例為hdfs dfsadmin -setBalancerBandwidth 20971520。如果集群負(fù)載較高，建議設(shè)置為209715200（200 MB/s）；如果集群空閑，建議設(shè)置為1073741824（1 GB/s）。

執(zhí)行以下命令，切換到hdfs用戶并執(zhí)行Balancer參數(shù)。

DataLake集群

su hdfs
/opt/apps/HDFS/hdfs-current/sbin/start-balancer.sh -threshold 5

Hadoop集群

su hdfs
/usr/lib/hadoop-current/sbin/start-balancer.sh -threshold 5

執(zhí)行以下命令，進(jìn)入HDFS安裝目錄。

DataLake集群

cd /var/log/emr/hadoop/

Hadoop集群

cd /var/log/hadoop-hdfs

執(zhí)行以下命令，查看Balancer運(yùn)行情況。

當(dāng)提示信息包含Successfully字樣時(shí)，表示執(zhí)行成功。

DataLake集群

tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log

Hadoop集群

tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log

說明命令中的hadoop-hdfs-balancer-master-1-1.c-xxx.log和hadoop-hdfs-balancer-emr-header-xx.cluster-xxx.log為上一步驟中獲取到的日志名稱。

Balancer調(diào)優(yōu)參數(shù)

執(zhí)行Balancer會(huì)占用一定的系統(tǒng)資源，建議在業(yè)務(wù)空閑期執(zhí)行。默認(rèn)情況下，不需要對(duì)HDFS Balancer參數(shù)進(jìn)行額外調(diào)整。當(dāng)需要對(duì)Balancer參數(shù)進(jìn)行額外調(diào)整時(shí)，您可以在E-MapReduce控制臺(tái)的HDFS服務(wù)頁面，選擇配置 > hdfs-site.xml，調(diào)整以下兩類配置。

客戶端配置

參數(shù)	描述
dfs.balancer.dispatcherThreads	Balancer在移動(dòng)Block之前，每次迭代時(shí)查詢出一個(gè)Block列表，分發(fā)給Mover線程使用。說明 dispatcherThreads是該分發(fā)線程的個(gè)數(shù)，默認(rèn)為200。
dfs.balancer.rpc.per.sec	默認(rèn)值為20，即每秒發(fā)送的RPC數(shù)量為20。因?yàn)榉职l(fā)線程調(diào)用大量getBlocks的RPC查詢，所以為了避免NameNode由于分發(fā)線程壓力過大，需要控制分發(fā)線程RPC的發(fā)送速度。例如，您可以在負(fù)載高的集群調(diào)整參數(shù)值，減小10或者5，對(duì)整體移動(dòng)進(jìn)度不會(huì)產(chǎn)生特別大的影響。
dfs.balancer.getBlocks.size	Balancer會(huì)在移動(dòng)Block前，每次迭代時(shí)查詢出一個(gè)Block列表，給Mover線程使用，默認(rèn)Block列表中Block的大小為2 GB。因?yàn)間etBlocks過程會(huì)對(duì)RPC進(jìn)行加鎖，所以您可以根據(jù)NameNode壓力進(jìn)行調(diào)整。
dfs.balancer.moverThreads	默認(rèn)值為1000。 Balancer處理移動(dòng)Block的線程數(shù)，每個(gè)Block移動(dòng)時(shí)會(huì)使用一個(gè)線程。

DataNode配置

參數(shù)	描述
dfs.datanode.balance.bandwidthPerSec	指定DataNode用于Balancer的帶寬，通常推薦設(shè)置為100 MB/s，您也可以通過dfsadmin -setBalancerBandwidth 參數(shù)進(jìn)行適當(dāng)調(diào)整，無需重啟DataNode。例如，在負(fù)載低時(shí)，增加Balancer的帶寬。在負(fù)載高時(shí)，減少Balancer的帶寬。
dfs.datanode.balance.max.concurrent.moves	默認(rèn)值為5。指定DataNode節(jié)點(diǎn)并發(fā)移動(dòng)的最大個(gè)數(shù)。通常考慮和磁盤數(shù)匹配，推薦在DataNode端設(shè)置為4 * 磁盤數(shù)作為上限，可以使用Balancer的值進(jìn)行調(diào)節(jié)。例如：一個(gè)DataNode有28塊盤，在Balancer端設(shè)置為28，DataNode端設(shè)置為28 * 4。具體使用時(shí)根據(jù)集群負(fù)載適當(dāng)調(diào)整。在負(fù)載較低時(shí)，增加concurrent數(shù)；在負(fù)載較高時(shí)，減少concurrent數(shù)。

參數(shù)

描述

dfs.datanode.balance.bandwidthPerSec

指定DataNode用于Balancer的帶寬，通常推薦設(shè)置為100 MB/s，您也可以通過dfsadmin -setBalancerBandwidth 參數(shù)進(jìn)行適當(dāng)調(diào)整，無需重啟DataNode。

例如，在負(fù)載低時(shí)，增加Balancer的帶寬。在負(fù)載高時(shí)，減少Balancer的帶寬。

dfs.datanode.balance.max.concurrent.moves

默認(rèn)值為5。

指定DataNode節(jié)點(diǎn)并發(fā)移動(dòng)的最大個(gè)數(shù)。通常考慮和磁盤數(shù)匹配，推薦在DataNode端設(shè)置為4 * 磁盤數(shù)作為上限，可以使用Balancer的值進(jìn)行調(diào)節(jié)。

例如：一個(gè)DataNode有28塊盤，在Balancer端設(shè)置為28，DataNode端設(shè)置為28 * 4。具體使用時(shí)根據(jù)集群負(fù)載適當(dāng)調(diào)整。在負(fù)載較低時(shí)，增加concurrent數(shù)；在負(fù)載較高時(shí)，減少concurrent數(shù)。