一 項(xiàng)目描述

1.1 背景

MHA（Master HA）是一款開(kāi)源的 MySQL 的高可用程序，它為 MySQL 主從復(fù)制架構(gòu)提供了 automating master failover 功能。MHA 在監(jiān)控到 master 節(jié)點(diǎn)故障時(shí)，會(huì)提升其中擁有最新數(shù)據(jù)的 slave 節(jié)點(diǎn)成為新的master 節(jié)點(diǎn)。自動(dòng)FailOver的前置條件一定是MHA是啟動(dòng)運(yùn)行的狀態(tài)。在生產(chǎn)環(huán)境中，有時(shí)會(huì)因?yàn)闆](méi)有及時(shí)開(kāi)啟或者運(yùn)行異常停止而不知，導(dǎo)致MySQL主節(jié)點(diǎn)異常時(shí)，沒(méi)有自動(dòng)FailOver，影響了生產(chǎn)，或延長(zhǎng)了處理時(shí)間，使故障升級(jí)。

此外，MHA發(fā)生FailOver后，MHA的運(yùn)行狀態(tài)會(huì)由 is running(0:PING_OK) 變更為stopped(2:NOT_RUNNING)，從運(yùn)行反饋結(jié)果變化上，可以判斷是否可能發(fā)生了主從切換?？梢宰鳛橐粋€(gè)Warning處理。

綜上，對(duì)MHA的運(yùn)行狀態(tài)的監(jiān)控很有必要。

1.2 實(shí)現(xiàn)設(shè)計(jì)

MHA是運(yùn)行在Manager 節(jié)點(diǎn)上的，一個(gè)Manager 節(jié)點(diǎn)可以管理數(shù)十個(gè)集群。目前，我們的監(jiān)控體系是Telegraf + InfluxDB + Grafana，所以，需要在Manager 節(jié)點(diǎn)部署Telegraf，去收集MHA的運(yùn)行狀態(tài)，保存到 InfluxDB。在既有的Grafana MySQL Dashboard中，添加一個(gè)關(guān)于 masterha_check_status 的panel 即可。

1.2.1 之前的方法

在 《以實(shí)現(xiàn)MongoDB副本集狀態(tài)的監(jiān)控為例，看Telegraf系統(tǒng)中Exec輸入插件如何編寫(xiě)部署》 一文中的第七部分，我們有介紹一種方法實(shí)現(xiàn)MySQL MHA的監(jiān)控，但這種方法是每一個(gè)集群都需要手動(dòng)維護(hù)，自動(dòng)發(fā)現(xiàn)的功能不夠好，增加維護(hù)成本，特別是集團(tuán)的MHA集群比較多時(shí)。

1.2.2 優(yōu)化后的方法

Manager 節(jié)點(diǎn)為每個(gè)監(jiān)控的MHA集群提供一個(gè)專(zhuān)用的配置文件，優(yōu)化后的監(jiān)控方法，根據(jù)配置文件自動(dòng)發(fā)現(xiàn)、自動(dòng)調(diào)整監(jiān)控，不再需要逐一配置和維護(hù)。

部署的步驟如下：

二.實(shí)現(xiàn)詳情

2.1 編輯Python可執(zhí)行文件

可執(zhí)行文件為telegraf_checkmhastatus.py

#!/usr/bin/python
# -*- coding: UTF-8 -*-

 

import os
import io
import re
import ConfigParser

Path='/cnf/mhacnf'
#fout=open('輸出文件名','w')
for Name in os.listdir(Path) :
  Pathname= os.path.join(Path,Name)
 ## print(Pathname)
 ## print(Name)
  config =ConfigParser.ConfigParser()
  try:
    config.read(Pathname)
    server_item = config.sections()
    server1_host = ''  ##MHA cnf 配置文件中的節(jié)點(diǎn)1
    server2_host = ''  ##MHA cnf 配置文件中的節(jié)點(diǎn)2
    server3_host = ''  ##MHA cnf 配置文件中的節(jié)點(diǎn)3
    mha_cnf_remark = ''
    if 'server1' in server_item:
      server1_host = config.get('server1','hostname')
    else:
       server1_host = ''
       mha_cnf_remark = mha_cnf_remark + 'Server1未配置;'
    if 'server2' in server_item:
      server2_host = config.get('server2','hostname')
    else:
      server2_host = ''
      mha_cnf_remark = mha_cnf_remark + 'Server2未配置;'
    if 'server3' in server_item:
      server3_host = config.get('server3','hostname')

      ##print(mha_cnf_remark)
  except Exception as e:
    print(e)

  mha_status_result =''
  if server1_host <> '' and server2_host <> '':
    cmd_mha_status ='/usr/local/bin/masterha_check_status --conf='+Pathname
    with os.popen(cmd_mha_status) as mha_status:
      mha_status_result = mha_status.read()
      if 'running(0:PING_OK)' in mha_status_result:
        print('masterha_check_status,server='+server1_host+' Status=1i')
        print('masterha_check_status,server='+server2_host+' Status=1i')
      if 'stopped(2:NOT_RUNNING)' in mha_status_result:
      ##else:
        print('masterha_check_status,server='+server1_host+' Status=0i')
        print('masterha_check_status,server='+server2_host+' Status=0i')

說(shuō)明:

• （1）遍歷 /cnf/mhacnf目錄下的文件（假設(shè)MHA配置文件的配置文件在此目錄下）；
• （2）對(duì)每個(gè)文件執(zhí)行masterha_check_status --cong = XXXX，XXXX為具體的配置文件；判斷運(yùn)行結(jié)果；
• （3）獲取MHA集群節(jié)點(diǎn)；
• （4）因?yàn)槲覀僊HA集群都是一主一從，所以，只 if server1_host <> '' and server2_host <> '':一種情況，大家可根據(jù)需要，根據(jù)具體的場(chǎng)景，變更。
• （5）數(shù)據(jù)保存到名叫masterha_check_status的measurement中，Tag Key 有 host 和  server；當(dāng)運(yùn)行OK時(shí)，Status=1，否則，Status=0。
• （6）Server對(duì)應(yīng)的數(shù)據(jù)為Server IP（注意，會(huì)在grafana配置時(shí)以此關(guān)聯(lián)）。

2.2 修改 telegraf 文件

文件默認(rèn)目錄為/etc/telegraf/，默認(rèn)文件為telegraf.conf。

將執(zhí)行文件嵌入到telegraf.conf中，由python驅(qū)動(dòng)。

代碼如下:

[[inputs.exec]]
  ##Commands array
  commands = ["python /data/check_mha_status/check_mha_status.py",]
  timeout='60s'
  data_format="influx"

2.3 修改telegraf service的運(yùn)行賬號(hào)

telegraf服務(wù)的啟動(dòng)賬號(hào)默認(rèn)為telegraf，但是，其中調(diào)用了Python和python的可執(zhí)行文件，需要修改權(quán)限。為了簡(jiǎn)便，升級(jí)telegraf service的運(yùn)行賬號(hào)，修改成root。🙂

修改telegraf.service，默認(rèn)路徑為/usr/lib/systemd/system/telegraf.service。

 修改后的代碼如下：

[Unit]
Description=The plugin-driven server agent for reporting metrics into InfluxDB
Documentation=https://github.com/influxdata/telegraf
After=network.target

[Service]
EnvironmentFile=-/etc/default/telegraf
##User=telegraf
User=root
ExecStart=/usr/bin/telegraf -config /etc/telegraf/telegraf.conf -config-directory /etc/telegraf/telegraf.d $TELEGRAF_OPTS
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
RestartForceExitStatus=SIGPIPE
KillMode=control-group

[Install]
WantedBy=multi-user.target

2.4 啟動(dòng)Telegraf 服務(wù)

service telegraf start     ####啟動(dòng)服務(wù)
service telegraf status   ####服務(wù)狀態(tài)查看
service telegraf stop     ####關(guān)閉服務(wù)

2.5 配置Grafana，增加Panel

因?yàn)?code>MySQL實(shí)例節(jié)點(diǎn)的telegraf也會(huì)匯報(bào)各自的數(shù)據(jù)，例如MySQL連接數(shù)、TPS、QPS、主從狀態(tài)、延遲、資源（CPU、內(nèi)存、磁盤(pán)、IOWait）等等，這些指標(biāo)在一個(gè)Dashboard上，而新收集的MHA運(yùn)行狀態(tài)是新增的的一個(gè)MySQL指標(biāo)，所以，應(yīng)該將MHA運(yùn)行狀態(tài)作為既有MySQL Dashboard的一個(gè)Panel。

在MySQL實(shí)例節(jié)點(diǎn)上匯報(bào)的數(shù)據(jù)是各個(gè)節(jié)點(diǎn)的host 和 instance(Server IP:端口)；而MHA 運(yùn)行狀態(tài)匯報(bào)的數(shù)據(jù)是manager節(jié)點(diǎn)的host 和 各個(gè)實(shí)例Server IP。所以，依據(jù)Host 關(guān)聯(lián)，整合到一個(gè)Dashboard是實(shí)現(xiàn)不了的（因?yàn)闆](méi)有關(guān)聯(lián)性）。只能通過(guò) instance(Server IP:端口) 和 Server IP 進(jìn)行關(guān)聯(lián)了。

首先，將instance(Server IP:端口) 正則下，去除端口數(shù)據(jù)，實(shí)現(xiàn)方式，增加一個(gè)grafana變量--server_ip，如下：

注意上面的數(shù)據(jù)源來(lái)自measurement為mysql。

然后，再增加一個(gè)grafana變量--mha_server,注意，會(huì)依賴(lài)上面的變量server_ip。

這樣 mysql 和 masterha_check_status 兩個(gè)measurement就關(guān)聯(lián)起來(lái)了，可以聯(lián)動(dòng)了。

最后，增加 panel設(shè)置下，就可以了，如下。

 SQL 語(yǔ)句如下:

SELECT mean("Status") FROM "masterha_check_status" WHERE ("server" =~ /^$mha_server$/) AND $timeFilter GROUP BY time(1m) fill(null)

 三 .實(shí)現(xiàn)

運(yùn)行狀態(tài)為1，異常或關(guān)閉為0.

還可以增加Alarm告警，例如郵箱、微信、釘釘?shù)?，在此就不展開(kāi)了。

補(bǔ)充一點(diǎn):

因?yàn)閮?yōu)化后的監(jiān)控方法，根據(jù)配置文件自動(dòng)發(fā)現(xiàn)、自動(dòng)調(diào)整監(jiān)控。所以，如果新增一個(gè)MHA，而這個(gè)過(guò)程又比較長(zhǎng)，比如10分鐘，這個(gè)時(shí)候，既有的MHA監(jiān)控可能會(huì)報(bào)錯(cuò)或報(bào)警。

為了避免這種情況發(fā)生，建議新增的MHA的配置文件，最后再放至到MHA配置文件的目錄上。或者，先將配置文件放到其他的目錄上，MHA配置OK后，最后一步再移到/cnf/mhacnf目錄下。

到此這篇關(guān)于MySQL MHA 運(yùn)行狀態(tài)監(jiān)控介紹的文章就介紹到這了,更多相關(guān)MySQL MHA 運(yùn)行狀態(tài)監(jiān)控內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論