詳解MySQL集群搭建
概述
MySQL Cluster 是MySQL 適合于分布式計算環(huán)境的高實用、可拓展、高性能、高冗余版本,其研發(fā)設(shè)計的初衷就是要滿足許多行業(yè)里的最嚴(yán)酷應(yīng)用要求,這些應(yīng)用中經(jīng)常要求數(shù)據(jù)庫運行的可靠性要達(dá)到99.999%。MySQL Cluster允許在無共享的系統(tǒng)中部署“內(nèi)存中”數(shù)據(jù)庫集群,通過無共享體系結(jié)構(gòu),系統(tǒng)能夠使用廉價的硬件,而且對軟硬件無特殊要求。此外,由于每個組件有自己的內(nèi)存和磁盤,不存在單點故障。
實際上,MySQL集群是把一個叫做NDB的內(nèi)存集群存儲引擎集成與標(biāo)準(zhǔn)的MySQL服務(wù)器集成。它包含一組計算機(jī),每個都跑一個或者多個進(jìn)程,這可能包括一個MySQL服務(wù)器,一個數(shù)據(jù)節(jié)點,一個管理服務(wù)器和一個專有的一個數(shù)據(jù)訪問程序。
MySQL Cluster能夠使用多種故障切換和負(fù)載平衡選項配置NDB存儲引擎,但在Cluster 級別上的存儲引擎上做這個最簡單。以下為MySQL集群結(jié)構(gòu)關(guān)系圖,
MySQL從結(jié)構(gòu)看,由3類節(jié)點(計算機(jī)或進(jìn)程)組成,分別是:
管理節(jié)點:用于給整個集群其他節(jié)點提供配置、管理、仲裁等功能。理論上通過一臺服務(wù)器提供服務(wù)就可以了。
數(shù)據(jù)節(jié)點:MySQL Cluster的核心,存儲數(shù)據(jù)、日志,提供數(shù)據(jù)的各種管理服務(wù)。2個以上 時就能實現(xiàn)集群的高可用保證,DB節(jié)點增加時,集群的處理速度會變慢。
SQL節(jié)點(API):用于訪問MySQL Cluster數(shù)據(jù),提供對外應(yīng)用服務(wù)。增加 API 節(jié)點會提高整個集群的并發(fā)訪問速度和整體的吞吐量,該節(jié)點 可以部署在Web應(yīng)用服務(wù)器上,也可以部署在專用的服務(wù)器上,也開以和DB部署在同一臺服務(wù)器上。
NDB引擎
MySQL Cluster 使用了一個專用的基于內(nèi)存的存儲引擎——NDB引擎,這樣做的好處是速度快, 沒有磁盤I/O的瓶頸,但是由于是基于內(nèi)存的,所以數(shù)據(jù)庫的規(guī)模受系統(tǒng)總內(nèi)存的限制, 如果運行NDB的MySQL服務(wù)器一定要內(nèi)存夠大,比如4G, 8G, 甚至16G。NDB引擎是分布式的,它可以配置在多臺服務(wù)器上來實現(xiàn)數(shù)據(jù)的可靠性和擴(kuò)展性,理論上 通過配置2臺NDB的存儲節(jié)點就能實現(xiàn)整個數(shù)據(jù)庫集群的冗余性和解決單點故障問題。
缺陷
- 基于內(nèi)存,數(shù)據(jù)庫的規(guī)模受集群總內(nèi)存的大小限制
- 基于內(nèi)存,斷電后數(shù)據(jù)可能會有數(shù)據(jù)丟失,這點還需要通過測試驗證。
- 多個節(jié)點通過網(wǎng)絡(luò)實現(xiàn)通訊和數(shù)據(jù)同步、查詢等操作,因此整體性受網(wǎng)絡(luò)速度影響,因此速度也比較慢
2.2 優(yōu)點
- 多個節(jié)點之間可以分布在不同的地理位置,因此也是一個實現(xiàn)分布式數(shù)據(jù)庫的方案。
- 擴(kuò)展性很好,增加節(jié)點即可實現(xiàn)數(shù)據(jù)庫集群的擴(kuò)展。
- 冗余性很好,多個節(jié)點上都有完整的數(shù)據(jù)庫數(shù)據(jù),因此任何一個節(jié)點宕機(jī)都不會造成服務(wù)中斷。
實現(xiàn)高可用性的成本比較低,不象傳統(tǒng)的高可用方案一樣需要共享的存儲設(shè)備和專用的軟件才能實現(xiàn),NDB 只要有足夠的內(nèi)存就能實現(xiàn)。
本文將搭建一個最簡化的MySQL Cluster系統(tǒng),配置方法中的所有命令都是以root賬戶運行。這個MySQL Cluster包含一個管理結(jié)點、兩個數(shù)據(jù)結(jié)點、兩個SQL結(jié)點,這五個結(jié)點會分別安裝在五個虛擬機(jī)上,虛擬機(jī)的名稱和IP如下所示:
一、公共配置
請在三個虛擬機(jī)上分別配置此處的配置項。
1. 安裝虛擬機(jī)
虛擬機(jī)操作系統(tǒng)安裝CentOS 6.4的x86_64版本,使用NAT網(wǎng)絡(luò),并且還要安裝vmware-tools,具體安裝方法此處不詳述。
2. 拷貝mysql cluster
下載MySQL-Cluster:
下載得到的壓縮包拷貝至虛擬機(jī)的/root/Downloads目錄,然后在shell中運行以下命令:
cd /root/Downloads tar -xvzf mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64.tar.gz mv mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64 /usr/local/mysql
3. 關(guān)閉安全策略
關(guān)閉iptables防火墻(或者打開防火墻的1186、3306端口),在Shell中運行以下命令:
chkconfig --level 35 iptables off
關(guān)閉SELinux,在Shell中運行以下命令:
gedit /etc/selinux/config
將config文件中的SELINUX項改為disabled,修改后的config文件的內(nèi)容如下:
# This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUX=disabled # SELINUXTYPE= can take one of these two values: # targeted - Targeted processes are protected, # mls - Multi Level Security protection. SELINUXTYPE=targeted
最后重啟系統(tǒng)
二、配置管理結(jié)點(192.168.124.141)
1. 配置config.ini配置文件
在shell中運行以下命令:
mkdir /var/lib/mysql-cluster cd /var/lib/mysql-cluster gedit config.ini
配置文件config.ini內(nèi)容如下:
[ndbd default] NoOfReplicas=2 DataMemory=80M IndexMemory=18M [ndb_mgmd] NodeId=1 hostname=192.168.124.141 datadir=/var/lib/mysql-cluster [ndbd] NodeId=2 hostname=192.168.124.142 datadir=/usr/local/mysql/data [ndbd] NodeId=3 hostname=192.168.124.143 datadir=/usr/local/mysql/data [mysqld] NodeId=4 hostname=192.168.124.144 [mysqld] NodeId=5 hostname=192.168.124.145
2. 安裝管理結(jié)點
安裝管理節(jié)點,不需要mysqld二進(jìn)制文件,只需要MySQL Cluster服務(wù)端程序(ndb_mgmd)和監(jiān)聽客戶端程序(ndb_mgm)。在shell中運行以下命令:
cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin cd /usr/local/bin chmod +x ndb_mgm*
三、配置數(shù)據(jù)結(jié)點(192.168.124.142、192.168.124.143)
1. 添加mysql組和用戶
在shell中運行以下命令:
groupadd mysql useradd -g mysql mysql
2. 配置my.cnf配置文件
在shell中運行以下命令:
gedit /etc/my.cnf
配置文件my.cnf的內(nèi)容如下:
[mysqld] basedir=/usr/local/mysql datadir=/usr/local/mysql/data socket=/usr/local/mysql/sock/mysql.sock user=mysql # Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0 [mysqld_safe] log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid [mysql_cluster] ndb-connectstring=192.168.124.141
3. 創(chuàng)建系統(tǒng)數(shù)據(jù)庫
在shell中運行以下命令:
cd /usr/local/mysql mkdir sock scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
4. 設(shè)置數(shù)據(jù)目錄
在shell中運行以下命令:
chown -R root . chown -R mysql.mysql /usr/local/mysql/data chown -R mysql.mysql /usr/local/mysql/sock chgrp -R mysql .
5. 配置MySQL服務(wù)
在shell中運行以下命令:
cp support-files/mysql.server /etc/rc.d/init.d/ chmod +x /etc/rc.d/init.d/mysql.server chkconfig --add mysql.server
四、配置SQL結(jié)點(192.168.124.144、192.168.124.145)
1. 添加mysql組和用戶
在shell中運行以下命令:
groupadd mysql useradd -g mysql mysql
2. 配置my.cnf配置文件
在shell中運行以下命令:
gedit /etc/my.cnf
配置文件my.cnf的內(nèi)容如下:
[client] socket=/usr/local/mysql/sock/mysql.sock [mysqld] ndbcluster datadir=/usr/local/mysql/data socket=/usr/local/mysql/sock/mysql.sock ndb-connectstring=192.168.124.141 [mysql_cluster] ndb-connectstring=192.168.124.141
3. 創(chuàng)建系統(tǒng)數(shù)據(jù)庫
在shell中運行以下命令:
cd /usr/local/mysql mkdir sock scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
4. 設(shè)置數(shù)據(jù)目錄
在shell中運行以下命令:
chown -R root . chown -R mysql.mysql /usr/local/mysql/data chown -R mysql.mysql /usr/local/mysql/sock chgrp -R mysql .
5. 配置MySQL服務(wù)
在shell中運行以下命令:
cp support-files/mysql.server /etc/rc.d/init.d/ chmod +x /etc/rc.d/init.d/mysql.server chkconfig --add mysql.server
五、Cluster環(huán)境啟動
注意啟動順序:首先是管理節(jié)點,然后是數(shù)據(jù)節(jié)點,最后是SQL節(jié)點。
1. 啟動管理結(jié)點
在shell中運行以下命令:
ndb_mgmd -f /var/lib/mysql-cluster/config.ini
還可以使用ndb_mgm來監(jiān)聽客戶端,如下:
ndb_mgm
2. 啟動數(shù)據(jù)結(jié)點
首次啟動,則需要添加--initial參數(shù),以便進(jìn)行NDB節(jié)點的初始化工作。在以后的啟動過程中,則是不能添加該參數(shù)的,否則ndbd程序會清除在之前建立的所有用于恢復(fù)的數(shù)據(jù)文件和日志文件。
/usr/local/mysql/bin/ndbd --initial
如果不是首次啟動,則執(zhí)行下面的命令。
/usr/local/mysql/bin/ndbd
3. 啟動SQL結(jié)點
若MySQL服務(wù)沒有運行,則在shell中運行以下命令:
/usr/local/mysql/bin/mysqld_safe --user=mysql &
4. 啟動測試
查看管理節(jié)點,啟動成功
六、集群測試
1. 測試一
現(xiàn)在我們在其中一個SQL結(jié)點上進(jìn)行相關(guān)數(shù)據(jù)庫的創(chuàng)建,然后到另外一個SQL結(jié)點上看看數(shù)據(jù)是否同步。
在SQL結(jié)點1(192.168.124.144)上執(zhí)行:
shell> /usr/local/mysql/bin/mysql -u root -p mysql>show databases; mysql>create database aa; mysql>use aa; mysql>CREATE TABLE ctest2 (i INT) ENGINE=NDB; //這里必須指定數(shù)據(jù)庫表的引擎為NDB,否則同步失敗 mysql> INSERT INTO ctest2 () VALUES (1); mysql> SELECT * FROM ctest2;
然后在SQL結(jié)點2上看數(shù)據(jù)是否同步過來了
經(jīng)過測試,在非master上創(chuàng)建數(shù)據(jù),可以同步到master上
查看表的引擎是不是NDB,>show create table 表名;
2. 測試二
關(guān)閉一個數(shù)據(jù)節(jié)點 ,在另外一個節(jié)點寫輸入,開啟關(guān)閉的節(jié)點,看數(shù)據(jù)是否同步過來。
首先把數(shù)據(jù)結(jié)點1重啟,然后在結(jié)點2上添加數(shù)據(jù)
在SQL結(jié)點2(192.168.124.145)上操作如下:
mysql> create database bb; mysql> use bb; mysql> CREATE TABLE ctest3 (i INT) ENGINE=NDB; mysql> use aa; mysql> INSERT INTO ctest2 () VALUES (3333); mysql> SELECT * FROM ctest2;
等數(shù)據(jù)結(jié)點1啟動完畢,啟動數(shù)據(jù)結(jié)點1的服務(wù)
#/usr/local/mysql/bin/ndbd --initial#service mysqld start
然后登錄進(jìn)去查看數(shù)據(jù)
# /usr/local/mysql/bin/mysql -u root –p
可以看到數(shù)據(jù)已經(jīng)同步過來了,說明數(shù)據(jù)可以雙向同步了。
七、關(guān)閉集群
1. 關(guān)閉管理節(jié)點和數(shù)據(jù)節(jié)點,只需要在管理節(jié)點(ClusterMgm--134)里執(zhí)行:
Connected to Management Server at: localhost:1186 2 NDB Cluster node(s) have shutdown. Disconnecting to allow management server to shutdown.
顯示
Connected to Management Server at: localhost:1186 2 NDB Cluster node(s) have shutdown. Disconnecting to allow management server to shutdown.
2. 然后關(guān)閉Sql節(jié)點(135,136),分別在2個節(jié)點里運行:
shell> /etc/init.d/mysql.server stop Shutting down MySQL... SUCCESS!
注意:要再次啟動集群,就按照第五部分的啟動步驟即可,不過這次啟動數(shù)據(jù)節(jié)點的時候就不要加”-initial”參數(shù)了。
以上就是MySQL集群搭建過程,希望對大家自己動手搭建MySQL集群有所幫助
相關(guān)文章
高效數(shù)據(jù)流轉(zhuǎn):Mycat分庫分表與GreatSQL實時同步
聚焦數(shù)據(jù)庫擴(kuò)容與實時數(shù)據(jù)同步,探索MyCat分庫分表與GreatSQL的強(qiáng)大結(jié)合!想在大規(guī)模數(shù)據(jù)處理中游刃有余?本指南將帶你輕松掌握MyCat的分布式解決方案和GreatSQL的實時同步機(jī)制,讓高效、穩(wěn)定的數(shù)據(jù)庫管理觸手可及,一起揭開高并發(fā)環(huán)境下數(shù)據(jù)庫優(yōu)化的神秘面紗吧!2024-01-01- 在講MySQL的Join語法前還是先回顧一下聯(lián)結(jié)的語法,呵呵,其實連我自己都忘得差不多了,那就大家一起溫習(xí)吧,這里我有個比較簡便的記憶方法,內(nèi)外聯(lián)結(jié)的區(qū)別是內(nèi)聯(lián)結(jié)將去除所有不符合條件的記錄,而外聯(lián)結(jié)則保留其中部分。外左聯(lián)結(jié)與外右聯(lián)結(jié)的區(qū)別在于如果用A左聯(lián)結(jié)B則A中所有記錄都會保留在結(jié)果中,此時B中只有符合聯(lián)結(jié)條件的記錄,而右聯(lián)結(jié)相反,這樣也就不會混淆了。2014-05-05
MySQL和Oracle的元數(shù)據(jù)抽取實例分析
MySQL和Oracle雖然在架構(gòu)上有很大的不同,但是如果從某些方面比較起來,它們有些方面也是相通的,下面這篇文章主要給大家介紹了關(guān)于MySQL和Oracle元數(shù)據(jù)抽取的相關(guān)資料,需要的朋友可以參考下2021-12-12MySQL group by和left join并用解決方式
這篇文章主要介紹了MySQL group by和left join并用解決方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-12-12