[發(fā)明專利]主節(jié)點選舉方法、裝置和分布式存儲系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711498417.5
• 申請日: 2017-12-29
• 公開（公告）號: CN109995835A
• 公開（公告）日: 2019-07-09
• 發(fā)明（設計）人: 曹奧
• 申請（專利權(quán)）人: 浙江宇視科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務所(普通合伙) 11371
• 代理人: 張海洋

本發(fā)明提供了一種主節(jié)點選舉方法、裝置和分布式存儲系統(tǒng)，屬于網(wǎng)絡存儲技術領域。本發(fā)明實施例提供的主節(jié)點選舉方法、裝置和分布式存儲系統(tǒng)，分布式存儲系統(tǒng)集群中的每個節(jié)點具有一個唯一對應的數(shù)字編號，發(fā)起選舉時，根據(jù)每個節(jié)點的數(shù)字編號的大小，確定集群的主節(jié)點。該方法不需要集群文件系統(tǒng)提供加鎖文件，不依賴于集群文件系統(tǒng)的穩(wěn)定，獨立性強。當發(fā)起選舉的節(jié)點接收到達到設定數(shù)量的選舉響應消息時，才能成為主節(jié)點。當單臺設備斷開網(wǎng)絡連接時，單臺設備無法成為主節(jié)點，不會出現(xiàn)集群中IP地址沖突的現(xiàn)象。

技術領域

本發(fā)明涉及網(wǎng)絡存儲設備技術領域，具體而言，涉及一種主節(jié)點選舉方法、裝置和分布式存儲系統(tǒng)。

背景技術

集群(Cluster)是由多個節(jié)點構(gòu)成的一種松散耦合的計算節(jié)點集合，協(xié)同起來對外提供服務。集群NAS(Network Attached Storage，網(wǎng)絡附加存儲)是指協(xié)同多個節(jié)點(即通常所稱的NAS機頭)提供高性能、高可用或高負載均衡的NAS(NFS/CIFS)服務。集群NAS是一種橫向擴展(Scale-out)存儲架構(gòu)，具有容量和性能線性擴展的優(yōu)勢。

集群NAS系統(tǒng)主要包括集群文件系統(tǒng)、高可用NAS集群和負載集群三個邏輯部分。集群NAS系統(tǒng)基于標準的NFS/CIFS/HTTP/FTP等協(xié)議來提供數(shù)據(jù)訪問服務。多個物理節(jié)點(物理主機)通過CTDB構(gòu)建成高可用NAS集群，也可稱為CTDB集群。CTDB全稱為samba CTDB，是一個集群TDB數(shù)據(jù)庫，可以被Samba或者其他的應用使用來存儲數(shù)據(jù)，例如，用于存放包括samba或其他應用所需的臨時文件。該數(shù)據(jù)庫為整個CTDB集群提供連續(xù)的數(shù)據(jù)信息，用以保障集群的業(yè)務連續(xù)。

上述物理節(jié)點與負載集群之間采用NFS/Samba/Httpd/vsftpd等軟件接口連接，負載集群采用LVS系統(tǒng)來實現(xiàn)負載，對外使用單一的IP地址提供服務。圖1示出了集群NAS系統(tǒng)的系統(tǒng)總體架構(gòu)，如圖1所示，集群NAS系統(tǒng)在邏輯上由三個獨立的邏輯集群構(gòu)成，實際構(gòu)建部署中這三個邏輯集群可以位于同一個物理集群上。如此，即可有效提高每個物理節(jié)點的利用效率，更為重要的是能夠大大節(jié)約成本。

在由多個物理節(jié)點組成的CTDB集群中，會選舉出一個主節(jié)點(recmaster)。該主節(jié)點由集群中的所有節(jié)點通過選舉產(chǎn)生，負責IP地址的分布計算，通知各個從節(jié)點釋放IP地址或取得IP地址。

在現(xiàn)有的主節(jié)點選舉方案中，CTDB集群依賴于存儲節(jié)點提供一個lock卷作為共享存儲，在該lock卷中創(chuàng)建有一個加鎖文件(lockfile)。所有節(jié)點在試圖成為recmaster之前，都需要先對該lockfile文件進行加鎖操作，加鎖成功后，才可以進入選舉階段，在所有節(jié)點中選舉出一個節(jié)點，作為recmaster。recmaster仲裁出來后，就可以完成對集群里虛IP的分布情況進行均衡分配，保證集群內(nèi)部虛IP分配的盡量均衡以及實現(xiàn)虛IP的接管，保證客戶端業(yè)務連續(xù)性以及各個節(jié)點的業(yè)務盡量均衡。

由于上述方案需要使用分布式lock卷，采用文件加鎖的方式完成recmaster仲裁，因此需要依賴后端分布式文件系統(tǒng)的穩(wěn)定。另外，由于存儲節(jié)點提供的共享存儲通常是副本類型的卷，當CTDB集群中的單臺設備斷網(wǎng)時，容易構(gòu)造裂腦的情況。

例如，集群中包含有三個節(jié)點，節(jié)點A、節(jié)點B、和節(jié)點C，lock卷提供三副本的卷，然后三個節(jié)點(或者說三臺設備)組成CTDB集群，如果節(jié)點A與其它節(jié)點斷開連接，則可能出現(xiàn)節(jié)點A訪問的只是節(jié)點A的存儲空間，然后也加鎖成功，節(jié)點A成為recmaster，節(jié)點B和節(jié)點C也仲裁出一個recmaster。此時，由節(jié)點A組成一個小集群，由節(jié)點B和節(jié)點C組成另一個小集群，從而可能導致兩個小集群之間出現(xiàn)IP地址沖突，通常稱為裂腦。

發(fā)明內(nèi)容

針對上述現(xiàn)有技術中存在的問題，本發(fā)明提供了一種主節(jié)點選舉方法、裝置和分布式存儲系統(tǒng)。