[發明專利]一種分布式海量非結構化數據備份方法及系統

有效

• 申請號: 201810961531.5
• 申請日: 2018-08-22
• 公開（公告）號: CN109144783B
• 公開（公告）日: 2020-08-18
• 發明（設計）人: 王仁杰;李正祥;張有成
• 申請（專利權）人: 南京壹進制信息科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了一種分布式海量非結構化數據的備份方法及系統，依據各生產服務器的性能指標確定性能權值，在整個備份任務分解時，均衡生產環境中各生產服務器性能指標，實現多個生產服務器協同將共享存儲中海量非結構化數據備份至后端服務器，提高生產環境中服務器總體性能。

技術領域

本發明涉及數據備份技術領域，具體涉及一種分布式海量非結構化數據的備份方法及系統。

背景技術

計算機信息化系統中的數據分為結構化數據和非結構化數據。非結構化數據是數據結構不規則或不完整，沒有預定義的數據模型，不方便用數據庫二維邏輯表來表現的數據，包括格式有辦公文檔、文本、圖片、XML、 HTML、各類報表、圖像和音頻/視頻信息等，其格式非常多樣，標準也是多樣性的，而且在技術上非結構化信息比結構化信息更難標準化和理解。

隨著實際生產環境中，服務器上非結構化數據呈現海量增長趨勢，備份技術方案也要求不斷優化，以縮短備份周期，減少數據丟失風險。與傳統結構化數據相比，具有無規則性，需要使用定制化的備份軟件，對其做長期的歸檔性備份。若數據量接近海量，對備份效率較高時，對生產服務器本身資源（如內存、CPU、存儲IO）也有著相應增長的需求，如何保證生產服務器高效備份數據的同時擁有寬松的并發空間，對于備份方法提出了較高的要求。

針對海量非結構化數據的備份性能優化，目前主要通過并行的、多通道化的、多進程間協同執行一個備份任務來提高同一時間所能操作的數據流量來提升整體的備份效率。現有對海量非結構化數據環境中的生產服務器數據所采用的備份方式，主要是通過創建單個進程（內部可使用多個工作子線程）執行一個備份任務；或者通過創建多個執行進程并行執行一個備份任務（并行方式）；這兩種方式存在單點服務器性能瓶頸，即雖然在單個服務器環境中，可以充分地利用內存、CPU、磁盤等硬件資源來完成特定的備份任務，但是整個服務器在某段時間內的并發性能將得不到充分利用。如果整個服務器只進行特定一個備份任務，并發性能還可以接受，如果需要進行多個備份任務，或者多種類型的任務，整個服務器將會出現嚴重的性能過載，各任務頻繁請求時間片、CPU、內存，IO也將頻繁被調度切換，從而導致服務器整體性能下降。

發明內容

本發明的目的在于克服現有技術中的不足，提供一種分布式海量非結構化數據的備份方法及系統，解決了現有存在單點服務器性能瓶頸的技術問題。

為解決上述技術問題，本發明提供了一種分布式海量非結構化數據的備份方法，其特征是，包括多個生產服務器、和后端服務器，多個生產服務器協同將分布式共享存儲中海量非結構化數據備份至后端服務器，具體包括以下過程：

步驟S1， 依據各生產服務器的性能指標計算確定對應各生產服務器的性能權重；

步驟S2，當其中一個生產服務器接收到將共享存儲中數據備份至后端服務器的備份任務時，針對此備份任務創建一個備份進程生成相應的備份策略；

步驟S3，將備份策略分解成若干個子進程執行，并依據各生產服務器的性能權重將所有子進程分配至各生產服務器；

步驟S4，各生產服務器中所有子進程依據各自的備份策略執行，分別將共享存儲中數據備份至后端服務器中；

步驟S5，備份任務完成后，釋放各子進程和備份進程資源。

優選的，性能權重是依據生產服務器的性能指標，采用負載均衡服務算法計算得到的一個具體數值，性能權重數值越大，代表生產服務器性能越好。

優選的，生產服務器的性能權重數值越大，分配得到的子進程數越多。

優選的，所有子進程中選舉一個子進程作為主子進程，其他子進程為從子進程，以主-從方式執行。

優選的，采用分布式一致性算法選出主子進程。