[發(fā)明專利]一種文件重組的方法及設備

在審

• 申請?zhí)枺?/td>: 202010647779.1
• 申請日: 2020-07-07
• 公開（公告）號: CN111913916A
• 公開（公告）日: 2020-11-10
• 發(fā)明（設計）人: 付春玉
• 申請（專利權(quán)）人: 泰康保險集團股份有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/18;G06F16/23;G06F11/14
• 代理公司: 北京同達信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 李迪

本發(fā)明提供一種文件重組的方法及設備，應用于業(yè)務服務器，該方法包括：響應于文件重組指令，獲取當前的源文件以對所述源文件進行鏡像備份得到靜態(tài)源文件；獲取對所述靜態(tài)源文件中業(yè)務數(shù)據(jù)重組后得到的目標文件，及根據(jù)業(yè)務數(shù)據(jù)在所述靜態(tài)源文件與目標文件中的位置生成的映射文件；響應于文件更新指令，獲取記錄當前的源文件相對于所述靜態(tài)源文件變化信息的更新日志；根據(jù)所述更新日志和映射文件，對所述目標文件中的業(yè)務數(shù)據(jù)進行相應更新，確定完成更新時，利用更新后的目標文件替換當前的源文件。本發(fā)明提供的文件重組的方法及設備，解決了現(xiàn)有文件重組的方法存在的需要較長停機執(zhí)行窗口、文件重組效率低的問題。

技術領域

本發(fā)明涉及計算機技術領域，特別涉及一種文件重組的方法及設備。

背景技術

目前為了提高業(yè)務服務質(zhì)量，一些業(yè)務系統(tǒng)的核心服務器需要不間斷對外提供服務，導致核心服務器的停機維護時間窗口越來越少。但是由于服務器的操作系統(tǒng)以及應用程序的一些條件限制，又需要定期對服務器的數(shù)據(jù)庫文件做維護操作。

目前，應用程序規(guī)定部分物理文件記錄上限數(shù)是10億，操作系統(tǒng)規(guī)定物理文件記錄上限數(shù)是42億，對于即將達到上限數(shù)的數(shù)據(jù)庫文件需要做歸檔操作，即，將滿足一定條件的數(shù)據(jù)轉(zhuǎn)移到其他數(shù)據(jù)庫文件中。在歸檔過程中會形成大量刪除數(shù)據(jù)空間，而這些刪除數(shù)據(jù)空間無法自動釋放，因此在完成歸檔后還要做重組操作，釋放刪除數(shù)據(jù)空間，從而合理利用數(shù)據(jù)存儲空間。此外，一些業(yè)務頻繁對數(shù)據(jù)庫文件進行寫入及刪除操作，也會對物理文件形成大量的刪除數(shù)據(jù)空間，也需要進行重組操作。

對超大數(shù)據(jù)文件進行重組可以提高文件訪問效率，縮短數(shù)據(jù)響應時間，并且可以避免觸及應用軟件以及操作系統(tǒng)的硬性限制，降低系統(tǒng)運維風險。目前常采用的RGZPFM(Reorganize Physical File Member，重組物理文件成員)管理方法，能夠?qū)崿F(xiàn)數(shù)據(jù)庫文件的重組。該方法可以自動將所有刪除數(shù)據(jù)空間釋放并重排數(shù)據(jù)，從而有效降低存儲使用率，提高數(shù)據(jù)訪問效率，具有較高的穩(wěn)定性、可靠性。但是，對數(shù)據(jù)量較大的物理文件，例如數(shù)據(jù)記錄數(shù)量接近10億、總?cè)萘拷咏?00GB的物理文件，進行重組時，實際的重組時間一般會超過2個小時，因此文件重組的效率非常低，且需要申請長時間的停機維護窗口，可能會給運維造成壓力。此外，RGZPFM方法中文件重組命令一旦提交，即交給操作系統(tǒng)來完成全部動作，因此文件重組的整體過程和進度的透明度很低。

目前還可在文件重組前先將待重組的文件整體搬進內(nèi)存，從而減少重組過程中數(shù)據(jù)讀取時間，但真實環(huán)境中的系統(tǒng)內(nèi)存容量有限，一些物理文件的容量可能遠遠超過系統(tǒng)實際內(nèi)存的大小，因此這種方法可能會對系統(tǒng)的性能產(chǎn)生較大影響。

綜上，目前進行文件重組的方法存在需要較長的停機窗口執(zhí)行重組方法，導致文件重組效率低的問題，因此，需要提出更加有效縮短停機重組時間，提高重組效率的文件重組方法。

發(fā)明內(nèi)容

本發(fā)明提供了一種文件重組的方法及設備，用以解決現(xiàn)有的文件重組的方法存在的需要較長停機執(zhí)行窗口、文件重組效率低的問題。

根據(jù)本發(fā)明實施例的第一方面，提供一種文件重組的方法，應用于業(yè)務服務器，該方法包括：

響應于文件重組指令，獲取當前的源文件以對所述源文件進行鏡像備份得到靜態(tài)源文件；

獲取對所述靜態(tài)源文件中業(yè)務數(shù)據(jù)重組后得到的目標文件，及根據(jù)業(yè)務數(shù)據(jù)在所述靜態(tài)源文件與目標文件中的位置生成的映射文件；

響應于文件更新指令，獲取記錄當前的源文件相對于所述靜態(tài)源文件變化信息的更新日志；

根據(jù)所述更新日志和映射文件，對所述目標文件中的業(yè)務數(shù)據(jù)進行相應更新，確定完成更新時，利用更新后的目標文件替換當前的源文件。

可選地，獲取當前的源文件以對所述源文件進行鏡像備份得到靜態(tài)源文件，包括：

獲取當前的源文件，在本地對所述源文件進行鏡像備份得到靜態(tài)源文件；