[發明專利]基于分庫分表的文件處理方法和裝置

有效

• 申請號: 201710296156.2
• 申請日: 2017-04-28
• 公開（公告）號: CN107402950B
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 丁彬
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/13
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥;王劍

本申請提供一種基于分庫分表的文件處理方法和裝置。該方法包括：根據預設的業務維度將待處理文件拆分為多個子文件；將所述子文件中的數據寫入對應的數據庫分表中；采用分布式并行的處理方式調用業務系統對所述數據庫分表中的數據進行處理，以實現對所述待處理文件的處理。申請通過將待處理文件的數據持久化到數據庫中，可以提高文件處理的速率，同時還具有節省系統資源、提高數據利用率等有益效果。

技術領域

本申請涉及計算機技術領域，尤其涉及一種基于分庫分表的文件處理方法和裝置。

背景技術

相關技術中，可將數據保存在文件中，在對文件進行處理時，文件系統需要逐行讀取文件中的數據，并調用業務系統進行處理。如何提高文件的處理速率已成為目前亟待解決的問題。

發明內容

有鑒于此，本申請提供一種基于分庫分表的文件處理方法和裝置。

具體地，本申請是通過如下技術方案實現的：

一種基于分庫分表的文件處理方法，包括：

根據預設的業務維度將待處理文件拆分為多個子文件；

將所述子文件中的數據寫入對應的數據庫分表中；

采用分布式并行的處理方式調用業務系統對所述數據庫分表中的數據進行處理，以實現對所述待處理文件的處理。

一種基于分庫分表的文件處理裝置，包括：

拆分單元，根據預設的業務維度將待處理文件拆分為多個子文件；

寫入單元，將所述子文件中的數據寫入對應的數據庫分表中；

處理單元，采用分布式并行的處理方式調用業務系統對所述數據庫分表中的數據進行處理，以實現對所述待處理文件的處理。

由以上描述可以看出，本申請通過將待處理文件的數據持久化到數據庫中，可以提高文件處理的速率，同時還具有節省系統資源、提高數據利用率等有益效果。

附圖說明

圖1是本申請一示例性實施例示出的一種基于分庫分表的文件處理方法的流程示意圖。

圖2是本申請一示例性實施例示出的一種將待處理文件拆分為多個子文件的流程示意圖。

圖3是本申請一示例性實施例示出的另一種將待處理文件拆分為多個子文件的流程示意圖。

圖4是本申請一示例性實施例示出的一種文件系統的示意圖。

圖5是本申請一示例性實施例示出的一種基于分庫分表的文件處理裝置的框圖。

具體實施方式

這里將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本申請相一致的所有實施方式。相反，它們僅是與如所附權利要求書中所詳述的、本申請的一些方面相一致的裝置和方法的例子。

在本申請使用的術語是僅僅出于描述特定實施例的目的，而非旨在限制本申請。在本申請和所附權利要求書中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“和/或”是指并包含一個或多個相關聯的列出項目的任何或所有可能組合。

應當理解，盡管在本申請可能采用術語第一、第二、第三等來描述各種信息，但這些信息不應限于這些術語。這些術語僅用來將同一類型的信息彼此區分開。例如，在不脫離本申請范圍的情況下，第一信息也可以被稱為第二信息，類似地，第二信息也可以被稱為第一信息。取決于語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“響應于確定”。