[發明專利]數據導入方法及裝置

在審

• 申請號: 202010655165.8
• 申請日: 2020-07-09
• 公開（公告）號: CN111651514A
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 李文彬;王凱
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/16;G06F9/50
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 谷敬麗;吳學鋒

1.一種數據導入方法，其特征在于，所述方法包括：

獲取所需導入的目標文件；

確定目標文件的文件類型，獲取預先配置的與文件類型對應的目標文件解析器；

利用目標文件解析器解析相應文件類型的目標文件，按照指定格式將解析后的目標文件轉換為數據集，所述數據集中包含目標文件導入的目標數據表的名稱；

根據目標數據表的名稱，將數據集中數據導入對應目標數據表中。

2.根據權利要求1所述的方法，其特征在于，獲取所需導入目標數據表的目標文件，包括：

獲取用戶指定的目標存儲位置及掃描規則，所述掃描規則用于指示將文件名稱中包含指定字符的文件確定為目標文件；

按照掃描規則，從目標存儲位置存儲的所有文件中掃描得到目標文件的名稱；

利用NIO技術將掃描得到的名稱對應的目標文件映射至內存中。

3.根據權利要求1或2所述的方法，其特征在于，利用目標文件解析器解析相應文件類型的文件，包括：

讀取目標文件，判斷目標文件中數據行數是否大于數量閾值；

如果數據行數大于數量閾值，則按照數量閾值切分目標文件，得到多個分片文件，其中，每個分片文件中數據行數小于等于數量閾值；

基于多線程機制，利用目標文件解析器多線程并發解析分片文件。

4.根據權利要求1所述的方法，其特征在于，在利用目標文件解析器解析相應文件類型的目標文件，得到數據集之后，所述方法還包括：

將數據集放入數據集緩沖區；

將數據集導入目標數據表中，包括：

從數據集緩沖區中取出數據集，根據目標數據表的名稱，將數據集導入對應目標數據表中；

其中，在數據集緩沖區中以隊列的形式存儲指定數量的數據集；當數據集緩沖區中存滿數據集后，等待隊頭的數據集被取出后，在隊尾放入新的數據集。

5.一種數據導入裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取所需導入的目標文件；

獲取模塊，還用于確定目標文件的文件類型，獲取預先配置的與文件類型對應的目標文件解析器；

解析模塊，用于利用獲取模塊獲取的目標文件解析器解析相應文件類型的目標文件，按照指定格式將解析后的目標文件轉換為數據集，所述數據集中包含目標文件導入的目標數據表的名稱；

導入模塊，用于根據目標數據表的名稱，將數據集中數據導入對應目標數據表中。

6.根據權利要求5所述的裝置，其特征在于，獲取模塊，用于：

獲取用戶指定的目標存儲位置及掃描規則，所述掃描規則用于指示將文件名稱中包含指定字符的文件確定為目標文件；

按照掃描規則，從目標存儲位置存儲的所有文件中掃描得到目標文件的名稱；

利用NIO技術將掃描得到的名稱對應的目標文件映射至內存中。

7.根據權利要求5或6所述的裝置，其特征在于，解析模塊，用于：

讀取目標文件，判斷目標文件中數據行數是否大于數量閾值；

如果數據行數大于數量閾值，則按照數量閾值切分目標文件，得到多個分片文件，其中，每個分片文件中數據行數小于等于數量閾值；

基于多線程機制，利用目標文件解析器多線程并發解析分片文件。

8.根據權利要求5所述的裝置，其特征在于，所述裝置還包括：

處理模塊，用于將數據集放入數據集緩沖區；

導入模塊，用于：從數據集緩沖區中取出數據集，根據目標數據表的名稱，將數據集導入對應目標數據表中；

其中，在數據集緩沖區中以隊列的形式存儲指定數量的數據集；當數據集緩沖區中存滿數據集后，等待隊頭的數據集被取出后，在隊尾放入新的數據集。

9.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至4任一所述方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有執行權利要求1至4任一所述方法的計算機程序。