[發(fā)明專利]數(shù)據(jù)快速批量導入方法、電子裝置及計算機可讀存儲介質

有效

• 申請?zhí)枺?/td>: 201810192796.3
• 申請日: 2018-03-08
• 公開（公告）號: CN108491475B
• 公開（公告）日: 2020-03-31
• 發(fā)明（設計）人: 朱軍;馮心;吳訓術;李長春;曾濤
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 林彥之

1.一種數(shù)據(jù)快速批量導入方法，其特征在于，包括如下步驟：

S1、接收上傳的文件，對所述文件進行后綴校驗，若后綴校驗通過則執(zhí)行S2，否則發(fā)送上傳文件格式錯誤的提示并結束；

S2、讀取所述文件中的數(shù)據(jù)，若數(shù)據(jù)讀取成功則執(zhí)行S3，否則發(fā)送上傳文件格式錯誤的提示并結束；S2具體包括以下分步驟：

S21、截取所述文件的后綴名以判斷所述文件的格式；

S22、調用與所述文件的格式相對應的第三方組件；

S23、采用所述第三方組件讀取所述文件中的數(shù)據(jù)；

S24、判斷讀取的數(shù)據(jù)是否為空，若是則讀取失敗，若否則讀取成功；

S3、從預設的若干校驗規(guī)則中獲取與所述文件的后綴相對應的校驗規(guī)則對讀取的數(shù)據(jù)進行校驗，若數(shù)據(jù)校驗通過則執(zhí)行S4，否則發(fā)送校驗不通過的提示并結束；

S4、從預設的數(shù)據(jù)存儲腳本中獲取與用于存儲數(shù)據(jù)的存儲器相對應的數(shù)據(jù)存儲腳本；

S5、根據(jù)獲取的數(shù)據(jù)存儲腳本調用相對應的存儲器的連接信息，將所述文件中的數(shù)據(jù)保存至所述存儲器中。

2.根據(jù)權利要求1所述的數(shù)據(jù)快速批量導入方法，其特征在于，S1中所述的后綴校驗具體為：截取所述文件的后綴名，判斷該后綴名是否位于預設的后綴白名單中，若是則校驗通過；

所述后綴白名單中包含的后綴名包括.csv、.txt、.xls和.xlsx。

3.根據(jù)權利要求1所述的數(shù)據(jù)快速批量導入方法，其特征在于，S21中所述文件的格式包括純文本文件、文本文檔和excel電子表格，所述純文本文件對應的后綴名為.csv，所述文本文檔對應的后綴名為.txt，所述excel電子表格對應的后綴名為.xls或.xlsx。

4.根據(jù)權利要求3所述的數(shù)據(jù)快速批量導入方法，其特征在于，S22中與所述純文本文件或所述文本文檔相對應的第三方組件為java API，與所述excel電子表格相對應的第三方組件為apache poi。

5.根據(jù)權利要求1所述的數(shù)據(jù)快速批量導入方法，其特征在于，S3中所述預設的校驗規(guī)則包括重復行校驗、腳本校驗、表達式校驗和全局校驗。

6.根據(jù)權利要求1所述的數(shù)據(jù)快速批量導入方法，其特征在于，S4中所述存儲器包括數(shù)據(jù)庫和目標存儲設備；所述數(shù)據(jù)庫對應的數(shù)據(jù)存儲腳本為SQL腳本，所述目標存儲設備對應的數(shù)據(jù)存儲腳本為shell腳本。

7.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器上存儲有可被所述處理器執(zhí)行的數(shù)據(jù)快速批量導入系統(tǒng)，所述數(shù)據(jù)快速批量導入系統(tǒng)包括：

文件接收模塊，用于接收上傳的文件；

文件校驗模塊，用于對接收到的文件進行后綴校驗；

數(shù)據(jù)讀取模塊，用于在后綴校驗通過后讀取文件中的數(shù)據(jù)；所述數(shù)據(jù)讀取模塊具體包括以下子模塊：

截取子模塊，用于截取所述文件的后綴名以判斷所述文件的格式；

調用子模塊，用于根據(jù)所述文件的格式調用相對應的第三方組件；

讀取子模塊，用于通過所述第三方組件讀取所述文件中的數(shù)據(jù)；

判斷子模塊，用于根據(jù)讀取的數(shù)據(jù)是否為空來判斷讀取失敗還是讀取成功；

數(shù)據(jù)校驗模塊，用于在數(shù)據(jù)讀取成功后，從預設的若干校驗規(guī)則中獲取與所述文件的后綴相對應的校驗規(guī)則對讀取的數(shù)據(jù)進行校驗；

腳本獲取模塊，用于在數(shù)據(jù)校驗通過后，從預設的數(shù)據(jù)存儲腳本中獲取與用于存儲數(shù)據(jù)的存儲器相對應的數(shù)據(jù)存儲腳本；

數(shù)據(jù)存儲模塊，用于根據(jù)獲取的數(shù)據(jù)存儲腳本調用相對應的存儲器的連接信息，將所述文件中的數(shù)據(jù)保存至所述存儲器中；

提示發(fā)送模塊，用于在后綴校驗不通過和數(shù)據(jù)讀取失敗后發(fā)送上傳文件格式錯誤的提示，以及在數(shù)據(jù)校驗不通過后發(fā)送校驗不通過的提示。

8.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質內存儲有數(shù)據(jù)快速批量導入系統(tǒng)，所述數(shù)據(jù)快速批量導入系統(tǒng)可被至少一個處理器所執(zhí)行，以使所述至少一個處理器執(zhí)行如權利要求1-6中任一項所述的數(shù)據(jù)快速批量導入方法的步驟。