[發明專利]數據導入方法及裝置

在審

• 申請號: 202010655165.8
• 申請日: 2020-07-09
• 公開（公告）號: CN111651514A
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 李文彬;王凱
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/16;G06F9/50
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 谷敬麗;吳學鋒

本發明公開了一種數據導入方法及裝置，其中該方法包括：獲取所需導入的目標文件；確定目標文件的文件類型，獲取與文件類型對應的目標文件解析器；利用目標文件解析器解析相應文件類型的目標文件，按照指定格式將解析后的目標文件轉換為數據集，所述數據集中包含目標文件導入的目標數據表的名稱；根據目標數據表的名稱，將數據集中數據導入對應目標數據表中。本發明可以在保證數據導入效率的同時，減少編碼和配置的工作量，同時滿足數據導入高效率、高擴展性的要求。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據導入方法及裝置。

背景技術

本部分旨在為權利要求書中陳述的本發明實施例提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

金融行業內，參與結算的公司之間有大量的信息交互，這些信息以csv、xls、文本和/或dbf類型的文件存儲。由于文件數量大且存儲格式多樣，需要高效率、高拓展性的導入工具將文件中存儲的數據導入目標數據表。

目前較為常用的數據導入工具包括DataX、Sqoop，以及SpringBatch三款開源工具。其中，DataX和Sqoop不支持金融行業中特有的dbf和excel類型的文件的導入，需要使用者自己結合應用進行擴展，擴展時編碼和配置的工作量較大；SpringBatch側重于數據的批量處理而不是數據導入，在數據導入方面性能較差。

發明內容

本發明實施例提供一種數據導入方法，用以在保證數據導入效率的同時，減少編碼和配置的工作量，同時滿足數據導入高效率、高擴展性的要求，該方法包括：

獲取所需導入的目標文件；

確定目標文件的文件類型，獲取預先配置的與文件類型對應的目標文件解析器；

利用目標文件解析器解析相應文件類型的目標文件，按照指定格式將解析后的目標文件轉換為數據集，所述數據集中包含目標文件導入的目標數據表的名稱；

根據目標數據表的名稱，將數據集中數據導入對應目標數據表中。

本發明實施例還提供一種數據導入裝置，用以在保證數據導入效率的同時，減少編碼和配置的工作量，同時滿足數據導入高效率、高擴展性的要求，該裝置包括：

獲取模塊，用于獲取所需導入的目標文件；

獲取模塊，還用于確定目標文件的文件類型，獲取預先配置的與文件類型對應的目標文件解析器；

解析模塊，用于利用獲取模塊獲取的目標文件解析器解析相應文件類型的目標文件，按照指定格式將解析后的目標文件轉換為數據集，所述數據集中包含目標文件導入的目標數據表的名稱；

導入模塊，用于根據目標數據表的名稱，將數據集中數據導入對應目標數據表中。

本發明實施例還提供一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述數據導入方法。

本發明實施例還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有執行上述數據導入方法的計算機程序。

本發明實施例中，預先配置與文件類型對應的文件解析器，如dbf，csv，文本和xls等常用的金融數據格式文件的文件解析器均可以預先配置好，當導入某種類型的文件時，可以直接調用相應的文件解析器進行解析，之后將解析后的數據導入目標數據表中，滿足了金融領域高效率、安全、可擴展的需求，并且，與現有技術中的Datax、sqoop、springbatch等數據導入方法相比，本發明實施例中數據導入方法的實現框架更加輕便，更容易集成入金融系統中，減少編碼和配置的工作量，且使用起來簡單快捷。

附圖說明