[發明專利]一種數據交互方法及裝置

有效

• 申請號: 201710885057.8
• 申請日: 2017-09-26
• 公開（公告）號: CN110019448B
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 陳怡;趙晗
• 申請（專利權）人: 大唐移動通信設備有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28;G06F16/182
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本發明實施例提供了一種數據交互方法及裝置，該方法包括：若接收到數據導出指令，則通過檢索映射列表中記錄的多條映射關系，在目標硬盤區域中查找與關系數據庫管理系統RDBMS中的第一外部表對應的第一內部文件；將第一內部文件導出到分布式文件系統HDFS中；若接收到數據導入指令，則通過檢索映列表中記錄的多條映射關系，確定目標硬盤區域中是否已存在待從HDFS中導入的第二內部文件；若否，則將第二內部文件導入至目標硬盤區域中，并在RDBMS中生成第二外部表；在映射列表中建立第二外部表與第二內部文件的映射關系。本發明有效降低RDBMS對數據庫表所在磁盤的輸入/輸出操作，從而有效保證了RDBMS原業務資源，提升了RDBMS的處理效率以及資源利用率。

技術領域

本發明實施例涉及通信領域，尤其涉及一種數據交互方法及裝置。

背景技術

如圖1所示為現有技術實施例中的RDBMS(Relational Database ManagementSystem，關系數據庫管理系統)與HDFS(Hadoop Distributed File System，Hadoop分布式文件系統)的數據交互示意圖。

具體的，在現有技術實施例中，若需要將RDBMS系統中的數據導出到HDFS系統中，則需要通過第三方軟件或編程訪問RDBMS，從而通過RDBMS從數據庫硬盤區域中讀取數據庫表，再導出到HDFS中。將HDFS中的數據表導入到RDBMS中，同樣是需要通過RDBMS將數據庫表寫入到數據庫硬盤區域。

由此可見，在現有技術中，任何數據的導入和導出過程均會請求RDBMS進行處理以及需要使用底層的系統資源(CPU/IO)，尤其是IO資源。在極端情況下(數據量大以及持續時間長)導入/導出過程會大量使用RDBMS的計算和處理資源，同時大量占用數據庫文件(DBF，Digital Beam Forming)所在磁盤的IO資源，嚴重影響到RDBMS系統中的原有業務的正常運行和使用，導致原有業務處理資源不足、處理效率降低，甚至是服務宕機等嚴重問題。

發明內容

本發明實施例提供一種數據交互方法及裝置，以解決現有技術中在數據交互過程中占用RDBMS大量的輸入/輸入資源，導致RDBMS處理能力降低的問題。

為了解決上述問題，本發明公開了一種數據交互方法，所述方法包括：

若接收到數據導出指令，則通過檢索映射列表中記錄的多條映射關系，在目標硬盤區域中查找與關系數據庫管理系統RDBMS中的第一外部表對應的第一內部文件；

將第一內部文件導出到分布式文件系統HDFS中；

若接收到數據導入指令，則通過檢索映列表中記錄的多條映射關系，確定目標硬盤區域中是否已存在待從HDFS中導入的第二內部文件；

若否，則將第二內部文件導入至目標硬盤區域中，并在RDBMS中生成第二外部表；以及，

在映射列表中建立第二外部表與第二內部文件的映射關系。

在本發明的一個優選的實施例中，方法進一步包括：

若接收到數據寫入指令，則對數據寫入指令進行解析，以獲取數據寫入指令中的數據流；

在目標硬盤區域中生成第三內部文件，并將數據流寫入第三內部文件；以及，

在RDBMS中生成第三外部表；

在映射列表中建立第三內部文件與第三外部表的映射關系。

在本發明的一個優選的實施例中，若接收到數據導出指令，則通過檢索映射列表中記錄的多條映射關系，在目標硬盤區域中查找與關系數據庫管理系統RDBMS中的第一外部表對應的第一內部文件的步驟，具體包括：

若接收到數據導出指令，則獲取數據導出指令中攜帶的第一外部表信息；