[發明專利]大數據報表導出方法及相關設備

在審

• 申請號: 202011509980.X
• 申請日: 2020-12-18
• 公開（公告）號: CN112632163A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉耀暉
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 遲珊珊

本發明涉及數據處理，提供一種大數據報表導出方法及相關設備。該方法能夠將日志寫入初始子庫中，執行初始子庫中的日志，得到準實時子庫，從報表導出請求中確定待導出對象，若待導出對象屬于大數據量級，獲取時間限值，根據時間限值從準實時子庫中確定多個目標子庫，根據多個目標子庫的子庫數量將待導出對象劃分為多個數據組，獲取每個數據組的起始標識及結束標識，依據起始標識及結束標識從多個目標子庫中并行讀取數據，得到導出數據，獲取預設數據表，并將導出數據寫入預設數據表中，得到目標報表。本發明能夠在避免內存溢出的前提下，快速導出具有大數據量級的目標報表。此外，本發明還涉及區塊鏈技術，所述目標報表可存儲于區塊鏈中。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種大數據報表導出方法及相關設備。

背景技術

業內常見的報表系統如JasperReports、BIRT、FineReport、JFreeReport、PentahoReporting、Spagobi等，在數據安全、視覺交互、可視化模板、大屏展示等方面具有強大的功能，但是，這些報表系統在導出大數據量級的報表時，會發生堆內存溢出而造成報表系統無法正常響應。

發明內容

鑒于以上內容，有必要提供一種大數據報表導出方法及相關設備，能夠在避免內存溢出的前提下，快速導出具有大數據量級的目標報表。

一方面，本發明提出一種大數據報表導出方法，所述大數據報表導出方法包括：

檢測預設主庫中是否有日志生成，若是，則將生成的所述日志寫入與所述預設主庫對應的初始子庫中，執行所述初始子庫中的所述日志，得到與所述初始子庫對應的準實時子庫；

接收報表導出請求，從所述報表導出請求中確定待導出對象，并判斷所述待導出對象是否屬于大數據量級；

若所述待導出對象屬于大數據量級，則從所述報表導出請求中獲取時間限值；

根據所述時間限值從所述準實時子庫中確定多個目標子庫；

根據所述多個目標子庫的子庫數量將所述待導出對象劃分為多個數據組，并獲取每個數據組的起始標識及結束標識；

依據所述起始標識及所述結束標識從所述多個目標子庫中并行讀取數據，得到導出數據；

獲取與所述報表導出請求對應的預設數據表，并將所述導出數據寫入所述預設數據表中，得到目標報表。

根據本發明優選實施例，所述將所述日志寫入與所述預設主庫對應的初始子庫中包括：

獲取所述預設主庫的主庫標識，并獲取數據庫映射表；

從所述數據庫映射表中獲取與所述主庫標識對應的子庫標識；

根據所述子庫標識確定所述初始子庫，并確定所述初始子庫的初始數量；

根據所述初始數量從預設線程池中調用閑置線程，所述閑置線程的線程數量等于所述初始數量；

利用所述閑置線程將所述日志并行寫入所述初始子庫。

根據本發明優選實施例，所述執行所述初始子庫中的所述日志，得到與所述初始子庫對應的準實時子庫包括：

解析所述日志，得到所述日志的數據操作；

在所述初始子庫上執行所述數據操作，得到所述準實時子庫。

根據本發明優選實施例，所述從所述報表導出請求中確定待導出對象，并檢測所述待導出對象是否屬于大數據量級包括：

解析所述報表導出請求的報文，得到所述報文攜帶的數據信息；

從所述數據信息中獲取用于指示對象的信息作為所述待導出對象；