[發明專利]一種數據處理方法及裝置

有效

• 申請號: 201811054274.3
• 申請日: 2018-09-11
• 公開（公告）號: CN109308170B
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 林皓;曲金羽
• 申請（專利權）人: 北京北信源信息安全技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

本發明實施例提供一種數據處理方法及裝置，所述方法包括：獲取待傳輸數據的邏輯日志類型；根據預設映射關系，將所述待傳輸數據拷貝至與所述邏輯日志類型對應的目標分區中；其中，所述預設映射關系是預設邏輯日志類型和預設分區之間的對應關系；監測所述目標分區中的所述待傳輸數據的數據信息，若判斷獲知所述數據信息達到預設條件，則將所述待傳輸數據寫入磁盤，以供所述待傳輸數據的接收方從所述磁盤中讀取所述待傳輸數據。所述裝置執行上述方法。本發明實施例提供的數據處理方法及裝置，能夠對海量不同類型的數據進行有效處理，以使得數據能夠持久化存儲，以適應大數據的應用場景。

技術領域

本發明實施例涉及數據處理技術領域，具體涉及一種數據處理方法及裝置。

背景技術

隨著大數據技術的快速發展，對海量不同類型的數據處理顯得尤為重要。

現有技術中通過內存進行數據存儲和轉發，缺少持久化和必要的延時機制，進而使得無法實現數據延時批處理、數據故障恢復等功能，極大地限制了大數據的應用和管理。

因此，如何避免上述缺陷，對海量不同類型的數據進行有效處理，以使得數據能夠持久化存儲，以適應大數據的應用場景，成為亟須解決的問題。

發明內容

針對現有技術存在的問題，本發明實施例提供一種數據處理方法及裝置。

第一方面，本發明實施例提供一種數據處理方法，所述方法包括：

獲取待傳輸數據的邏輯日志類型；

根據預設映射關系，將所述待傳輸數據拷貝至與所述邏輯日志類型對應的目標分區中；其中，所述預設映射關系是預設邏輯日志類型和預設分區之間的對應關系；

監測所述目標分區中的所述待傳輸數據的數據信息，若判斷獲知所述數據信息達到預設條件，則將所述待傳輸數據寫入磁盤，以供所述待傳輸數據的接收方從所述磁盤中讀取所述待傳輸數據。

第二方面，本發明實施例提供一種數據處理裝置，所述裝置包括：

獲取單元，用于獲取待傳輸數據的邏輯日志類型；

拷貝單元，用于根據預設映射關系，將所述待傳輸數據拷貝至與所述邏輯日志類型對應的目標分區中；其中，所述預設映射關系是預設邏輯日志類型和預設分區之間的對應關系；

寫入單元，用于監測所述目標分區中的所述待傳輸數據的數據信息，若判斷獲知所述數據信息達到預設條件，則將所述待傳輸數據寫入磁盤，以供所述待傳輸數據的接收方從所述磁盤中讀取所述待傳輸數據。

第三方面，本發明實施例提供一種電子設備，包括：處理器、存儲器和總線，其中，

所述處理器和所述存儲器通過所述總線完成相互間的通信；

所述存儲器存儲有可被所述處理器執行的程序指令，所述處理器調用所述程序指令能夠執行如下方法：

獲取待傳輸數據的邏輯日志類型；

根據預設映射關系，將所述待傳輸數據拷貝至與所述邏輯日志類型對應的目標分區中；其中，所述預設映射關系是預設邏輯日志類型和預設分區之間的對應關系；

監測所述目標分區中的所述待傳輸數據的數據信息，若判斷獲知所述數據信息達到預設條件，則將所述待傳輸數據寫入磁盤，以供所述待傳輸數據的接收方從所述磁盤中讀取所述待傳輸數據。

第四方面，本發明實施例提供一種非暫態計算機可讀存儲介質，包括：

所述非暫態計算機可讀存儲介質存儲計算機指令，所述計算機指令使所述計算機執行如下方法：

獲取待傳輸數據的邏輯日志類型；