[發明專利]數據處理方法及系統、候選數據池、電子設備、計算機可讀存儲介質

有效

• 申請號: 202010188264.X
• 申請日: 2020-03-17
• 公開（公告）號: CN111368207B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 羅華林;徐夢遠;賈滕陽;楊光
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/215;G06F16/23
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本發明實施例提供了一種數據處理方法及系統、候選數據池、電子設備、計算機可讀存儲介質，該方法包括：獲取所述數據使用方發送的第一數據請求；根據預先確定的數據有效窗口的時長以及數據有效規則，判斷所述第一數據請求所請求的第一目標數據是否需要更新，并在所述第一目標數據需要更新的情況下，對所述第一目標數據進行更新；其中，所述第一目標數據是所述候選數據池中存儲的數據，所述數據有效規則包括至少一種對數據的特征的要求。因而，本發明方案，按需進行強制更新，則在進行數據更新時，并不會占據過多的計算資源，從而在一定程度上減少了更新數據庫時所消耗的計算資源。

技術領域

本發明涉及計算機技術領域，特別是涉及一種數據處理方法及系統、候選數據池、電子設備、計算機可讀存儲介質。

背景技術

在互聯網行業中非常普遍和重要的推薦業務，都依賴一個候選數據池，其中，候選數據池提供可供推薦的數據，對接數據生產系統，對數據進行結構化，準入限制，清洗，退場等功能，并為機器學習，推薦引擎等下游模塊提供數據服務。

推薦候選數據池服務一般有這幾方面的特點：

第一方面，數據量大，一般會達到億級，甚至百億，千億級；

第二方面，更新要求低延遲，一般要求亞秒級延遲；數據準確性要求高，容錯性強，對于臟數據有自動修復功能；

第三方面，對業務變化適應性強，能夠適應多種不同的業務形態。

目前業界主流的候選數據池服務數據拓撲，采用的是Lambda架構。所謂lambda架構，即將大數據處理分為批量層、實時層和服務層。其中，批量層負責定時批量處理數據，即全庫更新候選數據池；實時層負責實時處理數據，用于新物料實時入庫，無效數據實時下線，標簽特征實時更新等；服務層負責融合批量層和實時層的數據，統一對外服務。

其中，實時層和批量層在進行數據處理的過程中，由于系統丟包可能會丟失某些數據，或者某些數據任務處理失敗，導致某些數據并未成功處理，但是現有技術中并不關心哪些數據被丟失或者哪些數據未被成功處理，而是每隔一定時間(例如每天的零點)對候選數據池中的全部數據都進行更新。其中，更新之前若存在被丟失的數據或者未被成功處理的數據，通過現有技術中的前述更新方式，則可以補充這些被丟包的數據或者修正未成功處理的數據。

由上述可知，現有技術中，由批量層對候選數據池全數據庫進行批量更新，而候選數據池的數據量極大，且并不關心哪些是真正需要被更新的數據，而是在每一次更新時都對候選數據池中全部的數據進行更新，即需要針對候選數據池全數據庫中的每一項數據重新從生產方讀取一次數據，再寫入到候選數據池中，這樣會消耗極大的計算資源。

發明內容

本發明實施例的目的在于提供一種數據處理方法及系統、候選數據池、電子設備、計算機可讀存儲介質，以在一定程度上減少更新候選數據池時消耗的計算資源。具體技術方案如下：

在本發明實施的第一方面，首先提供了一種數據處理方法，應用于包括候選數據池和數據使用方的系統，所述方法執行于所述候選數據池，所述方法包括：

獲取所述數據使用方發送的第一數據請求；

根據預先確定的數據有效窗口的時長以及數據有效規則，判斷所述第一數據請求所請求的第一目標數據是否需要更新，并在所述第一目標數據需要更新的情況下，對所述第一目標數據進行更新；

其中，所述第一目標數據是所述候選數據池中存儲的數據，所述數據有效規則包括至少一種對數據的特征的要求。

在本發明實施的第二方面，還提供了一種候選數據池，所述候選數據池與數據使用方組成一系統，所述候選數據池包括：

服務模塊，用于獲取所述數據使用方發送的第一數據請求；