[發(fā)明專利]多媒體數據的數據關聯(lián)窗口的調節(jié)方法及裝置

在審

• 申請?zhí)枺?/td>: 202110095293.6
• 申請日: 2021-01-25
• 公開（公告）號: CN112801697A
• 公開（公告）日: 2021-05-14
• 發(fā)明（設計）人: 張家強;高碩碩;蔣能學;鄭磊;朱杰
• 申請（專利權）人: 杭州網易云音樂科技有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06F16/958
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張愷寧

本申請涉及計算機技術領域，尤其涉及一種多媒體數據的數據關聯(lián)窗口的調節(jié)方法及裝置。該方法在基于當前數據關聯(lián)窗口大小，對當前觀測周期內的第一多媒體數據和第二多媒體數據進行關聯(lián)，得到當前觀測周期的關聯(lián)數據和相應關聯(lián)指標的指標值后，獲取指標值對應的當前關聯(lián)指標狀態(tài)；在當前關聯(lián)指標狀態(tài)不為預設期望狀態(tài)時，獲取當前關聯(lián)指標狀態(tài)下的目標調節(jié)動作，以對當前數據關聯(lián)窗口的大小進行調節(jié)，得到調節(jié)后的數據關聯(lián)窗口。該方法通過調節(jié)數據關聯(lián)窗口的大小，實現(xiàn)在低背壓的條件下對多媒體數據進行關聯(lián)，降低了數據關聯(lián)的失敗率。

技術領域

本申請涉及計算機技術領域，尤其涉及一種多媒體數據的數據關聯(lián)窗口的調節(jié)方法及裝置。

背景技術

目前，廣告在日常生活中是非常普遍的，廣告也作為一種重要的多媒體傳播方式，可以用于吸引用戶、商品推廣等。為了向用戶推薦該用戶感興趣的廣告，一般將廣告曝光數據流、廣告點擊數據流、廣告轉化數據流進行相應兩數據流的實時關聯(lián)，得到特征數據，以加載到算法模型進行訓練得到推薦模型。目前，對于廣告曝光數據流和廣告點擊數據流的實時流關聯(lián)的實現(xiàn)方式可以包括：

方式一，將廣告曝光數據流實時存在第三方存儲器，如Redis和Hbase，廣告點擊數據流實時查詢第三方存儲器以預設的關聯(lián)字段(JoinKey)進行關聯(lián)；

方式二，基于數據關聯(lián)窗口(或稱“時間窗口”)的流關聯(lián)，如window join和Interval Join。其中：

window join的流關聯(lián)方式是將兩條數據流存儲在預設的數據關聯(lián)窗口內進行流關聯(lián)，且無法跨數據關聯(lián)窗口進行流關聯(lián)。例如，數據關聯(lián)窗口大小為5s，0-5s為第一個數據關聯(lián)窗口，5s-10s為第二個數據關聯(lián)窗口，則0-5s內的兩條數據流存儲在第一個數據關聯(lián)窗口，5s-10s的兩條數據流存儲在第二個數據關聯(lián)窗口，且只允許相同數據關聯(lián)窗口內的兩條數據流進行關聯(lián)。

Interval Join的流關聯(lián)方式是使用時間戳作為關聯(lián)條件，在預設的數據關聯(lián)窗口內進行流關聯(lián)。例如，數據關聯(lián)窗口大小為5s，若一個廣告曝光數據的時間是4.5s，相應的廣告點擊數據的時間是5.1s，則5.1s的廣告點擊數據需要查找5.1s點擊時刻之前5s內的廣告曝光數據，以查詢到4.5s的廣告曝光數據并進行關聯(lián)。

然而，方式一中由于第三方存儲器存在每秒查詢率(Query Per Second，QPS)的限制，會導致流關聯(lián)效率低，且由于該方式沒有時間約束，故若廣告點擊數據流先于廣告曝光數據流到達，會提高數據關聯(lián)的失敗率。

方式二雖然不存在每秒查詢率的限制，但其數據關聯(lián)窗口的大小是預先設置的，無法進行調節(jié)，數據關聯(lián)窗口過小，會提高數據關聯(lián)的失敗率；數據關聯(lián)窗口過大，會導致數據關聯(lián)窗口存儲的數據量過大，其中不需要被關聯(lián)的無效數據量過大，會提高系統(tǒng)的數據背壓。

發(fā)明內容

本申請實施例提供一種多媒體數據的數據關聯(lián)窗口的調節(jié)方法及裝置，解決了上述相關技術存在的問題，以實現(xiàn)在低背壓的條件下對多媒體數據進行關聯(lián)，降低數據關聯(lián)的失敗率。

本申請實施例提供的具體技術方案如下：

第一方面，提供了一種多媒體數據的數據關聯(lián)窗口的調節(jié)方法，該方法可以包括：

基于當前數據關聯(lián)窗口大小，對當前觀測周期內的第一多媒體數據和第二多媒體數據進行關聯(lián)，得到所述當前觀測周期的關聯(lián)數據和相應關聯(lián)指標的指標值；所述關聯(lián)指標包括數據關聯(lián)的關聯(lián)失敗率和數據背壓；

基于預先配置的關聯(lián)指標的各指標值范圍與各關聯(lián)指標狀態(tài)間的映射關系，獲取所述指標值對應的目標關聯(lián)指標狀態(tài)，并將所述目標關聯(lián)指標狀態(tài)確定為當前關聯(lián)指標狀態(tài)；所述關聯(lián)指標狀態(tài)表征數據關聯(lián)的關聯(lián)失敗狀態(tài)和數據背壓狀態(tài)；