[發(fā)明專利]一種基于時(shí)間窗口的資源處理方法、裝置、介質(zhì)以及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010021660.3
• 申請日: 2020-01-09
• 公開（公告）號: CN111258754A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設(shè)計(jì)）人: 范磊;張?zhí)煜?/a>;楊麗濤;劉琰
• 申請（專利權(quán)）人: 上海依圖信息技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 上海華誠知識產(chǎn)權(quán)代理有限公司 31300
• 代理人: 徐穎聰

本發(fā)明涉及領(lǐng)域，特別地公開了一種基于時(shí)間窗口的資源處理方法、資源處理裝置、機(jī)器可讀介質(zhì)以及系統(tǒng)。本發(fā)明中實(shí)施例的基于時(shí)間窗口的資源處理方法，包括：配置窗口池中的時(shí)間窗口的屬性，時(shí)間窗口用于處理包含時(shí)間信息的資源，屬性包括時(shí)間維度和數(shù)量閾值；根據(jù)時(shí)間窗口的屬性和資源的時(shí)間信息，將資源分配到窗口池中的時(shí)間窗口中由處理器進(jìn)行處理，其中，時(shí)間窗口中處理的資源的時(shí)間信息與時(shí)間窗口的時(shí)間維度一致，并且，資源分配到時(shí)間窗口前，時(shí)間窗口中處理的資源數(shù)量未達(dá)到數(shù)量閾值。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理領(lǐng)域，特別地公開了一種基于時(shí)間窗口的資源處理方法、資源處理裝置、機(jī)器可讀介質(zhì)以及系統(tǒng)。

背景技術(shù)

對資源尤其是對數(shù)據(jù)流的計(jì)算是一種新的數(shù)據(jù)處理方式，能實(shí)時(shí)對大規(guī)模的數(shù)據(jù)流進(jìn)行處理分析呈現(xiàn)，為系統(tǒng)提供即時(shí)的數(shù)據(jù)價(jià)值，被廣泛應(yīng)用于金融服務(wù)、網(wǎng)絡(luò)監(jiān)控、電信數(shù)據(jù)管理、Web應(yīng)用、生產(chǎn)制造、傳感檢測等領(lǐng)域。其中，流計(jì)算中常用的操作是對一定時(shí)間間隔內(nèi)的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。

目前，流計(jì)算中，在對具有時(shí)間屬性的資源進(jìn)行處理時(shí)，可以將該資源分配至?xí)r間窗口內(nèi)進(jìn)行處理，但是，該分配任務(wù)往往是隨機(jī)的，會造成時(shí)間窗口的利用率不高。

發(fā)明內(nèi)容

本申請實(shí)施例提供了一種基于時(shí)間窗口的資源處理方法，包括：

配置窗口池中的時(shí)間窗口的屬性，時(shí)間窗口用于處理包含時(shí)間信息的資源，屬性包括時(shí)間維度和數(shù)量閾值；

根據(jù)時(shí)間窗口的屬性和資源的時(shí)間信息，將資源分配到窗口池中的時(shí)間窗口中由處理器進(jìn)行處理，其中，時(shí)間窗口中處理的資源的時(shí)間信息與時(shí)間窗口的時(shí)間維度一致，并且，資源分配到時(shí)間窗口前，時(shí)間窗口中處理的資源數(shù)量未達(dá)到數(shù)量閾值。

可選地，還包括:

時(shí)間窗口的屬性還包括處理周期，處理周期包括時(shí)間窗口的開始時(shí)間和/或結(jié)束時(shí)間。

可選地，還包括:

在時(shí)間窗口的處理周期內(nèi)，無法處理完資源的情況下，將資源分配至窗口池中時(shí)間維度與資源的時(shí)間信息一致的其他時(shí)間窗口繼續(xù)處理。

可選地，還包括:

在時(shí)間窗口的處理周期內(nèi)，無法處理完資源的情況下，根據(jù)資源的時(shí)間信息和時(shí)間窗口的處理周期得到資源的剩余處理時(shí)間，

將資源分配至窗口池中時(shí)間維度與資源的剩余處理時(shí)間一致的其他時(shí)間窗口繼續(xù)處理。

可選地，還包括:

在時(shí)間窗口的處理周期內(nèi)，無法處理完資源的情況下，且窗口池中不存在其他時(shí)間窗口時(shí)，創(chuàng)建時(shí)間維度與資源的時(shí)間信息一致的時(shí)間窗口，將資源分配至?xí)r間窗口后，繼續(xù)處理資源。

可選地，還包括:

在一個時(shí)間段內(nèi)，同一窗口池中配置有時(shí)間維度相同的至少兩個時(shí)間窗口。

可選地，還包括:

通過通信方式，讀取配置文件，用于對配置窗口池中的時(shí)間窗口的屬性。

本申請還提供了一種基于時(shí)間窗口的資源處理裝置，包括：

配置模塊，用于配置窗口池中的時(shí)間窗口的屬性，所述時(shí)間窗口用于處理包含時(shí)間信息的資源，屬性包括時(shí)間維度和數(shù)量閾值；

處理模塊，用于根據(jù)時(shí)間窗口的屬性和資源的時(shí)間信息，將資源分配到窗口池中的時(shí)間窗口中由處理器進(jìn)行處理，其中，時(shí)間窗口中處理的資源的時(shí)間信息與時(shí)間窗口的時(shí)間維度一致，并且，資源分配到時(shí)間窗口前，時(shí)間窗口中處理的資源數(shù)量未達(dá)到數(shù)量閾值。

可選地，還包括: