[發明專利]基于分布式系統的內容審核方法和裝置

在審

• 申請號: 202310363311.3
• 申請日: 2023-04-06
• 公開（公告）號: CN116339953A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 劉永磊
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

本說明書實施例提供了基于分布式系統的內容審核方法和裝置。該方法包括：得到一個待審核內容所屬的業務場景；根據對應該業務場景的審核流程生成對應該審核任務的按序排列的多個節點實例；根據業務場景，從各個隊列中選擇一個隊列，并將對所述待審核內容的審核任務加入所選擇的該隊列中；調度各個隊列；根據當前被調度的隊列中各待審核的審核任務對應的各節點實例之間的排列順序，由分布式系統中的多個服務器從當前被調度的隊列中并發獲取各待審核的審核任務的節點實例，并審核；根據一個待審核內容的審核任務對應的所有節點實例的審核結果，得到該待審核內容的審核結果。本說明書實施例能夠在分布式系統中更為高效地進行內容審核。

技術領域

本說明書一個或多個實施例涉及網絡通信技術，尤其涉及基于分布式系統的內容審核方法和裝置。

背景技術

內容審核是指當一個業務場景中的內容需要在網絡中傳播時，對該內容的合法性以及合規性進行審核。比如，對于廣告業務場景，對廣告圖片中的文字及圖形進行審核，發現其中是否有不合規的用語或圖形，比如是否存在“最強”、“最高”等絕對性用語，是否存在“原價”等違規用語。

隨著網絡應用的不斷發展，需要審核的內容涉及到了各種業務領域的各種業務場景，需要審核的內容的數量是海量的。另一方面，內容的審核與以往通信數據的審核不同，對通信數據比如業務請求或者播放的流媒體數據的審核通常都是實時調度并審核的，而對于內容審核，由于存在著素材的上傳、下載以及解析等處理，往往是一個異步調度及審核的過程。因此，目前通常采用分布式系統來完成內容審核。

分布式系統中的各個服務器需要爭搶各個內容來進行審核。因此，如何更為高效地在分布式系統中進行內容審核是一個亟待解決的問題。

發明內容

本說明書一個或多個實施例描述了基于分布式系統的內容審核方法和裝置，能夠在分布式系統中更為高效地進行內容審核。

根據第一方面，提供了一種基于分布式系統的內容審核方法，其中，該方法包括：

得到一個待審核內容所屬的業務場景；

根據預先設置的對應該業務場景的審核流程，生成對應該審核任務的按序排列的多個節點實例；

根據所述業務場景，從各個隊列中選擇一個隊列，并將所述待審核內容的審核任務加入所選擇的該隊列中；

調度各個隊列；

根據當前被調度的隊列中各待審核的審核任務對應的各節點實例之間的排列順序，由分布式系統中的多個服務器從當前被調度的隊列中并發獲取各待審核的審核任務的各節點實例，并審核；

根據一個待審核內容的審核任務對應的所有節點實例的審核結果，得到該待審核內容的審核結果。

其中，所述審核流程包括：由多個審核節點形成的有向無環圖。

其中，所述各個隊列包括：優先級依次降低的實時隊列、高優先級隊列、中優先級隊列以及低優先級隊列中的至少一個，且每一個隊列中包括至少一種業務場景的審核任務；

所述根據所述業務場景從各個隊列中選擇一個隊列，包括：從各個隊列中選擇對應所述業務場景的優先級的隊列；

所述由分布式系統中的多個服務器從當前被調度的隊列中并發獲取各待審核的審核任務的節點實例，包括：分布式系統中的每一個服務器有空閑處理資源時，主動從當前被調度的隊列中拉取節點實例。

其中，所述各個隊列進一步包括：調度優先級最高的第一場景隊列，在第一場景隊列中包括第一業務場景的審核任務；

在所述從各個隊列中選擇對應所述業務場景的優先級的隊列之前，進一步包括：判斷所述待審核內容所屬的業務場景是否為第一業務場景，如果是，則從各個隊列中選擇第一場景隊列，如果否，則執行所述從各個隊列中選擇對應所述業務場景的優先級的隊列；