[發(fā)明專利]一種業(yè)務處理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810983481.0
• 申請日: 2018-08-27
• 公開（公告）號: CN109324898B
• 公開（公告）日: 2022-12-02
• 發(fā)明（設計）人: 董濤;卜云濤
• 申請（專利權(quán)）人: 北京奇虎科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06K9/62;G06Q10/06
• 代理公司: 北京律誠同業(yè)知識產(chǎn)權(quán)代理有限公司 11006
• 代理人: 王玉雙

1.一種業(yè)務處理方法，其特征在于，所述方法包括：

對待處理業(yè)務進行分類，確定出所述待處理業(yè)務對應的一類或者多類產(chǎn)品版本；

預估所述待處理業(yè)務的各產(chǎn)品版本的數(shù)據(jù)量；

基于所述待處理業(yè)務的各產(chǎn)品版本的數(shù)據(jù)量，申請對應數(shù)量的Reduce歸約任務；

基于所述對應數(shù)量的Reduce歸約任務，對所述待處理業(yè)務進行分布式處理；

所述基于所述待處理業(yè)務的各產(chǎn)品版本的數(shù)據(jù)量，申請對應數(shù)量的Reduce歸約任務，具體包括：

所述基于所述待處理業(yè)務的各產(chǎn)品版本的數(shù)據(jù)量，確定出所述Reduce歸約任務的待申請數(shù)量；

基于所述Reduce歸約任務的待申請數(shù)量，申請對應數(shù)量的Reduce歸約任務；

所述基于所述待處理業(yè)務的各產(chǎn)品版本的數(shù)據(jù)量，確定出所述Reduce歸約任務的待申請數(shù)量，具體包括：

判斷所述待處理業(yè)務的各產(chǎn)品版本的數(shù)據(jù)量是否大于預設數(shù)據(jù)量閾值；

若是，則對大于所述預設數(shù)據(jù)量閾值的第一產(chǎn)品版本分配對應的Reduce歸約任務；

若否，將小于所述預設數(shù)據(jù)量閾值的兩類或者兩類以上的第二產(chǎn)品版本相互組合為第三產(chǎn)品版本，對所述第三產(chǎn)品版本分配對應的Reduce歸約任務；其中，所述第三產(chǎn)品版本的數(shù)據(jù)量和所述預設數(shù)據(jù)量閾值的差值處于一預設范圍內(nèi)；

基于所述第一產(chǎn)品版本對應的Reduce歸約任務和所述第三產(chǎn)品版本對應的Reduce歸約任務，獲得所述待處理業(yè)務的各產(chǎn)品版本和Reduce歸約任務的映射關系；

統(tǒng)計第一產(chǎn)品版本對應的Reduce歸約任務的數(shù)量和所述第三產(chǎn)品版本對應的Reduce歸約任務的數(shù)量，確定出所述Reduce歸約任務的待申請數(shù)量。

2.如權(quán)利要求1所述的方法，其特征在于，分類參數(shù)包含：日志類別，日志業(yè)務ID，產(chǎn)品版本；

所述對待處理業(yè)務進行分類，從而確定出所述待處理業(yè)務對應的一類或者多類產(chǎn)品版本，具體包括：

對所述待處理業(yè)務按照日志類別進行分類，獲得各日志類別中的第一分類結(jié)果；

對各日志類別中的第一分類結(jié)果按照日志業(yè)務ID進行分類，獲得各日志業(yè)務ID中的第二分類結(jié)果；

對各日志業(yè)務ID中的第二分類結(jié)果按照產(chǎn)品版本進行分類，以確定出所述待處理業(yè)務對應的一類或者多類產(chǎn)品版本。

3.如權(quán)利要求1所述的方法，其特征在于，所述預設數(shù)據(jù)量閾值通過如下步驟獲得：按照Reduce歸約任務的資源閾值確定出單個Reduce歸約任務能夠處理的數(shù)據(jù)量，將所述單個Reduce歸約任務能夠處理的數(shù)據(jù)量確定為所述預設數(shù)據(jù)量閾值。

4.如權(quán)利要求1所述的方法，其特征在于，所述基于所述對應數(shù)量的Reduce歸約任務，對所述待處理業(yè)務進行分布式處理，具體包括：

將所述待處理業(yè)務劃分為多個子任務輸入Map框架，分別進行映射計算處理，獲得和所述多個子任務對應數(shù)目的中間數(shù)據(jù)集合；

將所述中間數(shù)據(jù)集合進行分類處理，進而獲得所述中間數(shù)據(jù)集合中的每個中間數(shù)據(jù)各自的一類或者多類產(chǎn)品版本；其中，所述中間數(shù)據(jù)集合中的各產(chǎn)品版本和所述待處理業(yè)務中各產(chǎn)品版本一一對應；

基于所述待處理業(yè)務的各產(chǎn)品版本和Reduce歸約任務的映射關系，將所述中間數(shù)據(jù)集合的各產(chǎn)品版本輸入對應分配的Reduce歸約任務進行歸約計算處理。

5.如權(quán)利要求4所述的方法，其特征在于，所述將所述中間數(shù)據(jù)集合進行分類處理，具體包括：

對所述中間數(shù)據(jù)集合中的每個中間數(shù)據(jù)各自按照日志類別進行分類，獲得各日志類別中的第三分類結(jié)果；

對各日志類別中的第三分類結(jié)果按照日志業(yè)務ID進行分類，獲得各日志業(yè)務ID中的第四分類結(jié)果；

對各日志業(yè)務ID中的第四分類結(jié)果按照產(chǎn)品版本進行分類，以確定出所述中間數(shù)據(jù)集合中的每個中間數(shù)據(jù)對應的一類或者多類產(chǎn)品版本。

6.如權(quán)利要求1所述的方法，其特征在于，所述待處理業(yè)務的各產(chǎn)品版本的數(shù)據(jù)量是：待處理業(yè)務的各產(chǎn)品版本的訪問量。