[發(fā)明專(zhuān)利]一種跨集群數(shù)據(jù)的處理方法和系統(tǒng)、存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811518625.1
• 申請(qǐng)日: 2018-12-12
• 公開(kāi)（公告）號(hào): CN109726191B
• 公開(kāi)（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 尹正軍;余澈;穆純進(jìn);馬驍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司;聯(lián)通大數(shù)據(jù)有限公司
• 主分類(lèi)號(hào): G06F16/21
• 分類(lèi)號(hào): G06F16/21;G06F16/242;G06F16/2455
• 代理公司: 北京天昊聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11112
• 代理人: 彭瑞欣;汪源

本發(fā)明實(shí)施例涉及一種跨集群數(shù)據(jù)的處理方法和系統(tǒng)、存儲(chǔ)介質(zhì)。其中，該方法包括：對(duì)獲取到的數(shù)據(jù)請(qǐng)求中攜帶的SQL語(yǔ)句進(jìn)行解析，得到請(qǐng)求數(shù)據(jù)信息，判斷請(qǐng)求數(shù)據(jù)信息對(duì)應(yīng)的目標(biāo)數(shù)據(jù)是否存儲(chǔ)于預(yù)設(shè)的跨集群分布式緩存中，得到第一判斷結(jié)果，若第一判斷結(jié)果為是時(shí)，則從跨集群分布式緩存中讀取目標(biāo)數(shù)據(jù)，其中，跨集群分布式緩存中包括訪問(wèn)頻次大于頻次閾值的熱數(shù)據(jù)。通過(guò)本實(shí)施例提供的技術(shù)方案，避免了現(xiàn)有技術(shù)中用戶(hù)通過(guò)多集群作業(yè)入口對(duì)在不同的集群中的數(shù)據(jù)進(jìn)行讀取，而各個(gè)集群建的數(shù)據(jù)遷移會(huì)消耗大量的寬帶資源，容易引發(fā)數(shù)據(jù)供應(yīng)不及時(shí)的技術(shù)弊端，實(shí)現(xiàn)了數(shù)據(jù)的及時(shí)獲取，提高了數(shù)據(jù)處理的效率的技術(shù)效果。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及集群數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種跨集群數(shù)據(jù)的處理方法和系統(tǒng)、存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著業(yè)務(wù)和數(shù)據(jù)規(guī)模的發(fā)展，大數(shù)據(jù)能力開(kāi)放平臺(tái)的底層集群會(huì)越來(lái)越多，不同集群所支撐的業(yè)務(wù)也不盡相同(比如O域互聯(lián)網(wǎng)日志集群、O域信令集群、B域用戶(hù)信息和通話詳單數(shù)據(jù)集群、位置數(shù)據(jù)集群等)。

由于不同合作伙伴租戶(hù)在基于多業(yè)務(wù)集群做聯(lián)合建模時(shí)，經(jīng)常會(huì)使用不同業(yè)務(wù)域的主題數(shù)據(jù)(比如B域、O域、M域)，在通常的日/月數(shù)據(jù)加工模型需求場(chǎng)景中還時(shí)常會(huì)聯(lián)合不同維度(比如地域、賬期、渠道、產(chǎn)品等)對(duì)應(yīng)的數(shù)據(jù)表。這樣就不可避免的導(dǎo)致集群間的數(shù)據(jù)遷移和預(yù)處理任務(wù)也越來(lái)越頻繁。

因此，對(duì)跨集群數(shù)據(jù)進(jìn)行高效快速處理成了亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)中所存在的上述缺陷，提供一種跨集群數(shù)據(jù)的處理方法和系統(tǒng)、存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)中存在數(shù)據(jù)處理效率低的問(wèn)題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，本發(fā)明實(shí)施例提供了一種跨集群數(shù)據(jù)的處理方法，所述方法包括：

對(duì)獲取到的數(shù)據(jù)請(qǐng)求中攜帶的SQL語(yǔ)句進(jìn)行解析，得到請(qǐng)求數(shù)據(jù)信息；

判斷所述請(qǐng)求數(shù)據(jù)信息對(duì)應(yīng)的目標(biāo)數(shù)據(jù)是否存儲(chǔ)于預(yù)設(shè)的跨集群分布式緩存中，得到第一判斷結(jié)果；

若所述第一判斷結(jié)果為是時(shí)，則從所述跨集群分布式緩存中讀取所述目標(biāo)數(shù)據(jù)；

其中，所述跨集群分布式緩存中包括訪問(wèn)頻次大于頻次閾值的熱數(shù)據(jù)。

進(jìn)一步地，所述方法還包括：

若所述第一判斷結(jié)果為否時(shí)，則判斷所述目標(biāo)數(shù)據(jù)是否僅分布于多個(gè)預(yù)設(shè)的集群中的任一集群，得到第二判斷結(jié)果；

若所述第二判斷結(jié)果為是時(shí)，則從包括所述目標(biāo)數(shù)據(jù)的集群中讀取所述目標(biāo)數(shù)據(jù)。

進(jìn)一步地，所述方法還包括：

若所述第二判斷結(jié)果為否時(shí)，則獲取預(yù)設(shè)的同步排列表，其中，所述同步排列表中包括每個(gè)所述集群對(duì)應(yīng)的遷移信息；

分別計(jì)算每個(gè)包括部分所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的集群的綜合負(fù)載指數(shù)；

將每個(gè)所述綜合負(fù)載指數(shù)均與預(yù)設(shè)的負(fù)載閾值進(jìn)行比較，提取比所述負(fù)載閾值大的目標(biāo)綜合負(fù)載指數(shù)對(duì)應(yīng)的集群；

根據(jù)所述目標(biāo)綜合負(fù)載指數(shù)對(duì)應(yīng)的集群、所述同步排列表和所述跨集群分布式緩存，確定遷移任務(wù)。

進(jìn)一步地，基于式1計(jì)算所述綜合負(fù)載指數(shù)F(i)，式1：