[發(fā)明專利]一種數(shù)據(jù)發(fā)布系統(tǒng)、方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110945482.8
• 申請(qǐng)日: 2021-08-17
• 公開（公告）號(hào): CN113656144B
• 公開（公告）日: 2023-08-11
• 發(fā)明（設(shè)計(jì)）人: 楚振江;冀向陽;宋曉東;侯京超;汪瑫
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號(hào): G06F9/455
• 分類號(hào): G06F9/455
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;馬敬

1.一種數(shù)據(jù)發(fā)布系統(tǒng)，包括：

驅(qū)動(dòng)控制模塊，用于獲得數(shù)據(jù)發(fā)布任務(wù)，基于發(fā)布任務(wù)中的目標(biāo)業(yè)務(wù)應(yīng)用，確定運(yùn)行各個(gè)目標(biāo)業(yè)務(wù)應(yīng)用的容器所在容器集群中的目標(biāo)主控服務(wù)模塊；并將所述發(fā)布任務(wù)發(fā)送至各個(gè)目標(biāo)主控服務(wù)模塊；

所述目標(biāo)主控服務(wù)模塊，用于接收所述數(shù)據(jù)發(fā)布任務(wù)，將數(shù)據(jù)發(fā)布任務(wù)中包含的：目標(biāo)數(shù)據(jù)的發(fā)布版本信息和發(fā)布目標(biāo)地址信息發(fā)送至各個(gè)設(shè)置在容器中的代理服務(wù)模塊；其中，所述目標(biāo)數(shù)據(jù)包括全量數(shù)據(jù)或增量數(shù)據(jù)；

所述代理服務(wù)模塊，用于基于所述發(fā)布版本信息和發(fā)布目標(biāo)地址信息，下載新版本數(shù)據(jù)存儲(chǔ)至其所在的容器中；

發(fā)布任務(wù)構(gòu)建模塊，用于根據(jù)所述目標(biāo)數(shù)據(jù)是否為分片數(shù)據(jù)，確定目標(biāo)數(shù)據(jù)發(fā)布模式為組合模式或組合分片模式；基于目標(biāo)數(shù)據(jù)發(fā)布模式，從預(yù)設(shè)的多個(gè)發(fā)布模板中確定與目標(biāo)發(fā)布模式對(duì)應(yīng)的目標(biāo)模板；基于目標(biāo)模板及目標(biāo)業(yè)務(wù)應(yīng)用，構(gòu)建數(shù)據(jù)發(fā)布任務(wù)。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，

發(fā)布任務(wù)構(gòu)建模塊，具體用于對(duì)數(shù)據(jù)源進(jìn)行監(jiān)測，在監(jiān)測到數(shù)據(jù)源產(chǎn)生了全量或增量新版本數(shù)據(jù)的情況下，將全量或增量新版本數(shù)據(jù)作為目標(biāo)數(shù)據(jù)，基于目標(biāo)數(shù)據(jù)對(duì)應(yīng)的發(fā)布版本信息和目標(biāo)業(yè)務(wù)應(yīng)用，構(gòu)建數(shù)據(jù)發(fā)布任務(wù)；將所述數(shù)據(jù)發(fā)布任務(wù)發(fā)送至所述驅(qū)動(dòng)控制模塊。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，所述系統(tǒng)還包括：數(shù)據(jù)中心；

所述數(shù)據(jù)中心，用于存儲(chǔ)預(yù)設(shè)的多個(gè)發(fā)布模板；

所述發(fā)布任務(wù)構(gòu)建模塊，從所述數(shù)據(jù)中心獲得預(yù)設(shè)的多個(gè)發(fā)布模板。

4.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，

所述發(fā)布任務(wù)構(gòu)建模塊，具體用于當(dāng)目標(biāo)數(shù)據(jù)為新版本增量數(shù)據(jù)的情況下，基于已發(fā)布的各個(gè)增量數(shù)據(jù)的版本信息和全量數(shù)據(jù)的版本信息之間的依賴關(guān)系，對(duì)新版本增量數(shù)據(jù)進(jìn)行判斷；若該新版本增量數(shù)據(jù)的版本為已發(fā)布的版本或比已發(fā)布的版本低，則將該新版本增量數(shù)據(jù)丟棄，若該新版本增量數(shù)據(jù)的版本不為已發(fā)布的版本或比已發(fā)布的版本高，則將該新版本增量數(shù)據(jù)的發(fā)布版本信息及發(fā)布目標(biāo)地址添加到數(shù)據(jù)發(fā)布任務(wù)中。

5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中，

所述全量數(shù)據(jù)的版本信息包含：該全量數(shù)據(jù)的版本標(biāo)識(shí)；增量數(shù)據(jù)的版本信息包括：該增量數(shù)據(jù)所依賴的全量數(shù)據(jù)的版本標(biāo)識(shí)和該增量數(shù)據(jù)的版本標(biāo)識(shí)；

所述發(fā)布任務(wù)構(gòu)建模塊，基于增量數(shù)據(jù)版本信息中該增量數(shù)據(jù)所依賴的全量數(shù)據(jù)的版本標(biāo)識(shí)和該增量數(shù)據(jù)的版本標(biāo)識(shí)，對(duì)新版本增量數(shù)據(jù)進(jìn)行判斷。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，

所述數(shù)據(jù)發(fā)布任務(wù)中，還包括：需要執(zhí)行的發(fā)布階段信息；所述發(fā)布階段信息包括：多個(gè)發(fā)布階段及各個(gè)發(fā)布階段的執(zhí)行順序；

所述驅(qū)動(dòng)控制模塊，按照所述發(fā)布階段的執(zhí)行順序，針對(duì)當(dāng)前發(fā)布階段，從執(zhí)行所述目標(biāo)業(yè)務(wù)應(yīng)用的容器集群中確定出該發(fā)布階段對(duì)應(yīng)的目標(biāo)容器集群；將該目標(biāo)容器集群中的主控服務(wù)模塊，確定為目標(biāo)主控服務(wù)模塊。

7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，

所述主控服務(wù)模塊，還用于基于所述數(shù)據(jù)發(fā)布任務(wù)、所述代理服務(wù)模塊上報(bào)的當(dāng)前版本信息及數(shù)據(jù)狀態(tài)信息，和已存儲(chǔ)的數(shù)據(jù)版本信息，確定目標(biāo)版本信息；并基于目標(biāo)版本信息，生成針對(duì)目標(biāo)數(shù)據(jù)的數(shù)據(jù)狀態(tài)驅(qū)動(dòng)信息發(fā)送至所述代理服務(wù)模塊；

所述代理服務(wù)模塊，具體用于基于所述發(fā)布版本信息和發(fā)布目標(biāo)地址信息，按照所述數(shù)據(jù)狀態(tài)驅(qū)動(dòng)信息中的各個(gè)執(zhí)行步驟及執(zhí)行順序，下載所述目標(biāo)數(shù)據(jù)存儲(chǔ)至其所在的容器中。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，

每個(gè)所述容器集群中，還包括：供主控服務(wù)模塊監(jiān)聽使用的監(jiān)聽數(shù)據(jù)庫和供主控服務(wù)模塊查詢使用的查詢數(shù)據(jù)庫；

所述監(jiān)聽數(shù)據(jù)庫，用于存儲(chǔ)主控服務(wù)模塊所有要監(jiān)聽的容器實(shí)例組名稱；

所述主控服務(wù)模塊接收的各個(gè)容器的當(dāng)前數(shù)據(jù)狀態(tài)信息為：所述監(jiān)聽數(shù)據(jù)庫中每個(gè)容器實(shí)例組名稱對(duì)應(yīng)的容器的當(dāng)前數(shù)據(jù)狀態(tài)信息；

所述查詢數(shù)據(jù)庫，用于存儲(chǔ)各個(gè)容器中各個(gè)數(shù)據(jù)的最高版本信息；

所述主控服務(wù)模塊，基于各個(gè)容器的當(dāng)前數(shù)據(jù)狀態(tài)信息和查詢數(shù)據(jù)庫中各個(gè)數(shù)據(jù)的最高版本信息進(jìn)行邏輯對(duì)比的結(jié)果，確定目標(biāo)版本信息。