[發(fā)明專利]一種Cloudera Manager與flink結(jié)合的方法、計算機設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011561677.4
• 申請日: 2020-12-25
• 公開（公告）號: CN112698880A
• 公開（公告）日: 2021-04-23
• 發(fā)明（設(shè)計）人: 劉躍紅;李佳喜
• 申請（專利權(quán)）人: 銀盛支付服務(wù)股份有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F15/16
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 張勇

本發(fā)明涉及公開了一種Cloudera Manager與flink結(jié)合的方法、計算機設(shè)備及存儲介質(zhì)，涉及前端維護技術(shù)領(lǐng)域，本發(fā)明的Cloudera Manager集群維護組件hdfs、yarn、zk比較簡單,可以可視化管理，方便監(jiān)控集群IO、CPU、磁盤以及內(nèi)存等指標(biāo)，集成了flink,可以不用單獨去搭建一個集群,不用重復(fù)搭建hdfs,zk,yarn等維護組件，減少維護工作量,減少對機器資源的浪費。

技術(shù)領(lǐng)域

本發(fā)明涉及前端維護技術(shù)領(lǐng)域，具體來說，涉及一種Cloudera Manager與flink結(jié)合的方法、計算機設(shè)備及存儲介質(zhì)。

背景技術(shù)

目前我們搭建的Cloudera Manager集群,沒有flink維護組件,需要利用現(xiàn)有的Cloudera Manager里面的hdfs、yarn以及zk來集成flink,達(dá)成flink集群的實現(xiàn),完成flink程序大批量實時消費的目標(biāo)，但是，如果單獨搭建這hdfs、yarn以及zk個維護組件,那就只有分開去管理,而且維護起來比較麻煩,例如出問題之后重啟動,停止等操作只有去服務(wù)器操作。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的一種Cloudera Manager與flink結(jié)合的方法、計算機設(shè)備及存儲介質(zhì)，能夠?qū)dfs、yarn以及zk三者結(jié)合來集成flink，統(tǒng)一管理。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：一種基于Cloudera Manager與flink結(jié)合的方法，其改進之處在于，包括搭建集群、編寫程序及上傳并運行數(shù)據(jù)。

作為上述技術(shù)方案的進一步改進，搭建集群包括多臺機器搭建Cloudera Manager集群。

作為上述技術(shù)方案的進一步改進，多臺機器搭建Cloudera Manager集群包括下列步驟：

步驟1.01，修改主機hosts；

步驟1.02，關(guān)閉防火墻、清空規(guī)則以及selinux；

步驟1.03，將Cloudera Manager集群時間設(shè)置同步,安裝ntpd；

步驟1.04，安裝JDK,并賦值執(zhí)行權(quán)限,添加配置文件；

步驟1.05，數(shù)據(jù)庫驅(qū)動安裝；

步驟1.06，MySQL安裝,創(chuàng)建Cloudera Manager管理數(shù)據(jù)庫,設(shè)置權(quán)限；

步驟1.07，解除linux系統(tǒng)打開文件最大數(shù)量的限制，并設(shè)置linux交換區(qū)內(nèi)存和透明頁；

步驟1.08，解壓并安裝Cloudera Manager的主節(jié)點和次節(jié)點；

步驟1.09，開通httpd；

步驟1.10，對Cloudera Manager集群的頁面進行維護組件配置。

作為上述技術(shù)方案的進一步改進，步驟1.10中，維護組件包括hdfs、yarn、zk。

作為上述技術(shù)方案的進一步改進，搭建Cloudera Manager集群包括安裝flink。

作為上述技術(shù)方案的進一步改進，安裝flink步驟如下：

步驟1.11，flink壓縮包解壓,修改配置文件；

步驟1.12，修改環(huán)境變量；

步驟1.13，修改日志文件。

作為上述技術(shù)方案的進一步改進，搭建Cloudera Manager集群包括ClouderaManager集成flink的配置。