[發明專利]一種Cloudera Manager與flink結合的方法、計算機設備及存儲介質

在審

• 申請號: 202011561677.4
• 申請日: 2020-12-25
• 公開（公告）號: CN112698880A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 劉躍紅;李佳喜
• 申請（專利權）人: 銀盛支付服務股份有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F15/16
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 張勇

1.一種基于Cloudera Manager與flink結合的方法，其特征在于，包括搭建集群，根據集群內部的hdfs、yarn以及zk集成flink集群，再編寫程序及上傳并運行數據。

2.根據權利要求1所述的一種基于Cloudera Manager與flink結合的方法，其特征在于，搭建集群包括多臺機器搭建Cloudera Manager集群。

3.根據權利要求2所述的一種基于Cloudera Manager與flink結合的方法，其特征在于，多臺機器搭建Cloudera Manager集群包括下列步驟：

步驟1.01，修改主機hosts；

步驟1.02，關閉防火墻、清空規則以及selinux；

步驟1.03，將Cloudera Manager集群時間設置同步,安裝ntpd；

步驟1.04，安裝JDK,并賦值執行權限,添加配置文件；

步驟1.05，數據庫驅動安裝；

步驟1.06，MySQL安裝,創建Cloudera Manager管理數據庫,設置權限；

步驟1.07，解除linux系統打開文件最大數量的限制，并設置linux交換區內存和透明頁；

步驟1.08，解壓并安裝Cloudera Manager的主節點和次節點；

步驟1.09，開通httpd；

步驟1.10，對Cloudera Manager集群的頁面進行維護組件配置。

4.根據權利要求3所述的一種基于Cloudera Manager與flink結合的方法，其特征在于，步驟1.10中，維護組件包括hdfs、yarn、zk。

5.根據權利要求3所述的一種基于Cloudera Manager與flink結合的方法，其特征在于，搭建Cloudera Manager集群包括安裝flink。

6.根據權利要求5所述的一種基于Cloudera Manager與flink結合的方法，其特征在于，安裝flink步驟如下：

步驟1.11，flink壓縮包解壓,修改配置文件；

步驟1.12，修改環境變量；

步驟1.13，修改日志文件。

7.根據權利要求6所述的一種基于Cloudera Manager與flink結合的方法，其特征在于，搭建Cloudera Manager集群包括Cloudera Manager集成flink的配置。

8.根據權利要求7所述的一種基于Cloudera Manager與flink結合的方法，其特征在于，Cloudera Manager集成flink的配置包括下列步驟：

步驟1.14，修改flink安裝目錄下的配置文件；

步驟1.15，上傳flink的jar包到flink的lib目錄。

9.根據權利要求1所述的一種基于Cloudera Manager與flink結合的方法，其特征在于，編寫程序及上傳運行數據包括kafka集群數據流推送。

10.根據權利要求1所述的一種基于Cloudera Manager與flink結合的方法，其特征在于，編寫程序及上傳運行數據包括實時消費flink程序提交集群部署。

11.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至10任一項所述方法。

12.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有執行權利要求1至10任一項所述方法的計算機程序。