[發明專利]基于數據庫row模式構建流式實時電影生態模型的方法

在審

• 申請號: 201710596283.4
• 申請日: 2017-07-20
• 公開（公告）號: CN107506379A
• 公開（公告）日: 2017-12-22
• 發明（設計）人: 曹飛;孫寧
• 申請（專利權）人: 北京影合眾新媒體技術服務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種電影生態模型的構建方法，具體地說是一種基于數據庫row模式構建流式實時電影生態模型的方法，屬于電影生態模型的構建方法領域。

背景技術

建立電影生態模型和圖譜的數據來源于電影業務數據，業務數據持續產生并存儲在各類遠程數據庫中，建模的各個數據輸入端無法及時感知到業務數據的產生，當前的解決方案為通過定時從各個遠程數據庫中進行數據抽取和清洗，傳輸到模型輸入端，按照預定義格式進行解析處理，再進入模型管道。當前方案的主要缺點如下：業務數據量具有明顯峰值和低谷，定時抽取無法解決時效問題；另外，數據抽取采用業務接口，會給系統峰值期間造成系統壓力，系統響應速度變慢；業務數據庫結構變更，導致模型端數據解析失敗。

發明內容

為了解決上述問題，本發明設計了一種基于數據庫row模式構建流式實時電影生態模型的方法，有效提高了數據的時效性，同時保證了數據的一致性和安全性。

本發明的技術方案為：

基于數據庫row模式構建流式實時電影生態模型的方法，包括以下步驟：

（1）利用canal實時動態的收集mysql數據庫的變更，并通過解析binlog，獲取到需要的數據對象；

（2）對獲取的數據對象重新序列化，并通過互聯網發送到遠端接收服務器；

（3）遠端接收服務器收到消息后，根據對應影院寫到對應MQ的隊列里；

（4）Consumer從MQ里獲取隊列里的新增數據，反序列化后還原數據到目標數據庫。

其中，所述步驟（1）Source DB提供電影數據源；

所述步驟（1）中Canal負責解析相關的數據庫日志，獲取到同步的數據；

所述步驟（2）通過SERVICE負責接收傳輸過來的數據，并進行有效性驗證并通過producer API發送給MQ；

Redis負責維護整體框架的消費配置信息和生產/消費記錄，作為配置庫使用。使用redis初始化影院對應信息和binlog位置，并在數據同步過程中記錄binlog位置的變化。

所述步驟（3）中MQ負責保證數據順序，并提供持久化服務；

所述步驟（4）中DB, Web訪問等服務通過consumer API進行數據訪問；

ZooKeeper用于提供分布式鎖服務的提供，管理所有消費者。Zookeeper負責提供生產者/消費者模型，提供生產和消費的隊列管理，另外還提供分布式鎖服務，提供訪問競態管理的問題。

本發明能夠實時獲取mysql變更數據，并提取目標數據對象，并對數據順序進行記錄和維護；通過MQ來進行數據的緩沖，以匹配同步過程中的速度不匹配的問題；消費端分別維護各個同步源的位置，保證數據和消費的一致性。

本發明的優點在于：系統耦合度較低，各個環節分別維護和管理自己的順序，并在數據流動過程中分別進行校驗，保證了數據一致性；各自維護自己的日志，方便故障排查和定位；通過MQ隔離各個數據源之間的消息，達到不同目標的隔離，增強了系統的容錯性。

下面結合附圖和實施例對本發明作進一步說明。

附圖說明

圖1為本發明實施例Binlog解析和同步流程圖

圖2為本發明實施例數據接收和消費流程圖。

具體實施方式

以下對本發明的優選實施例進行說明，應當理解，此處所描述的優選實施例僅用于說明和解釋本發明，并不用于限定本發明。

實施例1

基于數據庫row模式構建流式實時電影生態模型的方法，包括以下步驟：

（1）利用canal實時動態的收集mysql數據庫的變更，并通過解析binlog，獲取到需要的數據對象；

（2）對獲取的數據對象重新序列化，并通過互聯網發送到遠端接收服務器；

（3）遠端接收服務器收到消息后，根據對應影院寫到對應MQ的隊列里；

（4）Consumer從MQ里獲取隊列里的新增數據，反序列化后還原數據到目標數據庫。

其中，所述步驟（1）Source DB提供電影數據源；

所述步驟（1）中Canal負責解析相關的數據庫日志，獲取到同步的數據；

所述步驟（2）通過SERVICE負責接收傳輸過來的數據，并進行有效性驗證并通過producer API發送給MQ；