[發明專利]基于開源列式數據庫的畫像應用方法、裝置及存儲介質

在審

• 申請號: 202010571636.7
• 申請日: 2020-06-19
• 公開（公告）號: CN111741360A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 馬全輝
• 申請（專利權）人: 深圳市酷開網絡科技有限公司
• 主分類號: H04N21/442
• 分類號: H04N21/442;H04N21/466;H04N21/858;G06F16/18;G06F16/22;G06F16/24;G06F16/25
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 肖文靜

本發明公開了一種基于開源列式數據庫的畫像應用方法，包括：采集當前電視終端的日志數據，并將采集到的所述日志數據寫入預設的開源列式數據庫存儲；接收前端頁面發送的數據庫語句并執行；根據當前執行的數據庫語句自所述預設的開源列式數據庫查詢對應的日志數據顯示。本發明還公開了一種電視及存儲介質。本發明通過構建基于開源列式數據庫的數據處理框架，直接執行SQL語句以在clickhouse中用sql秒級響應出用戶畫像結果，提高了畫像系統的響應速度以及效率。

技術領域

本發明涉及離線畫像系統顯示效率的技術領域，尤其涉及一種基于開源列式數據庫的畫像應用方法、裝置及存儲介質。

背景技術

隨著時代的發展進步，越來越多的行業對數據的響應反饋要求很快，公司內部開發的離線用戶畫像系統(供運營部門分析數據，決策)也已提出了更高的要求，傳統的用戶畫像系統一般都是離線系統，這類用戶畫像是把當天業務方需要的用戶畫像提前算好，而后在有顯示需求的時候再提取算好的用戶畫像顯示查看，其畫像顯示的響應速度慢，時效性差。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種基于開源列式數據庫的畫像應用方法、裝置及存儲介質，旨在解決現有用戶畫像離線系統在應用時需要將當天業務方用戶畫像提前算好后進行調用，在應用效率上來說響應速度慢，并且時效性差的技術問題。

為實現上述目的，本發明提供一種基于開源列式數據庫的畫像應用方法，包括以下內容：

采集當前電視終端的日志數據，并將采集到的所述日志數據寫入預設的開源列式數據庫存儲；

接收前端頁面發送的數據庫語句并執行；

根據當前執行的數據庫語句自所述預設的開源列式數據庫查詢對應的日志數據顯示。

可選地，所述采集當前電視終端的日志數據，并將采集到的所述日志數據寫入預設的開源列式數據庫存儲的步驟，包括：

將采集到的所述日志數據寫入kafka消息隊列，并以flink消費所述kafka消息隊列篩選日志數據；

將篩選后的日志數據存儲至預設的開源列式數據庫存儲。

可選地，所述將采集到的所述日志數據寫入kafka消息隊列，并以flink消費所述kafka消息隊列以篩選日志數據的步驟，包括：

獲取所述flink消費業務邏輯；

通過所述flink調用獲取到的消費業務邏輯消費所述kafka消息隊列以篩選日志數據。

可選地，所述將采集到的所述日志數據寫入kafka消息隊列，并以flink消費所述kafka消息隊列以篩選日志數據的步驟，包括：

確認消費所述kafka消息隊列的訪問量；

若所述訪問量超出預設訪問量閾值時，以預設流量限制消費的訪問量。

可選地，所述將篩選后的日志數據存儲至預設的開源列式數據庫存儲的步驟，包括：

整合篩選后的日志數據；

將整合后的日志數據存儲至預設的開源列式數據庫存儲。

可選地，所述根據當前執行的數據庫語句自所述預設的開源列式數據庫查詢對應的日志數據顯示的步驟，包括：

確認所述數據庫語句的業務模型；

根據所述業務模型顯示查詢到的所述日志數據。

可選地，所述采集當前電視終端的日志數據，并將采集到的所述日志數據寫入預設的開源列式數據庫存儲的步驟之前，還包括：