[發明專利]一種標簽創建和管理系統

有效

• 申請號: 201810977892.9
• 申請日: 2018-08-27
• 公開（公告）號: CN109101652B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 孫家宇;廖誠誼;林建波
• 申請（專利權）人: 宜人恒業科技發展（北京）有限公司;普信恒業科技發展（北京）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/28;G06F16/2455
• 代理公司: 上海衡方知識產權代理有限公司 31234
• 代理人: 朱穆峰

本發明記載了一種標簽創建和管理系統，該系統采用由模型標簽層、業務標簽層和組合標簽層依次構成的三層架構，并且該系統包括：由模型管理模塊、標簽管理模塊、標簽質量控制模塊、綜合管理模塊和組合標簽模塊構成的管理模塊；以及標簽調度模塊、標簽生成模塊和標簽查詢模塊。由于采用了上述技術方案，本發明通過采用三層架構以及若干模塊，獲得了節省標簽創建時間、提高標簽創建效率、增加標簽組合方式、增加交并差集功能、在基礎標簽數量不變的情況下擴展創建組合標簽的數量等有益效果。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種能夠節省創建標簽時間、提高創建標簽效率、增加標簽之間組合方式的標簽創建和管理系統。

背景技術

隨著互聯網以及相關產業的高速發展，如今的信息技術已然進入了大數據時代。大數據(big data)，指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

同時，隨著企業的業務規模的高速擴張，數據的增長也在指數級膨脹，使得業務數據、行為數據、統計數據、行業數據、合作數據、抓取數據等增量迅速。數據快速從TB走向PB。由于這些真實的用戶屬性、資產情況、金融信息等數據含金量特別高，所以如何運用大數據技術挖掘有價值的商業信息，伴隨著大數據應用的討論、創新，基于用戶標簽體系的用戶畫像體系應運而生。

目前，業界常見的方案如友盟、talkingdata更關注用戶分析，對標簽管理側重感不強，功能嚴重缺失；而國外的Countly與國內的Cobub則是以APP方發送日志時調用API的方式通過外部渠道來增加標簽，再將標簽納入統計系統，側重于標簽數據收集，但是無法涉及標簽管理、標簽質量控制、標簽組合使用。同時，業界其他技術方案過于關注業務擴展量，對標簽管理不成體系，往往是一個需求一堆標簽，標簽創建效率低下，并且貪大求全，對個別標簽的質量監控不全。

此外，業界的標簽庫創建標簽由業務方發起需求、產品提供需求頁面，業務服務層由前端和服務端一起開發，中間結果存在存儲層，再由服務層與數據倉庫通過協議層確定增加字段，開發上線之后可用。標簽迭代以小步快跑的方式積累使用，從而導致了以下嚴重缺陷：

1.由于創建標簽需要前端、業務研發、數據研發協同開發，中間存儲層還需要存儲一次，所以導致標簽創建效率低下；

2.數據庫寬表僅支持有限的交集查詢，不支持并集、差集等復雜組合情況。其中，寬表從字面意義上講就是字段比較多的數據庫表，通常是指業務主題相關的指標、維度、屬性關聯在一起的一張數據庫表，廣泛應用于數據挖掘模型訓練前的數據準備，通過把相關字段放在同一張表中，可以大大提高數據挖掘模型訓練過程中迭代計算時的效率問題。

發明內容

為了解決上述問題，本發明提供了一種標簽創建和管理系統，該系統采用ElasticSearch作為寬表核心。ElasticSearch是一個基于Lucene的搜索服務器，它提供了一個基于RESTful web接口的分布式多用戶全文搜索引擎。ElasticSearch是用Java開發的，并作為Apache許可條款下的開放源碼發布，是當前流行的企業級搜索引擎。該設計用于云計算中，能夠達到實時搜索、穩定、可靠、快速、安裝使用方便等效果。從而，通過利用ElasticSearch的索引存儲，避免了關系型數據庫擴張限制和查詢性能問題。同時，由于采用ElasticSearch作為寬表核心，本發明具備了如下功能和有益效果：

(1)利用ElasticSearch進行查詢更新，從而在具備更高性能的基礎上，實現了支持復雜計算的有益效果；

(2)可以直接利用配置ElasticSearch腳本的方式生成業務標簽，從而節省標簽創建時間，進而具備了提高標簽創建效率的有益效果；