[發明專利]AI智能客戶價值管理平臺

在審

• 申請號: 202110021661.2
• 申請日: 2021-01-08
• 公開（公告）號: CN112685514A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 楊東立
• 申請（專利權）人: 北京云橋智聯科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/25;G06F16/215;G06F16/21;G06F16/182;G06F16/26;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種AI智能客戶價值管理平臺，其特征在于，數據庫核心包括采集模塊、分群模塊、分析模塊和數據模塊，

采集模塊：支持多渠道數據導入和采集

數據通過多渠道富媒體的方式進行數據采集，數據類型包括基礎數據與平面文本文件(Excel)、音頻數據和視頻數據等，均采集到我們的大數據平臺體系中，平臺可適配支持多種類型的數據源，結構化數據采集主要來自于業務系統輸入，或者通過API接口與其他外圍系統對接，或文本文件等形成的結構化數據，數據平臺通過ETL(Extract，Transform，Load)進行數據庫的構建，將數據平臺中所需的數據按數據倉庫建立的方法每天或定期從各渠道中進行數據采集，并根據各個不同的渠道數據源進行數據調整，并且平臺在數據采集過程中會將原始數據進行抽取、清洗、合并和裝載，在此過程中必須保證數據的完備性和數據的一致性，當業務數據量過大，未避免Mysql數據倉庫壓力過大，亦可將業務數據通過kettle遷移到hadoop平臺的數據庫Hbase中。

在非結構化數據采集的部分，視頻信息、音頻信息、微博實時數據、傳感器采集的設備數據、移動端收集的數據以及其他流數據等非結構化數據，我們將通過傳感器接口、視頻接入設備、網絡爬蟲工具和流處理程序等方式分別進行采集并存儲到HDFS和Hbase中。

分群模塊：將客戶數據通過大數據算法進行自動分群

數據平臺基于已采集的數據利用機器學習算法技術，通過特征歸類形成近似的分群和分組，數據庫訓練集由數據庫記錄(Record)組成，每一條記錄包含多個字段或屬性(Atribute)，構成一個特征向量，訓練集每條記錄還有一個特定的標簽(ClassLabel)與之對應，該類標簽采用經驗法則由系統自動生成，一個具體樣本的形式可為樣本向量：(v1，v2，...，vn；c)，在這里vi表示字段值，c表示類別，分類的目的是分析輸入數據，通過在訓練集中的數據表現出來的特性，為每一個類找到一種準確的描述或者模型，由此生成的類描述用來對未來的測試數據進行分類，雖然隨處的是生成的隨機變量，系統仍可以由此進行歸類和定義，故系統由此對數據庫中的每一個類有一個新的標示，新的數據通過近似的元素將被被聚合，實現數據學習，在持續的學習下將衍生出新的目標函數或規則，把每個屬性集x映射到一個預先定義的類標號y。

數據平臺中分類模型的構造分為訓練和測試兩個階段。在構造模型前，要求將數據集隨機的分為訓練集和測試集，在訓練階段，使用訓練數據集，通過分析由屬性描述的數據庫元組來構造模型，通過數據的積累和抽檢驗證評估模型的分類準確率，持續進行數據元組的調優，我們平臺的分類算法，是引用KNN近似算法(K-NearestNeighbor)是一種基于實例的分類方法，是一種非參數的分類方法，通過測量不同特征值之間的距離進行分類，它的思路是：如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數屬于某一個類別，則該樣本也屬于這個類別，其中K通常是不大于20的整數，KNN算法中，所選擇的鄰居都是已經正確分類的對象，該方法在定類決策上只依據最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。

KNN方法在類別決策時，只與極少量的相鄰樣本有關，因此，采用這種方法可以較好的避免樣本的不平衡問題，另外，由于KNN方法主要是靠周圍有限的臨近的樣本，而不是靠判別類域的方法來確定所屬類別，因此對于類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為合適，平臺數據庫針對于計算量大的問題，采用的解決方法是事先對已知樣本點進行剪輯，事先去除對分類作用不大的樣本，對樣本進行組織與整理，分群分層，盡可能將計算壓縮在接近測試樣本領域的小范圍內，避免盲目的與訓練樣本集中的每個樣本進行距離計算，使得系統在數據庫運行的過程中保持穩定。

分析模塊：多維度數據報表及可視化分析界面

數據平臺提供的數據分析中的可視化方法及工具，包括表格、直方圖、散點圖、折線圖、柱狀圖、餅圖、面積圖、流程圖、泡沫圖表等，其次常用圖表的多個數據系列或組合像時間線、維恩圖、數據流圖、實體關系圖等，其次也包括了專用的分析工具，如平行坐標用于繪制多維度個體數據，樹狀圖用于可視化層次結構，錐形樹圖用于特殊數據的分層如三維空間中的組織體以及語義網絡等。

此外，系統的數據挖掘工具采取的是類似Tableau可支持交互式和直觀數據分析，內置內存數據引擎來加速可視化處理，利用基于Hadoop的一個數據倉庫工具Hive，將查詢結構化并為內存分析緩存信息，通過緩存信息，Hadoop集群延遲的可能性會大大減小，為用戶與大數據應用提供了一個交互互動機制，平臺的大數據分析工具可以輕而易舉地處理ZB(十萬億億字節)和PB(千萬億字節)數據，交互式可視化集群分析方法是集群模式最直接的方法，可視化多維數據便于用戶交互式分析數據和認識集群結構。

平行坐標和散點圖矩陣通常被用來分析十個維度以內的數據，而星型坐標則可以處理數十個維度，基于星型坐標的集群可視化利用潛在映射模型的性能部分地保持這個位置關系大幅提升數據分析可用性。

數據模塊：底層數據庫的儲存管理

系統平臺通過關系型數據庫MySQL和hadoop的HBase數據庫共同承擔對結構化的數據的存儲和管理，以MySQL建立傳統數據倉庫來實現對用于結構化數據和元數據的集中存儲與管理，并根據需求建立面向部門和主題的數據集市，中央數據倉庫將被劃分為三個邏輯存儲區間：ODS(Operational Data Store)、DW(Data Warehourse)、DM(Data Mar))：ODS將存放各業務系統的原始數據，包括與原結構相同的業務數據以及經過初步整理后的業務數據；DW區域存放經過整理過的數據，是大數據分析平臺真正的數據中心；DM區域存放各個應用系統(web應用、BI、OLAP、Data Mining等)所需的綜合數據。與此同時我們在MySQL和HBase數據庫之間建立連接，利用Kettle定時進行數據交換，兩種數據倉庫共同大數據應用提供數據支撐，從而實現數據共享，分攤壓力和數據備份的目的。

對于非結構化數據存儲和管理方面，由于Mysql不支持對非結構化數據的存儲，利用大數據應用框架Hadoop平臺的數據倉庫作為傳統數據倉庫的補充，實現對非結構化數據的存儲和管理，并對來自網絡的海量數據查詢提供支撐，Hadoop的多多功能組件HDFS分布式文件系統，分布式存儲大數據文件，Hbase可擴展的分布式列存儲NoSQL數據庫，用于存儲結構化和非結構化數據，平臺為滿足不同用戶的個性化數據使用需求，系統安排提供了三中大數據應用方式，第一種支持利用java或C等開發語言編寫程序實現對Hadoop平臺和MySQL數據倉庫中數據的應用；第二種是適用于IBM-Cognos作為信息共享的工具，Cognos作為多樣化的前端分析展示工具，支持建立DMR和OLAP兩種模型，提供了在線報表、OlAP分析、儀表板、記分卡、實時查詢、Office集成、移動APP等多種信息共享技術；第三種IBM-SPSS作為數據挖掘工具，SPSS支持以Hadoop平臺和MySQL搭建挖掘模型，用于統計學分析運算、數據挖掘、預測分析和決策支持任務，支持描述性統計、均值比較、一般線性模型、相關分析、回歸分析、對數線性模型、聚類分析、數據簡化、生存分析、時間序列分析、多重響應等多類統計分析和挖掘算法。