[發明專利]審計大數據融合聚類與風險數據檢測方法、介質、設備

在審

• 申請號: 202110037498.9
• 申請日: 2021-01-12
• 公開（公告）號: CN113326862A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 楊國為;周士杰;萬鳴華;楊章靜;詹天明;張凡龍;黃璞
• 申請（專利權）人: 南京審計大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/2458;G06Q40/00
• 代理公司: 重慶市信立達專利代理事務所(普通合伙) 50230
• 代理人: 陳炳萍

本發明屬于審計大數據處理技術領域，公開了一種審計大數據融合聚類與風險數據檢測方法、介質、設備，包括：構建針對多視角大數據的低秩子空間聚類模型；確定審計數據點集D，定義離散點、邊界點、聚類內點，利用基于邊界網格細分的審計大數據風險數據快速檢測算法找出聚類的內點，組成集合D₁；離群點檢測；邊界點檢測；模式二分類。本發明通過多視角數據的融合和基于分塊的分布式優化算法，實現聚類算法的快速計算，從而解決了基于低秩表示的子空間聚類方法不適合大數據聚類的難題，實現審計大數據邊界點的快速檢測，極大提高求解效率，突破大數據邊界點的時間復雜度非線性的瓶頸，提高管理與決策大數據分析方法與支撐技術水平。

技術領域

本發明屬于審計大數據處理技術領域，尤其涉及一種審計大數據融合聚類與風險數據檢測方法、介質、設備。

背景技術

審計數據就是被審計數據和服務于審計的數據(資料)的集合。從廣義上講，與審計有關的數據都是審計數據。因此大數據時代，具體的審計數據往往也是大數據。它們有大數據4V特點，且目前無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。

例如，在金融證券、銀行等金融機構，數據往往分布于大量且異構的存儲介質中，這些數據存在其自身的幾個特征：數據量大、跨地域、跨系統分布：數據組織形式多樣、結構各異、無統一標準。當前，別說用常規軟件工具(審計軟件)整體捕捉、管理和處理這些數據，就是對一部分數據融合聚類和風險數據檢測都還鮮有人探討。

大數據的通常特點是：

第一，數據體量巨大。從TB級別躍升到PB級別。

第二，數據類型繁多，如網絡日志、視頻、圖片、地理位置信息等等。

第三，價值密度低。以視頻為例，連續不間斷監控過程中，可能有用的數據僅僅有一兩秒。

第四，處理速度快。1秒定律。最后這一點也是和傳統的數據挖掘技術有著本質的不同。物聯網、云計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數據來源或者承載的方式。

近些年來，數據挖掘技術已經成為一個研究的熱點，特別是在數據庫和人工智能等研究領域，聚類分析與離群點檢測是數據挖掘技術中最重要的兩個分支，二者的研究的出發點與目的截然不同：聚類是將原始數據集中個性相近或相似的對象歸為同一類別；它的研究目的是使區分類別之間差異；離群點檢測的研究對象是數據集中很小一部分對象，這小部分對象往往明顯有別于數據集總絕大部分對象。

面向審計的聚類分析是面向審計數據挖掘的主要任務之一。而且聚類能夠作為一個獨立的工具獲得數據的分布狀況，觀察每一簇數據的特征，集中對特定的聚簇集合作進一步地分析。在不同的應用領域，很多聚類技術都得到了發展，這些技術方法被用作描述數據，衡量不同數據源間的相似性，以及把數據源分類到不同的簇中。聚類分析還可以作為其他算法(如分類和定性歸納算法)的預處理步驟。

目前，已經有許多聚類分析方法，例如經典的k-means，spectralclustering等方法，以及最近的基于低秩表示的子空間聚類方法。但是這些方法并不適用于大數據。一方面是因為大部分經典的聚類方法模型本 身就沒有考慮大數據的多視角、異構等特點，另一方面是這些算法的時間復雜度是非線性的，在大數據環境下無法實現快速計算。

審計大數據挖掘方法：審計數據處理基本上可分為采集、導入及預處理、統計及分析、挖掘等四個步驟。與前面統計及分析過程不同的是，大數據環境下的數據挖掘一般沒有什么預先設定好的主題，主要是在現有數據上面進行基于各種算法的計算，從而起到預測的效果，并進一步實現一些高級別數據分析的需求。