[發明專利]一種財務數據轉換成評估數據規范化的方法

在審

• 申請號: 202010019361.6
• 申請日: 2020-01-08
• 公開（公告）號: CN111258953A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 李博;何平;李媛媛
• 申請（專利權）人: 中聯財聯網科技有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F40/258;G06F40/151;G06F40/186;G06N20/00
• 代理公司: 北京勁創知識產權代理事務所(普通合伙) 11589
• 代理人: 徐家升

1.一種財務數據轉換成評估數據規范化的方法，包括以下步驟：

S1、接收待轉換的excel模板數據文件；

S2、讀取接收到的模板文件中的數據，利用匹配規則引擎針對每行數據的內容，進行表頭行和具體數據行的分類；

S3、利用匹配規則引擎針對表頭行的內容，進行字段含義的匹配，用來對應標準模板中的預設評估所需字段；

S4、利用匹配規則引擎針對數據行的內容，進行科目編號、科目名稱的匹配，用來對應評估模板所需字段；

S5、根據匹配到的字段，進行多種數據格式單位的處理；

S6、匹配結果在瀏覽器web頁面進行展示，可進行人為調整；

S7、將最終匹配完畢的數據進行數據庫持久化存儲，用以提供導出評估數據模板；

其中，所述待轉換的excel模板數據文件支持xls以及xlsx格式類型；

所述待轉換的excel模板數據文件支持主流的財務軟件系統導出的余額表、明細賬、資產臺賬，不同的字段名稱以及格式；

所述匹配規則引擎，通過讀取的導入數據前兩行的內容來確定該模板是一行標題還是兩行標題，用以區分標題和具體數據；

針對表頭行的內容，根據預設的匹配資源庫進行匹配，包括精確匹配以及模糊匹配；

針對數據行的內容，進行科目編號、科目名稱的匹配，用來對應評估模板所需字段；

所述匹配到的字段格式處理包括科目編號、科目名稱以及涉及到的金額等字段，以達到統一格式處理；

所述頁面展示，人為干預調整匹配關系，可以進行匹配引擎的升級完善；

根據匹配完成的結果，進行格式化數據的存儲，并通過業務邏輯導出提供評估使用的數據模板。

2.如權利要求1所述方法，其特征在于，所述S2涉及的利用匹配規則引擎，針對表頭行和具體數據行的分類操作通過以下步驟實現：

S2.1、根據解析的導入數據前兩行內容，來適配是單行表頭還是雙行表頭；

S2.2、單行表頭，第一行各個列的數據內容都是針對屬性的描述文字；

S2.3、雙行表頭，第一行同單行表頭，第二行科目編號和科目名稱列內容必定為空(根據excel合并單元格處理)；

S3涉及的利用匹配規則引擎，針對表頭行的內容，進行字段含義的匹配，用來對應標準模板中的預設評估所需字段，通過以下步驟實現：

S3.1、根據表頭每個單元格的內容，通過不斷完善的預設匹配池中進行精確匹配；

S3.2、匹配到的標題列用自定義規范化的標識code進行標注；

S3.3、將數據組裝成規范化的數據結構進行后續使用；

S4涉及的利用匹配規則引擎，針對數據行的內容，進行科目編號、科目名稱的匹配，用來對應評估模板所需字段，通過以下步驟實現：

S4.1、科目編號列進行層級處理，從一級科目進行逐級匹配，區分出來每個科目的父級科目和子集科目；

S4.2、科目名稱列根據匹配到的一級科目進行子集科目的逐級匹配；

S4.3、科目名稱列根據匹配到的一級科目的科目編號重新執行科目編號的匹配規則進行第三次匹配。

3.如權利要求1所述方法，其特征在于，所述S2、S3、S4涉及的匹配規則引擎通過Hbase+Storm+Spark組合完成：

利用Hbase，將非結構化的自動匹配、手動匹配日志文件數據進行實時存儲，為后續模板適配計算提供高效的讀寫性能；

利用分布式流計算引擎Storm，對每個節點實現一個基本的計算過程，數據項在互相連接的網絡節點中流進流出，動態處理實時大量生成的自動解析數據日志以及人為干預處理日志，及時的對導入的模板進行適配解析，進行模板適配自學習，不斷完善擴充支持的模板類型；

再利用Spark，先匯聚不同任務生成的批量數據，然后進行數據全集的全面計算處理，進行模板解析適配的整體完善；

在保證了用戶每次導入任務實時準確處理的同時，又及時的對模板適配進行了擴充完善，不斷提升自動識別和轉換率。