[發(fā)明專利]一種實體關(guān)系自動發(fā)現(xiàn)方法與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010867916.2
• 申請日: 2020-08-26
• 公開（公告）號: CN111813873B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設計）人: 周春姐;戴鵬飛
• 申請（專利權(quán)）人: 煙臺云朵軟件有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/901;G06F16/907
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 潘劍敏

本發(fā)明公開了一種實體關(guān)系自動發(fā)現(xiàn)方法，所述實體關(guān)系自動發(fā)現(xiàn)方法包括如下步驟：步驟S5：從消息隊列取出數(shù)據(jù)，同時還需從關(guān)系再發(fā)現(xiàn)中提出數(shù)據(jù)，并對所提取的實體數(shù)據(jù)進行解析，然后根據(jù)實體類型從解析后的實體數(shù)據(jù)中獲取元數(shù)據(jù)。本發(fā)明中，海量數(shù)據(jù)環(huán)境下的實體識別、數(shù)據(jù)元識別方法、并發(fā)分布式關(guān)系發(fā)現(xiàn)方法以及并發(fā)關(guān)系發(fā)現(xiàn)可能帶來的關(guān)系遺漏發(fā)現(xiàn)及其補償方法，利用圖形存儲引擎、實體文檔存儲引擎，基于數(shù)據(jù)元以及數(shù)據(jù)標準體系的支撐，建立了一套自動化的關(guān)系發(fā)現(xiàn)算法與系統(tǒng)引擎，解決面對海量數(shù)據(jù)洪流，快速的發(fā)現(xiàn)并建立關(guān)聯(lián)關(guān)系及其關(guān)系圖譜的難題，相對于人工梳理的方式，其錯誤率明顯降低，且能夠削減人力、物力以及財力的消耗量。

技術(shù)領(lǐng)域

本發(fā)明屬于信息處理技術(shù)領(lǐng)域，尤其涉及一種實體關(guān)系自動發(fā)現(xiàn)方法與系統(tǒng)。

背景技術(shù)

大數(shù)據(jù)，IT行業(yè)術(shù)語，是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

在傳統(tǒng)的業(yè)務平臺中，數(shù)據(jù)之間的關(guān)系基本上是依靠人工建立關(guān)聯(lián)字段和關(guān)聯(lián)信息，并通過關(guān)系型數(shù)據(jù)庫進行實體的存儲，通過關(guān)系表進行實體之間關(guān)系的存儲，但在當今大數(shù)據(jù)時代環(huán)境下，對海量、多變的數(shù)據(jù)進行梳理時仍是通過人工進行，在不斷增加數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系下，已經(jīng)變得力不從心，也不現(xiàn)實，將需要消耗大量的人力、物力和財力，因此，現(xiàn)階段市場上亟需一種實體關(guān)系自動發(fā)現(xiàn)方法與系統(tǒng)來解決上述問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于：為了解決在當今大數(shù)據(jù)時代環(huán)境下，對海量、多變的數(shù)據(jù)進行梳理時仍是通過人工進行，在不斷增加數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系下，已經(jīng)變得力不從心，也不現(xiàn)實，將需要消耗大量人力、物力和財力的問題，而提出的一種實體關(guān)系自動發(fā)現(xiàn)方法與系統(tǒng)。

為了實現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

一種實體關(guān)系自動發(fā)現(xiàn)方法，所述實體關(guān)系自動發(fā)現(xiàn)方法包括如下步驟：

步驟S1：數(shù)據(jù)接入，接收外部實體數(shù)據(jù)(Schema，Data)進入關(guān)系引擎消息隊列，在接入過程中，對所接入的實體數(shù)據(jù)(Schema，Data)增加其全局唯一ID；

步驟S2：實體數(shù)據(jù)入庫，從消息隊列取出數(shù)據(jù)，根據(jù)實體類型(Schema)存入相應的實體數(shù)據(jù)庫中；

步驟S3：從消息隊列取出數(shù)據(jù)，根據(jù)實體類型(Schema)建立圖數(shù)據(jù)庫中的實體定點V，并以頂點的形式存儲于圖數(shù)據(jù)庫中；

步驟S4：從消息隊列取出數(shù)據(jù)，存入關(guān)系補償引擎中的補償數(shù)據(jù)池；

步驟S5：從消息隊列取出數(shù)據(jù)，同時還需從關(guān)系再發(fā)現(xiàn)中提出數(shù)據(jù)，并對所提取的實體數(shù)據(jù)(Schema，Data)進行解析，然后根據(jù)實體類型(Schema)從解析后的實體數(shù)據(jù)(Schema，Data)中獲取元數(shù)據(jù)，并將所獲取的元數(shù)據(jù)存儲至元數(shù)據(jù)與數(shù)據(jù)元緩存池內(nèi)；

步驟S6：關(guān)系補償，根據(jù)實體類型(Schema)所獲取的元數(shù)據(jù)同時進入多項實體數(shù)據(jù)時，有可能在剛剛進入的實體之間存儲數(shù)據(jù)關(guān)系發(fā)現(xiàn)盲點，因此將新進數(shù)據(jù)按時間周期存儲到補償數(shù)據(jù)池中；

步驟S7：通過統(tǒng)一關(guān)系訪問接口訪問圖數(shù)據(jù)庫，并進行關(guān)系可視化。

作為上述技術(shù)方案的進一步描述：

所述步驟S5中根據(jù)元數(shù)據(jù)中的字段定義遍歷元數(shù)據(jù)中的所有業(yè)務字段F。

作為上述技術(shù)方案的進一步描述：

所述步驟S5中根據(jù)字段F的業(yè)務類型(元數(shù)據(jù))MT反向查詢所有擁有同業(yè)務類型的所有元數(shù)據(jù)，得到一個元數(shù)據(jù)列表清單MDL。

作為上述技術(shù)方案的進一步描述：