[發(fā)明專利]一種基于圖形數(shù)據(jù)庫的搜索方法、系統(tǒng)和裝置

在審

• 申請?zhí)枺?/td>: 201710853106.X
• 申請日: 2017-09-20
• 公開（公告）號: CN107515951A
• 公開（公告）日: 2017-12-26
• 發(fā)明（設(shè)計(jì)）人: 陳樂華;涂繼來;黃曉暉
• 申請（專利權(quán)）人: 廣東中標(biāo)數(shù)據(jù)科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司44205
• 代理人: 胡輝

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其是一種基于圖形數(shù)據(jù)庫的搜索方法、系統(tǒng)和裝置。

背景技術(shù)

全文搜索引擎是最常用的搜索引擎，大家最熟悉的就是國外的Google和國內(nèi)的百度。它們通常會爬取各個(gè)網(wǎng)站的網(wǎng)頁文字存放在建立的數(shù)據(jù)庫中，在用戶發(fā)起搜索請求時(shí)，檢索與用戶查詢條件匹配的相關(guān)記錄，然后按其設(shè)定的排列順序?qū)⒔Y(jié)果返回給用戶。這些看似功能強(qiáng)大的搜索引擎，其實(shí)也存在弊端。由于這些搜索引擎的數(shù)據(jù)來源廣，重復(fù)的內(nèi)容多而復(fù)雜。傳統(tǒng)的數(shù)據(jù)庫一般屬于非圖形數(shù)據(jù)庫，然而非圖形數(shù)據(jù)庫用于存儲“關(guān)系型”數(shù)據(jù)的效果并不好。特別在數(shù)據(jù)量大的情況下，基于傳統(tǒng)數(shù)據(jù)庫的搜索方法搜索“關(guān)系型”數(shù)據(jù)，其查詢速度特別緩慢，已經(jīng)不能滿足日益增長的數(shù)據(jù)量和查詢量的要求了。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明的第一目的在于：提供一種查詢速度快的基于圖形數(shù)據(jù)庫的搜索方法。

本發(fā)明的第二目的在于：提供一種查詢速度快的基于圖形數(shù)據(jù)庫的搜索系統(tǒng)。

本發(fā)明的第三目的在于：提供一種查詢速度快的基于圖形數(shù)據(jù)庫的搜索裝置。

本發(fā)明所采用的第一種技術(shù)方案是：

一種基于圖形數(shù)據(jù)庫的搜索方法，包括以下步驟：

對采集到的數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的數(shù)據(jù)，所述預(yù)處理包括數(shù)據(jù)清洗；

根據(jù)采集到的數(shù)據(jù)的業(yè)務(wù)領(lǐng)域和來源以及預(yù)處理后的數(shù)據(jù)生成圖形數(shù)據(jù)庫；

搜索服務(wù)器根據(jù)實(shí)時(shí)的查詢信息對圖形數(shù)據(jù)庫進(jìn)行搜索，并展示搜索結(jié)果。

進(jìn)一步，所述對采集到的數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的數(shù)據(jù)，所述預(yù)處理包括數(shù)據(jù)清洗的步驟包括：

去除采集到的數(shù)據(jù)中無用的符號；

將采集到的數(shù)據(jù)中的公司簡稱進(jìn)行補(bǔ)全；

去除采集到的數(shù)據(jù)中重復(fù)的數(shù)據(jù)。

進(jìn)一步，所述根據(jù)采集到的數(shù)據(jù)的業(yè)務(wù)領(lǐng)域和來源以及預(yù)處理后的數(shù)據(jù)生成圖形數(shù)據(jù)庫，這一步驟具體包括：

根據(jù)采集到的數(shù)據(jù)的業(yè)務(wù)領(lǐng)域和來源，分析并建立統(tǒng)一的數(shù)據(jù)模型，并根據(jù)建立的數(shù)據(jù)模型采用HBase數(shù)據(jù)庫建立新的數(shù)據(jù)倉庫；

通過ETL數(shù)據(jù)倉庫技術(shù)從預(yù)處理后的數(shù)據(jù)中抽取實(shí)體，并建立實(shí)體與實(shí)體之間的關(guān)系和實(shí)體與結(jié)構(gòu)化數(shù)據(jù)之間的關(guān)系；

根據(jù)實(shí)體、實(shí)體與實(shí)體之間的關(guān)系，以及實(shí)體與結(jié)構(gòu)化數(shù)據(jù)之間的關(guān)系生成圖形化的搜索索引；

將圖形化的搜索索引加載到新的數(shù)據(jù)倉庫中，得到圖形數(shù)據(jù)庫。

進(jìn)一步，所述根據(jù)采集到的數(shù)據(jù)的業(yè)務(wù)領(lǐng)域和來源以及預(yù)處理后的數(shù)據(jù)生成圖形數(shù)據(jù)庫，這一步驟具體還包括：

對長度超過設(shè)定閾值的實(shí)體名稱進(jìn)行簡化。

進(jìn)一步，所述對長度超過設(shè)定閾值的實(shí)體名稱進(jìn)行簡化的步驟具體包括：

對名稱長度超過設(shè)定閾值的實(shí)體名稱進(jìn)行分詞，產(chǎn)生若干個(gè)單詞；

對產(chǎn)生的若干個(gè)單詞進(jìn)行詞頻分析、熱詞過濾、單詞合成和同詞變換的處理，得到簡化后的實(shí)體名稱。

進(jìn)一步，所述搜索服務(wù)器根據(jù)實(shí)時(shí)的查詢信息對圖形數(shù)據(jù)庫進(jìn)行搜索，并展示搜索結(jié)果，這一步驟具體包括：

實(shí)時(shí)獲取用戶輸入的查詢信息，并將用戶輸入的查詢信息異步地傳輸至搜索服務(wù)器；

搜索服務(wù)器根據(jù)用戶輸入的查詢信息，完成對圖形數(shù)據(jù)庫的搜索，得到搜索結(jié)果；

結(jié)合用戶的賬號信息和互聯(lián)網(wǎng)消息，對搜索結(jié)果進(jìn)行排序；

將排序后的搜索結(jié)果以選項(xiàng)的形式向用戶展示；

所述賬號信息，包括用戶的搜索記錄，用戶的個(gè)人信息；

所述互聯(lián)網(wǎng)消息，包括新聞消息和傳播量超過設(shè)定閾值的熱門消息。

進(jìn)一步，所述結(jié)合用戶的賬號信息和互聯(lián)網(wǎng)消息，對搜索結(jié)果進(jìn)行排序，這一步驟具體包括：

根據(jù)用戶搜索同一內(nèi)容的次數(shù)，對搜索結(jié)果進(jìn)行排序。

本發(fā)明所采用的第二種技術(shù)方案是：

一種基于圖形數(shù)據(jù)庫的搜索系統(tǒng)，包括：

采集清洗模塊，用于對采集到的數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的數(shù)據(jù)，所述預(yù)處理包括數(shù)據(jù)清洗；

數(shù)據(jù)庫建立模塊，用于根據(jù)采集到的數(shù)據(jù)的業(yè)務(wù)領(lǐng)域和來源以及預(yù)處理后的數(shù)據(jù)生成圖形數(shù)據(jù)庫；

搜索模塊，用于搜索服務(wù)器根據(jù)實(shí)時(shí)的查詢信息對圖形數(shù)據(jù)庫進(jìn)行搜索，并展示搜索結(jié)果。

本發(fā)明所采用的第三種技術(shù)方案是：

一種基于圖形數(shù)據(jù)庫的搜索裝置，包括：

存儲器，用于存儲程序；

處理器，用于執(zhí)行所述程序以完成以下步驟：

對采集到的數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的數(shù)據(jù)，所述預(yù)處理包括數(shù)據(jù)清洗；