[發明專利]范例學習驅動的內容關聯網站發掘方法

在審

• 申請號: 202011004278.8
• 申請日: 2020-09-23
• 公開（公告）號: CN112100500A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 高小翎;王斌
• 申請（專利權）人: 高小翎
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/955;G06F16/33;G06F16/35;G06F40/216;G06F40/289
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明針對現有技術不能滿足人們對內容關聯網站發掘推薦的需求，提出學習范例網站來發掘近似網站并推薦給用戶的方法，首先對范例網站進行學習，然后根據網站主題內容發掘與其內容關聯的其他網站，并推薦給用戶；通過范例網站學習網站主題信息，實現范例網站系統智能發掘與其主題內容關聯的新網站并推薦給用戶，擴寬用戶關注或瀏覽的信息層面，讓用戶更方便快捷的獲取與瀏覽信息關聯的其他信息，節約信息搜索時間，提高信息搜索效率，對用戶獲取信息起到良好的促進作用，具有交互性能強、智能化程度高、可擴展性高、推薦速度快、發掘精度高等優勢，具有巨大的利用價值和市場運用空間。

技術領域

本發明涉及一種內容關聯網站發掘方法，特別涉及范例學習驅動的內容關聯網站發掘方法，屬于內容關聯網站推薦技術領域。

背景技術

隨著信息技術應用越來越廣泛，網絡對人類生活產生了巨大的影響，在一定程度上改變了人們的生活方式，人們獲取信息的主要來源也發生了變化，當今網絡已成為最大的信息資源平臺，然而隨著信息技術的發展，每天的信息量都是億級以上的速度增長，從海量信息中獲取所需信息也成為了一個難題。當用戶在網絡上瀏覽或搜索某類信息時，在瀏覽當前頁面的同時，一般希望系統給出相類似的信息，這樣就能讓用戶更方便的獲取有用的信息，提高辦事質量和處理效率。因此，系統能智能推薦類似信息也成一種巨大需求，設計一種根據當前信息搜索近似信息，并判斷搜索信息是否與當前信息近似的方法是亟解決的問題。

通過學習范例網站并在網絡上尋找的關聯網站，是網站主題內容與范例網站的主題內容近似，即網頁內容圍繞的主題或體現的主題近似。主題網站不能有太多的主題，最好只有一個主題，能很清楚的知道主題是什么。為獲取網站主題需要對范例網站進行分析，如用關鍵詞概括網站主題，尋找近似網站則需要通過搜索引擎在網絡上根據范例網站的主題內容搜索信息，對爬取得到的網站與范例網站進行近似度計算，再根據設定的近似度臨界值判斷爬取的網站是否為近似網站，最后把近似網站推薦出去。

范例學習的主題網站關聯發掘，主要的步驟是提取范例網站的關鍵詞，然后構建范例網站的主題聚類模型，通過主題關鍵詞搜索近似網站，計算搜索得到的網站與范例網站的近似度，根據近似度推薦網站，主要涉及關鍵詞的提取和文本近似度計算。

現有技術的關鍵詞提取已獲得了一定的成果，根據語料文本中的最長名詞短語的分布特征的統計分析，對漢語的最長名詞短語研究，提出了兩種最長名詞詞語識別方法，提出了解決信息爆炸問題而輔助網絡智能獲取關鍵詞的方法，主要通過對詞權重計算排序，再獲取關鍵詞，對詞權重的計算考慮了詞頻、詞位置等影響因素，從而更加精確的計算關鍵詞的權重，考慮因素雖然比較全，但是影響因素的具體做法還需要改善；還有利用非線性函數結合比較法計算備選關鍵詞的權重，最終改良關鍵詞權值的計算，關鍵詞提取效果良好，但只采用了詞頻與位置作為影響關鍵詞權重的因素，還需要完善，受到語料庫和分詞方法的限制，不能對關鍵詞進行整體提取；現有技術有利用條件隨機場的模型來提取關鍵詞，提出根據信息特征來篩選關鍵詞，但存在一定的局限性，它只針對單一文檔，提取所有文檔的效果可能不是很好。本發明則是在改良的TF-IDF方法，綜合考慮影響因素，并擴充影響因素的內容。

現有技術的近似度計算從向量空間模型、漢明距離、語義理解及隱含語義等方面進行展開，利用文本的屬性來計算文本間的近似度，屬性重心模型有效擴充查詢式，提高信息檢索的效率，但是沒有考慮文本語句和篇章結構的語義信息；現有技術也提出利用詞語間的最短路徑長度、層次語義網絡的深度及詞語間局部語義密度計算詞語間的近似性，該方法比之前提出的方法效果更好，而該近似方法只是應用于詞語間的，還需要將其擴展到文本段落中去。

綜上，現有技術都還存在一些明顯不足，表現在以下方面：