[發明專利]一種基于空間感知的transformer協同過濾方法

在審

• 申請號: 202110758970.8
• 申請日: 2021-07-05
• 公開（公告）號: CN113536145A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 郭星;周姣;李煒
• 申請（專利權）人: 安徽大學
• 主分類號: G06F16/9536
• 分類號: G06F16/9536;G06N3/08
• 代理公司: 合肥市譽創共遠專利代理有限公司 34205
• 代理人: 洪琴

一種基于空間感知的transformer協同過濾方法，包括嵌入層、隱藏層和預測層，具體步驟如下：S1、嵌入層對輸入的四個稀疏特征向量進行獨熱碼編碼，生成固定大小的嵌入向量；S2、隱藏層中多層感知機(Multi?layer Percetron，MLP)和transformer網絡層兩個子模塊對送入的嵌入向量進行處理；S3、將隱藏層的兩個子模塊輸出的值聯合起來通過預測層后，得到最終的預測值。本發明將多層感知機和transformer應用到空間感知的服務質量預測中去，在基于多層感知機學習用戶交互數據的同時，又利用transformer來捕捉用戶位置和服務位置之間的隱式關系，從而解決傳統協同過濾方法中存在的數據稀疏和冷啟動等問題。

技術領域

本發明涉及推薦系統的技術領域，尤其涉及一種基于空間感知的transformer協同過濾方法。

背景技術

在一系列功能相似的服務中向用戶推薦符合用戶需求的個性化服務，稱之為服務推薦。服務質量的好壞通常是由衡量服務質量的兩個非功能屬性，即響應時間和吞吐量來決定。而這兩個屬性通常會受到地理位置的影響，比如用戶和被調用的服務位于因特網上相距較遠的不同網絡中，則會由于數據傳輸延遲和不同網絡之間鏈路的有限帶寬，用戶的體驗感可能會因此受到很大的影響。相反，當用戶和Web服務位于同一個網絡中，用戶訪問接近他們的服務時，體驗感會更強。因此，位置關系是影響服務質量的一個重要因素。

傳統的方法主要是利用協同過濾技術，可以分為基于鄰域的協同過濾算法以及基于模型的協同過濾算法。基于鄰域的方法就是根據用戶的歷史行為，以對已知項的評分為基礎，來預測未知項的評分。該過程主要包括相似性計算、鄰居選擇和缺失值預測三個步驟。其中，最重要的步驟之一是相似性計算。具體地說，計算相似性的方法很多，但目前使用較普遍的是皮爾遜相關系數(PCC)法和向量空間相似性(VSS)法。第一步，先從樣本中選擇相似度高的用戶或項目作為彼此的相似鄰居，在確定了鄰居集之后，下一步就是根據來自相似鄰居的信息來預測缺失值的預測評分。根據相似度的計算模型，基于內存的CF方法又可以進一步分為：基于用戶的方法、基于項目的方法以及基于用戶和項目混合的方法。Shao等人在基于用戶的基礎上提出了一種CF算法，首先利用皮爾遜相關系數(PearsonCorrelation Coefficient,PCC)法計算兩者間相似度，然后根據相似度進行篩選，找出相似度較大的相似用戶集，最后通過相似用戶對未訪問服務的訪問記錄來預測缺失的QoS值。然而，該方法只考慮了鄰近用戶之間的相似性，未達到很好的預測精度。為解決這一問題，Sun等人提出一個NRCF方法，研究web服務QoS值的特征并系統地融合相似用戶和類似web服務間的關系來進行個性化web服務推薦，顯著提升了預測精度。雖然以上基于內存的CF算法實現簡單，效率高，但仍然會受到數據稀疏性的影響，在用戶或者服務數量不那么多的情況下，很難找到足夠多的相似鄰居，從而影響預測精度。

為了進一步提高預測精度，研究者們開始研究基于模型的CF算法。由于基于模型的CF算法是通過使用用戶-服務矩陣(全局信息)中的所有QoS值來構建用于缺失值預測的全局模型，因此能夠很好地通過已知QoS值預測到未知服務的QoS值。Zhang等人提出了一個WSPred方法，通過利用用戶過去訪問過的服務信息來進行QoS值預測。Zhang等人提出了一種非負張量分解方法來預測缺失的QoS值。雖然相比較基于內存的CF算法，預測精度有所提升。然而，這些方法在檢測一組密切相關的用戶或服務之間的強關聯方面性能較差。因為這些方法在進行預測時，考慮的都僅僅是用戶或服務本身的一些基本信息，并沒有考慮到其它與之相關的關聯信息，因此也未能達到很好的預測效果。