[發(fā)明專利]一種確定圖片簇描述文本核心詞的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201310674702.3
• 申請(qǐng)日: 2013-12-11
• 公開（公告）號(hào): CN103646074B
• 公開（公告）日: 2017-06-23
• 發(fā)明（設(shè)計(jì)）人: 陶哲
• 申請(qǐng)（專利權(quán)）人: 北京奇虎科技有限公司;奇智軟件(北京)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京中強(qiáng)智尚知識(shí)產(chǎn)權(quán)代理有限公司11448
• 代理人: 姜精斌

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)通信技術(shù)領(lǐng)域，尤其涉及一種確定圖片簇描述文本核心詞的方法及裝置。

背景技術(shù)

現(xiàn)有技術(shù)中搜索引擎依據(jù)網(wǎng)絡(luò)爬蟲/網(wǎng)絡(luò)蜘蛛抓取互聯(lián)網(wǎng)上的各個(gè)頁面，針對(duì)每個(gè)頁面的描述文本，可以確定每個(gè)頁面的核心詞。

但是，當(dāng)搜索引擎抓取到的海量圖片做相似度識(shí)別后會(huì)發(fā)現(xiàn)很多一組一組的相似圖片，其中，每張圖片都有源網(wǎng)頁上自身的不完全相同的圖片描述文本，同時(shí)也有可能是描述不實(shí)的圖片描述文本。這樣要確定圖片對(duì)應(yīng)其內(nèi)容的真實(shí)的圖片描述文本或核心詞就異常困難，對(duì)于不斷更新的海量圖片全部通過人工標(biāo)注的方式也是不現(xiàn)實(shí)的。另外，因?yàn)閳D片描述文本一般包含的字節(jié)數(shù)較少，并且其中還可能包含很多與圖片不相關(guān)的干擾信息，從而無法從中確定較準(zhǔn)確的核心詞，也為確定與圖片真實(shí)匹配的核心詞或描述文本造成了極大的困難。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決或者減緩上述問題的一種確定圖片簇描述文本核心詞的方法及裝置。

本發(fā)明實(shí)施例提供一種確定圖片簇描述文本核心詞的方法，該方法包括：

針對(duì)每個(gè)圖片簇，提取該圖片簇中每個(gè)圖片的圖片描述文本，將每個(gè)所述圖片描述文本保存在文本簇中；

對(duì)文本簇中的每個(gè)圖片描述文本進(jìn)行切詞處理，得到每個(gè)圖片描述文本中的基礎(chǔ)詞；

根據(jù)每個(gè)基礎(chǔ)詞的屬性信息，確定每個(gè)基礎(chǔ)詞在每個(gè)圖片描述文本中的權(quán)值，并確定每個(gè)基礎(chǔ)詞在每個(gè)圖片描述文本中的分?jǐn)?shù)值；

根據(jù)每個(gè)基礎(chǔ)詞在每個(gè)圖片描述文本中的分?jǐn)?shù)值，確定每個(gè)基礎(chǔ)詞在文本簇中的總分?jǐn)?shù)值；

根據(jù)確定的每個(gè)基礎(chǔ)詞在文本簇中的總分?jǐn)?shù)值，確定該圖片簇的核心詞。

較佳地，為了準(zhǔn)確的確定出每個(gè)圖片簇的核心詞，確定每個(gè)基礎(chǔ)詞在文本簇中的總分?jǐn)?shù)值之后，所述方法還包括：

根據(jù)確定的每個(gè)基礎(chǔ)詞在文本簇中的總分?jǐn)?shù)值，確定每個(gè)圖片描述文本的總得分值；

根據(jù)每個(gè)圖片描述文本的總得分值，刪除設(shè)定數(shù)量的圖片描述文本；

判斷刪除設(shè)定數(shù)量的圖片描述文本后，該文本簇中包含的圖片描述文本的數(shù)量是否達(dá)到設(shè)定的收斂閾值；

當(dāng)該文本簇中包含的圖片描述文本的數(shù)量達(dá)到設(shè)定的收斂閾值時(shí)，在該文本簇中確定該圖片簇的核心詞，否則，重新確定該文本簇中剩余的每個(gè)圖片描述文本的總得分值直至確定出圖片簇的核心詞。

較佳地，在本發(fā)明實(shí)施例中為了更加準(zhǔn)確的確定圖片簇的核心詞。所述確定每個(gè)基礎(chǔ)詞在每個(gè)圖片描述文本中的權(quán)值之前，所述方法還包括下述至少一個(gè)步驟：

對(duì)切詞處理后的基礎(chǔ)詞進(jìn)行去噪聲處理；和

對(duì)文本簇中每個(gè)圖片描述文本進(jìn)行去噪聲處理。

較佳地，在本發(fā)明實(shí)施例中為了更加準(zhǔn)確的確定文本簇的核心詞。所述對(duì)切詞處理后的基礎(chǔ)詞進(jìn)行去噪聲處理包括：

將切詞后得到的每個(gè)基礎(chǔ)詞與保存的無意義詞庫中的每個(gè)詞進(jìn)行匹配；

當(dāng)匹配成功時(shí)，確定該基礎(chǔ)詞為無意義詞，將該基礎(chǔ)詞刪除。

較佳地，在本發(fā)明實(shí)施例中為了更加準(zhǔn)確的確定圖片簇的核心詞。所述對(duì)文本簇中每個(gè)圖片描述文本進(jìn)行去噪聲處理包括以下至少一個(gè)處理步驟：

判斷每個(gè)圖片描述文本是否滿足設(shè)定的過濾條件；當(dāng)該圖片描述文本滿足設(shè)定的過濾條件時(shí)，將該圖片描述文本刪除；和

將每?jī)蓚€(gè)圖片描述文本進(jìn)行比較，按照該兩個(gè)圖片描述文本基礎(chǔ)詞的順序，判斷該兩個(gè)圖片描述文本中出現(xiàn)相同基礎(chǔ)詞的數(shù)量是否達(dá)到設(shè)定的數(shù)量閾值；當(dāng)該兩個(gè)圖片描述文本中出現(xiàn)相同基礎(chǔ)詞的數(shù)量達(dá)到設(shè)定的數(shù)量閾值時(shí)，刪除該兩個(gè)圖片描述文本中的一個(gè)圖片描述文本。

較佳地，在本發(fā)明實(shí)施例中為了準(zhǔn)確的確定圖片簇的核心詞。所述確定該基礎(chǔ)詞在該圖片描述文本中的權(quán)值包括：

根據(jù)統(tǒng)計(jì)的每個(gè)基礎(chǔ)詞的頻度，確定該基礎(chǔ)詞的基礎(chǔ)值；

根據(jù)該基礎(chǔ)詞在圖片描述文本中出現(xiàn)的位置，及設(shè)置的每個(gè)位置對(duì)應(yīng)的位置權(quán)重值，確定每個(gè)基礎(chǔ)詞的位置值；

根據(jù)該基礎(chǔ)詞包含的字節(jié)數(shù)，及設(shè)置的每種基礎(chǔ)詞長(zhǎng)度對(duì)應(yīng)的長(zhǎng)度權(quán)重值，確定該基礎(chǔ)詞的長(zhǎng)度值；

根據(jù)該基礎(chǔ)詞的詞性，及設(shè)置的每種詞性對(duì)應(yīng)的詞性權(quán)重值，確定該基礎(chǔ)詞的詞性值；

根據(jù)確定的該基礎(chǔ)詞的基礎(chǔ)值、位置值、長(zhǎng)度值和詞性值，確定該基礎(chǔ)詞的子權(quán)值；

根據(jù)確定的該圖片描述文本中每個(gè)位置的該基礎(chǔ)詞的子權(quán)值的和，確定該基礎(chǔ)詞在該圖片描述文本中的權(quán)值。