[發(fā)明專利]面向漢語詞匯學(xué)習(xí)的分級詞表動態(tài)生成方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010123921.2
• 申請日: 2020-02-27
• 公開（公告）號: CN111427991A
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計）人: 彭煒明;張曌;張引兵;宋繼華;宋天寶
• 申請（專利權(quán)）人: 彭煒明;宋繼華;宋天寶
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F40/289
• 代理公司: 北京市盛峰律師事務(wù)所 11337
• 代理人: 席小東

1.一種面向漢語詞匯學(xué)習(xí)的分級詞表動態(tài)生成方法，其特征在于，包括以下步驟：

S1，根據(jù)語言學(xué)和計量詞匯學(xué)，確定合適的可量化的詞匯屬性，構(gòu)建詞表價值評價體系；

S2，結(jié)合S1中確定的詞匯屬性，對漢語分級語料進行標(biāo)注分析，獲取需要用到的有用的詞匯屬性信息；

S3，結(jié)合S1構(gòu)建的詞表價值評價體系和S2確定的詞匯屬性信息，通過分級詞表動態(tài)生成算法，自動生成分級詞表。

2.根據(jù)權(quán)利要求1所述的面向漢語詞匯學(xué)習(xí)的分級詞表動態(tài)生成方法，其特征在于，S1中，所述合適的可量化的詞匯屬性包括兩種：不依賴于上下文的詞匯內(nèi)部屬性和依賴于上下文的詞匯外部屬性；其中，詞匯內(nèi)部屬性包括詞匯本身詞性、詞匯本身釋義和詞匯的構(gòu)詞能力；其中，詞匯的構(gòu)詞能力包括構(gòu)詞方式和構(gòu)詞類型；詞匯外部屬性包括詞匯在特定語境中的詞性、詞匯在特定語境中的釋義和詞匯的頻率特征；其中，詞匯的頻率特征包括詞頻、文檔頻率和等級頻率。

3.根據(jù)權(quán)利要求1所述的面向漢語詞匯學(xué)習(xí)的分級詞表動態(tài)生成方法，其特征在于，S1具體包括如下步驟：

S101，基于“詞匯類推”的研究成果，結(jié)合中文詞匯的特點，將詞匯的構(gòu)詞能力具體化；S101具體包括如下步驟：

S1011，將詞表中的每個詞語進行減字類推，得到減字擴充詞表；

S1012，基于減字擴充詞表，進行組合類推，得到最終的擴充詞表；

S102，基于詞匯的構(gòu)詞能力對S1012得到的最終的擴充詞表進行價值評價計算，構(gòu)建得到詞表價值評價體系，S102具體包括如下步驟：

S1021，計算每個詞匯的詞頻TF值；

S1022，計算每個詞匯的文檔頻率DF值；

S1023，計算每個詞匯的等級頻率GF值；

S1024，計算每個詞匯對不同等級詞表的影響程度；

S1025，綜合考慮每個詞匯的詞頻TF值、文檔頻率DF值、等級頻率GF值和影響程度，計算每個詞匯的價值；

S1026，將詞表的每個詞匯的價值求和，得到詞表的總價值，由此得到詞表價值評價結(jié)果。

4.根據(jù)權(quán)利要求1所述的面向漢語詞匯學(xué)習(xí)的分級詞表動態(tài)生成方法，其特征在于，S1021具體為：

采用以下公式計算每個詞匯的詞頻TF值：

其中，為：詞語w在第i級教材中的詞頻TF值；

S1022具體為：

采用以下公式計算每個詞匯的文檔頻率DF值：

其中，為：詞語w在第i級教材的文章中的文檔頻率DF值；

S1023具體為：

采用以下公式計算每個詞匯的等級頻率GF值：

其中，GF_w為：詞語w的等級頻率GF值；

S1024具體為：

(1)采用以下公式計算出現(xiàn)在第i級教材中的任一詞語w_j對第i級教材的覆蓋度：

其中：

表示：出現(xiàn)在第i級教材中的任一詞語w_j對第k級教材的覆蓋度；

表示：詞語w_j在第k級教材的文章中的文檔頻率DF值；

表示：詞語w_j的等級頻率GF值；

表示：詞語w_j在第k級教材中的詞頻TF值；

(2)采用以下公式計算詞語的權(quán)重：

其中：

weight_k為：出現(xiàn)在第i級教材中的任一詞語w_j出現(xiàn)在第k級教材的權(quán)重；

即：當(dāng)出現(xiàn)在第i級教材中的任一詞語w_j出現(xiàn)在第k(k≤i)級教材時，對應(yīng)的權(quán)重不改變；而當(dāng)其出現(xiàn)在第k(ki)級教材時，對應(yīng)的權(quán)重逐級遞減；

S1025具體為：

采用以下公式計算每個詞語的價值：

其中：為：出現(xiàn)在第i級教材中的任一詞語w_j的價值；

S1026具體為：

采用以下公式計算第i級詞表的總價值：

其中：

score_i為：第i級詞表V′的詞表總價值；

n′為：第i級詞表V′包括的詞匯數(shù)量；

66453為：現(xiàn)代漢語詞典中的詞語總數(shù)量；

α是超參數(shù)；如果出現(xiàn)在第i級教材中的任一詞語w_j在核心集合中，則將α設(shè)置為1；如果出現(xiàn)在第i級教材中的任一詞語w_j通過類推得到，即詞語w_j在外延集合中，則將α設(shè)置為小于1大于0的數(shù)。