[發(fā)明專利]用于清掃設(shè)備的覆蓋路徑生成方法和清掃設(shè)備

有效

• 申請?zhí)枺?/td>: 202010930444.0
• 申請日: 2020-09-07
• 公開（公告）號: CN112237403B
• 公開（公告）日: 2022-01-14
• 發(fā)明（設(shè)計(jì)）人: 徐一新
• 申請（專利權(quán)）人: 安克創(chuàng)新科技股份有限公司
• 主分類號: A47L11/40
• 分類號: A47L11/40
• 代理公司: 北京磐華捷成知識產(chǎn)權(quán)代理有限公司 11851
• 代理人: 卜璐璐

1.一種用于清掃設(shè)備的覆蓋路徑生成方法，其特征在于，所述方法包括：

獲取待清掃區(qū)域的地圖信息和清掃設(shè)備的初始信息，所述初始信息包括所述清掃設(shè)備的初始位置信息和姿態(tài)信息；

基于所述地圖信息和所述初始信息得到清掃狀態(tài)集合，所述清掃狀態(tài)集合中的每個(gè)清掃狀態(tài)反映在一個(gè)時(shí)刻所述待清掃區(qū)域的被清掃狀況以及所述清掃設(shè)備的狀況；

基于預(yù)定義的獎(jiǎng)勵(lì)機(jī)制和初始行動(dòng)策略計(jì)算所述每個(gè)清掃狀態(tài)的獎(jiǎng)勵(lì)值，基于所述獎(jiǎng)勵(lì)值優(yōu)化所述初始行動(dòng)策略得到新的行動(dòng)策略，并基于所述新的行動(dòng)策略重新計(jì)算所述每個(gè)清掃狀態(tài)的獎(jiǎng)勵(lì)值，如此迭代，直到所述每個(gè)清掃狀態(tài)的獎(jiǎng)勵(lì)值相對于上一次迭代時(shí)的獎(jiǎng)勵(lì)值的變化小于給定閾值，則迭代結(jié)束而得到最優(yōu)行動(dòng)策略；

基于所述最優(yōu)行動(dòng)策略生成覆蓋路徑，以用于由所述清掃設(shè)備基于所述覆蓋路徑在所述待清掃區(qū)域進(jìn)行清掃；

其中，所述預(yù)定義的獎(jiǎng)勵(lì)機(jī)制基于提高清掃效率和/或減少重復(fù)清掃的清掃原則定義了所述清掃設(shè)備的預(yù)設(shè)行動(dòng)集合中每個(gè)行動(dòng)的獎(jiǎng)勵(lì)值；并且

每個(gè)清掃狀態(tài)的獎(jiǎng)勵(lì)值基于與該清掃狀態(tài)相關(guān)聯(lián)的行動(dòng)狀態(tài)的獎(jiǎng)勵(lì)值而確定，其中與該清掃狀態(tài)相關(guān)聯(lián)的行動(dòng)狀態(tài)是指在該清掃狀態(tài)下執(zhí)行所述預(yù)設(shè)行動(dòng)集合中的行動(dòng)后達(dá)到的清掃狀態(tài)，每個(gè)行動(dòng)狀態(tài)的獎(jiǎng)勵(lì)值基于該行動(dòng)的獎(jiǎng)勵(lì)值以及該行動(dòng)執(zhí)行后達(dá)到的清掃狀態(tài)的獎(jiǎng)勵(lì)值而確定。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，每個(gè)行動(dòng)狀態(tài)的獎(jiǎng)勵(lì)值為該行動(dòng)的獎(jiǎng)勵(lì)值與該行動(dòng)執(zhí)行后達(dá)到的清掃狀態(tài)的獎(jiǎng)勵(lì)值之和，每個(gè)清掃狀態(tài)的獎(jiǎng)勵(lì)值等于與該清掃狀態(tài)相關(guān)聯(lián)的行動(dòng)狀態(tài)的獎(jiǎng)勵(lì)值的線性組合。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，每個(gè)清掃狀態(tài)的獎(jiǎng)勵(lì)值等于與該清掃狀態(tài)相關(guān)聯(lián)的行動(dòng)狀態(tài)的獎(jiǎng)勵(lì)值的期望。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述預(yù)設(shè)行動(dòng)集合中每個(gè)行動(dòng)的初始概率分布為均勻分布。

5.根據(jù)權(quán)利要求1-4中的任一項(xiàng)所述的方法，其特征在于，所述地圖信息包括與所述待清掃區(qū)域?qū)?yīng)的二維柵格，所述二維柵格中的每個(gè)柵格具有相應(yīng)的標(biāo)簽值，所述每個(gè)柵格的標(biāo)簽值指示該柵格對應(yīng)的區(qū)域是否有障礙物或者指示所述清掃設(shè)備是否已訪問過該柵格對應(yīng)的區(qū)域，所述預(yù)設(shè)行動(dòng)集合中至少一個(gè)行動(dòng)的獎(jiǎng)勵(lì)值與執(zhí)行該行動(dòng)后到達(dá)的柵格的標(biāo)簽值相關(guān)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，每個(gè)清掃狀態(tài)包括在一個(gè)時(shí)刻所述二維柵格中每個(gè)柵格的標(biāo)簽值、所述清掃設(shè)備在該時(shí)刻所處的柵格的位置以及所述清掃設(shè)備在該時(shí)刻的朝向。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述預(yù)設(shè)行動(dòng)集合包括停止、前進(jìn)、左轉(zhuǎn)和右轉(zhuǎn)，停止對應(yīng)的獎(jiǎng)勵(lì)值為零，左轉(zhuǎn)和右轉(zhuǎn)對應(yīng)的獎(jiǎng)勵(lì)值均為負(fù)數(shù)，前進(jìn)對應(yīng)的獎(jiǎng)勵(lì)值基于前進(jìn)后到達(dá)的柵格的標(biāo)簽值而確定。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，當(dāng)前進(jìn)后到達(dá)的柵格的標(biāo)簽值表示該柵格對應(yīng)的區(qū)域無障礙物且尚未被清掃設(shè)備訪問過時(shí)，前進(jìn)對應(yīng)的獎(jiǎng)勵(lì)值為正數(shù)；當(dāng)前進(jìn)后到達(dá)的柵格的標(biāo)簽值表示該柵格對應(yīng)的區(qū)域有障礙物或無障礙物但已被清掃設(shè)備訪問過時(shí)，前進(jìn)對應(yīng)的獎(jiǎng)勵(lì)值為負(fù)數(shù)。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述最優(yōu)行動(dòng)策略的計(jì)算基于以下算法中的任一項(xiàng)：蒙特卡羅算法、時(shí)間差分算法以及深度強(qiáng)化學(xué)習(xí)算法。