[發(fā)明專利]一種基于多模態(tài)信息的監(jiān)控交互方法

有效

• 申請?zhí)枺?/td>: 202110398037.4
• 申請日: 2021-04-14
• 公開（公告）號: CN113119125B
• 公開（公告）日: 2022-08-05
• 發(fā)明（設計）人: 陳軍希;王鵬;李紅云
• 申請（專利權）人: 福建省德騰智能科技有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J13/08;B25J18/00;B25J19/02
• 代理公司: 泉州協(xié)創(chuàng)知識產權代理事務所(普通合伙) 35231
• 代理人: 鄭浩

本發(fā)明公開了一種基于多模態(tài)信息的監(jiān)控交互方法，采用多模態(tài)信息監(jiān)控交互平臺，多模態(tài)信息監(jiān)控交互平臺包括：工作臺、業(yè)機器人、力覺傳感器、噪聲傳感器、溫度傳感器、視覺傳感器和下位機，所述下位機分別與機器人控制器、力覺傳感器、噪聲傳感器、溫度傳感器、視覺傳感器電性連接；監(jiān)控交互方法包括以下步驟：S1、通過下位機控制各個傳感器采集工業(yè)機器人加工作業(yè)過程中產生的各種信息數據；S2、通過下位機處理采集到的各種信息數據，得到的機器人工作補償指令；S3、根據機器人工作補償指令，通過機器人控制器控制工業(yè)機器人動作；S4、重復步驟S1至S3。本發(fā)明提高了加工精度，解決了加工過程中缺乏加工過程監(jiān)控導致加工精度較低的問題。

技術領域

本發(fā)明屬于機器人作業(yè)監(jiān)控交互技術領域，具體涉及一種基于多模態(tài)信息的監(jiān)控交互方法。

背景技術

隨著機器人技術和智能制造的逐步發(fā)展，機器人的應用場景逐漸從相對單一的制造場景向多種混合型場景不斷變化，這使得整個過程中需要注意的外界環(huán)境信息種類更加多樣。同時，制造業(yè)開始從基于經驗的決策向基于證據的決策過渡，從解決可見的問題到避免不可見的問題轉變，從基于控制的機器學習向基于豐富數據的深度學習發(fā)展，而這些轉變都需要人們對于多種多樣的信息數據進行很好的融合和處理，通過這些數據進行決策和分析，從而做出更好的決策和反應。所以，如何利用多種不同傳感器數據進行整合，實現一個完整的多模態(tài)信息監(jiān)控交互平臺是未來制造技術的重點挑戰(zhàn)。

目前，大多數加工作業(yè)主要通過單一傳感器反饋的數據進行控制或者補償，而單一傳感器難以提供一些復雜場景下機器人的精細操作所需的數據信息，因此多模態(tài)信息的引入為機器人各種場景下的精細加工創(chuàng)造了可能。對于機器人系統(tǒng)而言，所采集到的多模態(tài)信息具有一些明顯特點，為后續(xù)的控制工作帶來了巨大的挑戰(zhàn)。這些問題主要是：(1)機器人的操作環(huán)境通常非常復雜，因此采集到的數據通常具有很多的噪聲和野點。(2)機器人總是在動態(tài)環(huán)境下工作，采集到的多模態(tài)數據必然具有復雜的動態(tài)特性。(3)機器人攜帶的傳感器工作頻帶、使用周期具有很大差異，導致各個模態(tài)之間的數據難以“配對”。

機器人是一個復雜的系統(tǒng)，開展機器人多模態(tài)融合感知需要綜合考慮任務特性、環(huán)境特性和傳感器特性。盡管人們已經充分認識到多模態(tài)信息在機器人系統(tǒng)上的應用，國內很多相關機構，如東南大學、北京航空航天大學等都在這方面展開了許多研究工作，但目前多模態(tài)信息的融合和處理仍然存在很大的發(fā)展空間。將傳感器信息更好地融合和處理，從而指導機器人的加工作業(yè)是未來機器人應用中十分重要的內容。

隨著機器人技術的發(fā)展，工業(yè)機器人的瓶頸逐漸向應用端轉移。在裝配、涂料、磨拋等力覺觸控任務的應用場景，要求機器人具有對接觸力的感知和控制能力，接觸的存在使得精確的動態(tài)仿真難以實現。傳統(tǒng)的離線編程方式要求明確地指定機器人的運動，并且要求工件一致性好、有較高的安裝精度和建模精度，復雜曲面示教困難且路徑精度低。整個加工過程缺乏環(huán)境的感知和加工過程監(jiān)控，無法有效跟蹤加工精度及控制加工精度。如何有效提高工業(yè)機器人在實際應用場景中的加工精度成為了一個熱門內容。

發(fā)明內容

針對機器人加工過程中缺乏加工過程監(jiān)控導致加工精度較低的問題，本發(fā)明的目的在于提供一種基于多模態(tài)信息的監(jiān)控交互方法，該方法能夠通過多種不同傳感器數據的融合為整個加工過程提供不同的補償信息，從而進一步提高加工精度；多模態(tài)數據可以獲得更加全面準確的信息，有效增強系統(tǒng)的可靠性和容錯性，為機器人實現更高效的決策提供了新的思路和基礎。

為實現上述目的，本發(fā)明采用如下技術方案：一種基于多模態(tài)信息的監(jiān)控交互方法，采用多模態(tài)信息監(jiān)控交互平臺，所述多模態(tài)信息監(jiān)控交互平臺包括：

工作臺，其設置有工裝夾具，用于定位工件；

工業(yè)機器人，其設置在工作臺的旁邊，用于對所述工件執(zhí)行作業(yè)任務；所述工業(yè)機器人包括機器人本體、末端執(zhí)行器和機器人控制器，所述末端執(zhí)行器安裝在所述機器人本體的末端，所述末端執(zhí)行器和機器人本體的驅動機構均電性連接至機器人控制器；