[發(fā)明專利]用于判定作業(yè)車輛所進(jìn)行的作業(yè)的系統(tǒng)、方法以及已學(xué)習(xí)模型的制造方法

有效

• 申請?zhí)枺?/td>: 201980010476.4
• 申請日: 2019-03-19
• 公開（公告）號: CN111656412B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計）人: 山中伸好;藤井賢佑
• 申請（專利權(quán)）人: 株式會社小松制作所
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 曲天佐

系統(tǒng)具備相機(jī)與處理器。相機(jī)安裝于車輛主體，從車輛主體朝向工作裝置的作業(yè)位置地配置。相機(jī)生成表示以時間序列拍攝作業(yè)位置而得的圖像的圖像數(shù)據(jù)。處理器具有已學(xué)習(xí)模型。將已學(xué)習(xí)模型圖像數(shù)據(jù)作為輸入數(shù)據(jù)，輸出圖像數(shù)據(jù)所對應(yīng)的作業(yè)的分類。處理器取得圖像數(shù)據(jù)，通過使用了已學(xué)習(xí)模型的圖像分析，根據(jù)圖像數(shù)據(jù)決定作業(yè)的分類。

技術(shù)領(lǐng)域

本發(fā)明涉及用于判定作業(yè)車輛所進(jìn)行的作業(yè)的系統(tǒng)、方法以及已學(xué)習(xí)模型的制造方法。

背景技術(shù)

以往，已知有通過計算機(jī)推斷作業(yè)車輛所進(jìn)行的作業(yè)的技術(shù)。例如液壓挖掘機(jī)進(jìn)行挖掘、旋轉(zhuǎn)、或者排土等動作。在專利文獻(xiàn)1中，由控制器基于來自液壓挖掘機(jī)所具備的傳感器的檢測值，判定液壓挖掘機(jī)的這些作業(yè)。例如液壓挖掘機(jī)具備旋轉(zhuǎn)速度傳感器、壓力傳感器以及多個角度傳感器。旋轉(zhuǎn)速度傳感器檢測發(fā)動機(jī)的旋轉(zhuǎn)速度。壓力傳感器檢測液壓泵的排出壓。多個角度傳感器檢測動臂角度、臂部角度以及鏟斗角度。控制器基于來自這些傳感器的檢測值，判定液壓挖掘機(jī)正在執(zhí)行的作業(yè)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開2016－103301號公報

發(fā)明內(nèi)容

發(fā)明將要解決的課題

但是，在上述的技術(shù)中，不能判定沒有傳感器的作業(yè)車輛的作業(yè)。另外，在為了管理配置于作業(yè)現(xiàn)場的多個作業(yè)車輛而判定各作業(yè)車輛的動作的情況下，不一定所有作業(yè)車輛都具備作業(yè)的判定所需的傳感器。因而，為了管理配置于作業(yè)現(xiàn)場的多個作業(yè)車輛而判定各作業(yè)車輛的作業(yè)并不容易。

另一方面，近年來，研究了如下技術(shù)：計算機(jī)通過人工智能分析拍攝到人、物的動作的運動圖像，從而判定正在進(jìn)行何種動作。例如作為處理運動圖像的人工智能的模型，研究了遞歸型神經(jīng)網(wǎng)絡(luò)(RNN)等。只要能夠使用這種人工智能技術(shù)分析拍攝到作業(yè)車輛的動作的運動圖像，就能夠利用計算機(jī)判定作業(yè)車輛的作業(yè)。

但是，在利用配置于作業(yè)車輛的外部的相機(jī)拍攝作業(yè)車輛的情況下，即使是相同的作業(yè)，所取得的運動圖像也會根據(jù)作業(yè)車輛的朝向而不同。因而，為了使人工智能的模型學(xué)習(xí)，需要使作業(yè)車輛的朝向變化的膨大量的運動圖像。因此，不易構(gòu)建判定精度高的已學(xué)習(xí)模型。

本發(fā)明的目的在于，使用人工智能容易并且高精度地判定作業(yè)車輛所進(jìn)行的作業(yè)。

用于解決課題的手段

第一方式是用于判定作業(yè)車輛正在執(zhí)行的作業(yè)的系統(tǒng)。作業(yè)車輛包含車輛主體和可動地安裝于車輛主體的工作裝置。本方式的系統(tǒng)具備相機(jī)與處理器。相機(jī)安裝于車輛主體，從車輛主體朝向工作裝置的作業(yè)位置地配置。相機(jī)生成表示以時間序列拍攝作業(yè)位置而得的圖像的圖像數(shù)據(jù)。處理器具有已學(xué)習(xí)模型。已學(xué)習(xí)模型將圖像數(shù)據(jù)作為輸入數(shù)據(jù)，輸出圖像數(shù)據(jù)所對應(yīng)的作業(yè)的分類。處理器取得圖像數(shù)據(jù)，通過使用了已學(xué)習(xí)模型的圖像分析，根據(jù)圖像數(shù)據(jù)決定作業(yè)的分類。

第二方式是為了判定作業(yè)車輛正在執(zhí)行的作業(yè)而由計算機(jī)執(zhí)行的方法。作業(yè)車輛包含車輛主體和可動地安裝于車輛主體的工作裝置。本方式的方法具備以下的處理。第一處理為，從朝向工作裝置的作業(yè)位置地固定配置在車輛主體中的相機(jī)取得表示以時間序列拍攝作業(yè)位置而得的圖像的圖像數(shù)據(jù)。第二處理為，通過使用了已學(xué)習(xí)模型的圖像分析，根據(jù)圖像數(shù)據(jù)決定作業(yè)的分類。已學(xué)習(xí)模型將圖像數(shù)據(jù)作為輸入數(shù)據(jù)，輸出圖像數(shù)據(jù)所對應(yīng)的作業(yè)的分類。

第三方式為用于判定作業(yè)車輛正在執(zhí)行的作業(yè)的已學(xué)習(xí)模型的制造方法。作業(yè)車輛包含車輛主體和可動地安裝于車輛主體的工作裝置。本方式的已學(xué)習(xí)模型的制造方法具備以下的處理。第一處理為，取得表示從車輛主體朝向工作裝置的作業(yè)位置地以時間序列拍攝作業(yè)位置而得的圖像的圖像數(shù)據(jù)。第二處理為，生成包含圖像中的時刻和按照每個時刻分配的作業(yè)的分類的作業(yè)數(shù)據(jù)。第三處理為，以圖像數(shù)據(jù)與作業(yè)數(shù)據(jù)作為學(xué)習(xí)數(shù)據(jù)，使用來進(jìn)行圖像分析的模型進(jìn)行學(xué)習(xí)，從而構(gòu)建已學(xué)習(xí)模型。

發(fā)明效果