CN104890009A - 机器人系统、机器人监视装置以及机器人监视方法 - Google Patents

机器人系统、机器人监视装置以及机器人监视方法 Download PDF

Info

Publication number
CN104890009A
CN104890009A CN201510094506.8A CN201510094506A CN104890009A CN 104890009 A CN104890009 A CN 104890009A CN 201510094506 A CN201510094506 A CN 201510094506A CN 104890009 A CN104890009 A CN 104890009A
Authority
CN
China
Prior art keywords
robot
information
job
job content
time information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201510094506.8A
Other languages
English (en)
Inventor
松熊研司
梅野真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Publication of CN104890009A publication Critical patent/CN104890009A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31447—Process error event detection and continuous process image detection, storage
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40216—Record image of working robot; display to detect errors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Abstract

机器人系统(1)具有：机器人(100)；对机器人(100)的动作进行拍摄的摄像机(200)；以及电路，其被构成为能够执行以下功能，按照用于表示一系列的作业内容而预先被收纳的作业内容信息，以进行作业的方式对机器人(100)进行控制，在机器人(100)进行作业中，将由摄像机(200)所拍摄的图像信息与时刻信息相关联地保存，并将所保存的图像信息与时刻信息共同显示。

Description

机器人系统、机器人监视装置以及机器人监视方法
技术领域
本发明涉及一种机器人系统、机器人监视装置以及机器人监视方法。
背景技术
近年，随着机器人进行的作业的复杂化以及多样化，例如在面向生物医学领域的机器人系统中，通过使机器人代替以往依靠人工作业的工序，希望实现超越人工的高再现性的目的。因难易程度不同，这种作业也有时历经数小时。另外，以往，例如如日本特开2012-187641号公报所记载，已知一种用于监视机器人的动作等的装置。
发明内容
当机器人进行的作业的难易程度较高时，根据该作业内容制定缜密的规划，并使机器人预先学习作业内容。在学习中，预想到可能发生一些试行错误，因此需要及早且容易地发现机器人的动作中发生问题的部分。并且，在学习结束后，在实际进行作业时，根据作业的难易程度不同，也存在如遗漏工件等作业失败的情况。以往为了探明原因有时设置监视摄像机，将机器人的动作的影像信息以及经历信息作为电子数据进行保存，但有时难以及早且容易地发现发生问题的部分。
对此，本发明是鉴于上述情况而做出的，其目的是提供一种用于使作业者及早且容易地确定发生问题的部分的机器人系统、机器人监视装置以及机器人监视方法。
为了解决上述问题，本发明的机器人系统具有：机器人；对所述机器人的动作进行拍摄的拍摄装置；以及电路，其被构成为能够执行以下功能，按照用于表示一系列的作业内容而预先被收纳的作业内容信息，以进行作业的方式对所述机器人进行控制，在所述机器人进行作业中，将由所述拍摄装置所拍摄的图像信息与时刻信息相关联地保存，并将所保存的所述图像信息与所述时刻信息共同显示。在此，所谓“时刻信息”，不限于一般的标准时刻，例如，可以是从由机器人开始进行作业所经过的时间，或者也可以是从显示图像信息所经过的时间等广义的概念。
另外，本发明的机器人监视装置具有：按照用于表示一系列的作业内容而预先被收纳的作业内容信息，以进行作业的方式对机器人进行控制的控制部；在所述机器人进行作业中，将由拍摄装置所拍摄的所述机器人的动作的图像信息与时刻信息相关联地保存的保存部；以及将由所述保存装置所保存的所述图像信息与所述时刻信息共同显示的显示部。
另外，本发明的机器人监视方法具有以下步骤：按照用于表示一系列的作业内容而预先被收纳的作业内容信息，以进行作业的方式对机器人进行控制的控制步骤；在所述机器人进行作业中，将由拍摄装置所拍摄的所述机器人的动作的图像信息与时刻信息相关联地保存的保存步骤；以及将在所述保存步骤所保存的所述图像信息与所述时刻信息共同显示的显示步骤。
根据本发明，可以提供一种用于使作业者及早且容易地确定发生问题的部分的机器人系统、机器人监视装置以及机器人监视方法。
附图说明
图1是机器人系统1的结构概要图。
图2是从正面观察机器人100的主视图。
图3是表示机器人100使用保持架122使浅底盘121移动的状态的立体图。
图4是表示机器人100使用吸盘126将浅底盘121的盖121U打开后的状态的立体图。
图5是表示机器人100进行使用吸移管129的处理的状态的立体图。
图6是表示机器人100使用刮刀135进行搅拌检测体的处理的状态的立体图。
图7是管理计算机300的硬件结构图。
图8是收纳部310收纳的作业内容信息的一例的概念图。
图9是作业结果信息收纳部321收纳的作业结果信息的一例的概念图。
图10是保存部330收纳的信息的一例的概念图。
图11是显示部340的显示画面341的一例的概念图。
图12是显示部340的显示画面341的一例的概念图。
图13是修正信息输入部350的动作的一例的概念图。
图14是表示机器人系统1的动作的流程图。
图15是表示机器人系统1的另一结构的结构概要图。
图16是表示机器人系统1的又一结构的结构概要图。
具体实施方式
以下，参照附图，详细地说明本发明涉及的机器人系统、机器人监视装置、机器人监视方法、机器人监视模块以及机器人监视程序的多个实施方式。此外，在附图的说明中，对同一要素标注同一附图标记而省略重复的说明。另外，以下说明的附图以及相关联的记述仅仅为用于说明本发明的机器人系统、机器人监视装置、机器人监视方法、机器人监视模块以及机器人监视程序的例示，而不对本发明的范围进行限定。另外，存在图示中各部分的尺寸等与实际的机器人系统、机器人监视装置、机器人监视方法、机器人监视模块以及机器人监视程序中的尺寸等不同的情况。
(机器人系统1的整体结构)
首先，参照图1说明机器人系统1的结构。图1是机器人系统1的结构概要图。如图1所示，机器人系统1由机器人100、摄像机200(拍摄装置)以及管理计算机300(机器人监视装置)构成。机器人100、摄像机200以及管理计算机300通过通信网络以分别能相互数据通信的方式进行连接。通过这样的结构，机器人系统1用于使作业者及早且容易地确定机器人的动作中发生问题的部分。以下，详细地说明机器人系统1的各结构要素。
(机器人100的结构)
先利用图2说明机器人100的结构。图2是从正面观察机器人100的主视图。在图2所示的例中，机器人100为双臂作业机器人，但不限于此，机器人100也可以为单臂机器人等其他组装机器人，也可以为进行组装以外的加工等作业的机器人。
在图2中，机器人100例如是具有基台101、主体部102以及两个臂103L、103R的垂直多关节机器人。基台101相对于设置面(洁净室的地面等)，由地脚螺栓(未图示)等固定。主体部102具有第一关节部，其设有绕规定的旋转轴旋转驱动的致动器(未图示)。该主体部102被设为相对于基台101经由第一关节部能转动，通过第一关节部所设置的致动器的驱动沿与上述设置面大致水平的方向转动。另外，分别在主体部102的一侧(图2中右侧)以及另一侧(图2中左侧)上，支承作为独立结构的臂103L、103R。
臂103L是设置在主体部102的一侧的机械手，具有：肩部104L、上臂A部105L、上臂B部106L、下臂部107L、手腕A部108L、手腕B部109L、凸缘110L以及手111L、与分别设有对各部分别进行旋转驱动的致动器(未图示)的第二～第八关节部。
肩部104L被连结为相对于主体部102经由第二关节部能旋转，并通过第二关节部上所设置的致动器的驱动相对于上述设置面绕大致水平的规定的旋转轴旋转。上臂A部105L被连结为相对于肩部104L经由第三关节部能转动，并通过第三关节部上所设置的致动器的驱动绕规定的旋转轴转动。上臂B部106L被连结为相对于上臂A部105L的前端经由第四关节部能旋转，并通过第四关节部上所设置的致动器的驱动绕规定的旋转轴旋转。下臂部107L被连结为相对于上臂B部106L经由第五关节部能转动，并通过第五关节部上所设置的致动器的驱动绕规定的旋转轴转动。手腕A部108L被连结为相对于下臂部107L的前端经由第六关节部能旋转，并通过第六关节部上所设置的致动器的驱动绕规定的旋转轴旋转。手腕B部109L被连结为相对于手腕A部108L经由第七关节部能转动，并通过第七关节部上所设置的致动器的驱动绕规定的旋转轴转动。凸缘110L被连结为相对于手腕B部109L的前端经由第八关节部能旋转，并通过第八关节部上所设置的致动器的驱动绕规定的旋转轴旋转。手111L安装在凸缘110L的前端，并通过凸缘110L的旋转而从动地旋转。
臂103R是设置在主体部102的另一侧的机械手，具有与上述臂103L同样的结构。该臂103R具有：肩部104R、上臂A部105R、上臂B部106R、下臂部107R、手腕A部108R、手腕B部109R、凸缘110R以及手111R、与分别设有对各部分别进行旋转驱动的致动器(未图示)的第九～第十五关节部。
由于肩部104R、上臂A部105R、上臂B部106R、下臂部107R、手腕A部108R、手腕B部109R、凸缘110R以及手111R具有与上述肩部104L、上臂A部105L、上臂B部106L、下臂部107L、手腕A部108L、手腕B部109L、凸缘110L以及手111L左右对称的相同结构，因此在此省略说明。
如图2所示，主体部102具有一个关节部即1自由度，臂103L、103R可以分别具有七个关节部即7自由度(冗余自由度)。此时，机器人100整体具有15自由度。此外，臂103L、103R的关节部的个数，即自由度不限于本实施方式所例示的“7”，对应作业内容只要为“2”以上即可。
通过以上的结构，机器人100例如在生物医学领域中，也存在可以代替作业者进行以往依靠人工作业的复杂且精巧的工序而实现超越人工的高再现性的情况。
(机器人100的动作)
接着，利用图3、图4、图5以及图6说明机器人100的动作的一例。作为以往依靠人工作业的复杂且精巧的工序的例，使机器人100先移动浅底盘121，之后打开浅底盘121的盖121U，之后进行使用吸移管129的处理，之后使用刮刀135进行搅拌检测体等的处理。图3是表示机器人100使用保持架122使浅底盘121移动的状态的立体图。图4是表示机器人100使用吸盘126将浅底盘121的盖121U打开后的状态的立体图。图5是表示机器人100进行使用吸移管129的处理的状态的立体图。图6是表示机器人100使用刮刀135进行搅拌检测体的处理的状态的立体图。
在图3～图6中，机器人100在由后面叙述的控制部320(或者控制部410)输入动作开始的指令之前，不开始动作而待机。并且，若由控制部320输入了动作开始的指令，则开始动作。此外，在以下动作的说明中，使用臂103R、103L中的哪个臂仅仅为一例，也可以使用相反侧的臂，也可以同时使用两侧的臂来进行使用单侧的臂进行的作业。
如图3所示，机器人100使臂103R摇动，使用手111R上所设置的两个把持部件112，对保持架122的被把持部123进行把持。之后，由手111R对保持架122上所设置的两个浅底盘用把持部件124进行操作，由此对恒温箱(未图示)中所收容的浅底盘121进行把持，并从恒温箱中取出浅底盘121，将所取出的浅底盘121载置于浅底盘台125(参照图6)。
之后，如图4所示，机器人100使臂103L摇动，使用手111L上所设置的两个把持部件112，对吸盘126上所安装的保持架127的被把持部128进行把持。然后，由手111L经由保持架127对吸盘126进行操作，由此吸附并举起浅底盘台125上所载置的浅底盘121的盖121U。
之后，如图5所示，机器人100使臂103R摇动，使用手111R上所设置的两个把持部件112，对吸移管129的主体部130上所安装的保持架131的被把持部132进行把持。然后，在由手111R把持的吸移管129的前端上安装作为微量吸移管用的夹头的吸头(未图示)。之后，使臂103L摇动，由手111L对按键133进行操作，经由吸头吸入试剂，并将该吸入的试剂注入至上述浅底盘台125上所载置的浅底盘121的平底容器134(参照图6)。注入后，机器人100使臂103R摇动，而使手111R向工作台(未图示)的下方移动，通过规定的操作，从吸移管129的前端取下使用完的吸头，废弃至废弃箱(未图示)。
之后，如图6所示，机器人100使臂103L摇动，使用手111L上所设置的两个把持部件112，对刮刀135上所安装的保持架136的被把持部137进行把持。之后，由手111L经由保持架136对刮刀135进行操作，由此对上述浅底盘台125上所载置的浅底盘121的平底容器134内的检测体进行搅拌。搅拌后，机器人100使臂103L摇动，而使手111L向工作台(未图示)的下方移动，将使用完的刮刀135废弃至废弃箱(未图示)。
之后，机器人100仍继续动作。省略了详细的说明以及图示，例如，进行打开试管(未图示)的盖后，使用吸移管129，吸入浅底盘121的平底容器134内的澄清液(检测体)，注入试管的动作，之后，关闭试管的盖后，将该试管放置于加热-冷却器(未图示)，并进行加热或者冷却处理的动作，在加热或者冷却处理后，将试管放置于离心分离器(未图示)，使检测体进行一定时间的离心分离动作等的动作。
(管理计算机300的结构)
接着，说明管理计算机300的结构。图7是管理计算机300的硬件结构图。如图7所示，管理计算机300作为通常的计算机系统的结构，实际包括由CPU(Central Processing Unit:中央处理器)301、ROM(Read Only Memory：只读存储器)302以及RAM(Random Access Memory:随机存取存储器)303等主存储装置；键盘以及鼠标等输入设备304；显示器等输出设备305；用于在机器人100以及摄像机200等之间进行数据的发送接收的网络卡等通信模块306；以及硬盘等辅助存储装置307等构成的电路。通过在CPU301、ROM302、RAM303等硬件上读入规定的计算机软件，在CPU301的控制下，使输入设备304、输出设备305、通信模块306进行动作，并且主存储装置302、303与辅助存储装置307进行数据的读出以及写入，由此实现后面叙述的管理计算机300的各功能。
参照图1说明管理计算机300的功能性的结构要素。如图1所示，管理计算机300的结构在功能性上具有：收纳部310(收纳装置)、控制部320(控制装置)、保存部330(保存装置)、显示部340(显示装置)、修正信息输入部350(修正信息输入装置)以及同步部360(同步装置)。这些功能性的结构要素可以在硬件上独立地分离，或者也可以不分离而使哪两个以上的结构要素作为一个硬件构成。另外，由于各部作为管理计算机300的功能性的结构，因此各部所执行的处理相当于管理计算机300执行该处理。
收纳部310对表示机器人100的一系列的作业内容的作业内容信息进行收纳。收纳部310例如也可以由辅助存储装置307构成。图8是收纳部310收纳的作业内容信息的一例的概念图。作为一例，具有大分类与小分类的两种作业内容，由ID区分各作业内容。小分类的作业内容被包括在大分类的作业内容中。此外，图8的作业内容与利用上述图3～6所例示的机器人100的动作的作业内容一致。即，图8的包括W11～14的W1的作业内容相当于机器人100的图3的动作，图8的包括W21以及22的W2的作业内容相当于机器人100的图4的动作，图8的包括W31～37的W3的作业内容相当于机器人100的图5的动作，图8的包括W41～44的W4的作业内容相当于机器人100的图6的动作。此外，在图8中，省略W5～10的小分类的作业内容的记载。
返回图1，控制部320根据收纳部310所收纳的作业内容信息对机器人100进行控制，使机器人100进行规定的作业。控制部320例如根据图8所示的作业内容信息对机器人100进行控制。控制部320例如进行按照从W1至W10的作业顺序对机器人100进行控制。控制部320例如也可以由CPU301以及辅助存储装置307构成。
控制部320也可以包括收纳表示机器人100的作业结果的作业结果信息的作业结果信息收纳部321(作业成功信息收纳部)。作业结果信息收纳部321收纳有表示机器人100完成作业的时刻的作业时刻信息以及表示机器人100是否成功地完成该作业的作业成功信息。图9是作业结果信息收纳部321收纳的作业结果信息的一例的概念图。图9表示例如从时刻0:00:00至0:00:05进行小分类的W11的作业，从时刻0:00:00至0:00:20进行包括小分类的W11～W14的作业的大分类的W1的作业。另外，在图9中，由于成功地完成了大分类的W1～3的作业，因此在作业完成结果的栏中显示“○”。另外，由于小分类的W42的作业失败，因此W42为“×”，包括该结果W42的W4也为“×”。此外，也可以具有能判定作业结果的其他装置(未图示)，此时该其他装置制作表示作业结果的信息，也可以将该信息发送至作业结果信息收纳部321。这种作业结果信息收纳部321也可以由例如辅助存储装置307构成。
保存部330将摄像机200所拍摄得到的图像信息与时刻信息相关联地保存。保存部330例如也可以由辅助存储装置307构成。在此，摄像机200设置在可以适当地拍摄机器人100的位置，对机器人100的动作进行拍摄。摄像机200例如也可以由CCD摄像机等构成。例如来自设置在机器人100的上部或者左右的摄像机200的拍摄图像例如通过通信网络输出至保存部330。摄像机200的拍摄图像可以为移动图像也可以为静止图像。若摄像机200可以适当地拍摄机器人100，可以为1台，也可以为多台。保存部330也可以将从摄像机200输入的图像信息与作业内容信息相关联地保存。
图10是保存部330收纳的信息的一例的概念图。图像ID为V1的移动图像数据是从0:00:00至0:04:00所拍摄的数据，是拍摄进行大分类ID为W1～W10的作业的机器人100的数据。根据图10，可以容易地掌握在哪个时刻进行的各作业。
显示部340共同显示保存部330所保存的图像信息与时刻信息。另外，显示部340通过参照收纳部310，也可以将作业内容信息与图像信息以及时刻信息共同显示。另外，显示部340通过参照作业结果信息收纳部321，也可以将作业成功信息与图像信息以及时刻信息共同显示。显示部340例如也可以由输出设备305构成。
图11以及图12是显示部340的显示画面341的一例的概念图。作为移动图像随着时间经过依次显示从0:00:00至0:04:00所拍摄的图像，图11所示的瞬间是从作业开始经过30秒的时刻0:00:30的时候。在图11中，机器人100进行作业ID为W22的作业，作业结果为“○”，即表示作业成功。另外，图12所示的瞬间是从作业开始经过1分15秒的时刻0:01:15的时候。在图12中，机器人100进行作业ID为W42的作业，作业结果为“×”，即表示作业失败。
修正信息输入部350是用于当显示部340所显示的作业成功信息表示机器人100没有成功地完成作业时，作业者对该失败的作业所对应的作业内容信息进行修正。修正信息输入部350例如也可以由输入设备304以及输出设备305构成。
图13是修正信息输入部350的动作的一例的概念图。在图12的例中，由于显示部340所显示的作业成功信息表示机器人100没有成功地完成作业ID为W42的作业，因此修正信息输入部350向作业者显示如图13的(A)所示的当前的作业内容，即修正前的作业内容。然后，作业者通过修正信息输入部350输入如图13(B)所示这样的作业内容，即修正后的作业内容。在本例中，作业ID为W42的作业例如由于被判断为因刮刀135的长度过短而导致作业失败，因此作业者使用长形的另一个刮刀来代替刮刀135，对作业ID为W4的四个作业进行适当地修正。
同步部360取得摄像机200的时刻信息与保存部330的时刻信息之间同步的信息。该时刻信息可以为表示一般的标准时刻的信息，或者也可以为表示摄像机200与保存部330之间的相对时刻的信息。此外，图9～图12所示的例如0:01:15的时刻不是表示一般的标准时刻，即不是表示绝对时刻。0:01:15的时刻表示将作业开始的时刻作为0:00:00时的相对时刻，即表示从作业开始经过1分15秒的时刻。这种同步部360例如也可以由CPU301构成。
(机器人系统1的动作)
接着，参照图14说明由机器人系统1进行的动作。图14是表示机器人系统1的动作的流程图。
首先，控制部320按照收纳部310所收纳的作业内容信息依次对机器人100进行控制，而使机器人100依次进行规定的作业(步骤S101、控制步骤)。在此，在收纳部310中，例如如参照图8的上述这样，预先收纳表示机器人100的一系列的作业内容的作业内容信息。
接着，在作业结果信息收纳部321中，例如如参照图9的上述那样，依次收纳表示机器人100完成作业的时刻(或者时间带)的作业时刻信息以及表示机器人100是否成功地完成该作业的作业成功信息(步骤S102)。
与步骤S101以及S102同时地，摄像机200对机器人100的动作进行拍摄。摄像机200将由拍摄所得的拍摄图像输出至保存部330(步骤S103)。
接着，在保存部330中，例如如参照图10的上述那样，对来自摄像机200的图像信息与时刻信息相关联地保存。如图10所示，此时保存部330也可以另外将表示作业ID的信息相关联地保存(步骤S104、保存步骤)。
接着，在显示部340中，例如如参照图11～图12的上述那样，同时地显示在步骤S104中所保存的图像信息与时刻信息。如图11～图12所示，此时显示部340也可以将图像信息以及时刻信息与作业内容信息以及作业成功信息共同显示(步骤S105、显示步骤)。
(机器人系统1的另一结构)
以上，如图1所示，说明了机器人系统1具有机器人100、摄像机200以及管理计算机300的结构。即，图1所示的机器人系统1由机器人100、摄像机200及包括输入设备304以及输出设备305的管理计算机300构成，其中收纳部310、控制部320、保存部330以及同步部360由管理计算机300构成，另外，显示部340由管理计算机300所包括的输出设备305构成，另外修正信息输入部350由管理计算机300所包括的输入设备304以及输出设备305构成。
但是，本发明不限于此，具有各种结构方式。图15是表示机器人系统1的另一结构的结构概要图。图15所示的结构中，与图14所示的结构相比，机器人系统1除了具有机器人100、摄像机200、管理计算机300以外，还具有机器人控制器400。
机器人控制器400具有与图7所示的结构同样的硬件结构，用于对机器人100的动作进行控制。机器人控制器400与机器人100以及管理计算机300通过通信网络以能相互数据通信的方式进行连接。机器人控制器400具有的功能结构要素之一是具有控制部410。由于除了配置位置不同这一点以外，控制部410的功能以及动作与上述控制部320相同，因此在此省略说明。对于控制部410具有的作业结果信息收纳部411，由于除了配置位置不同这一点以外，其他与上述作业结果信息收纳部321相同，因此在此省略说明。
即，图15所示的机器人系统1由机器人100、摄像机200、包括输入设备304以及输出设备305的管理计算机300、及机器人控制器400构成，其中收纳部310、保存部330以及同步部360由管理计算机300构成，另外控制部410由机器人控制器400构成，另外，显示部340由管理计算机300所包括的输出设备305构成，另外修正信息输入部350由管理计算机300所包括的输入设备304以及输出设备305构成。此外，在本例中，收纳部310配置于管理计算机300，但不限于此，收纳部310也可以配置于机器人控制器400。
(机器人系统1的又一结构)
图16是表示机器人系统1的又一结构的结构概要图。在图16所示的结构中，与图15所示的结构相比，机器人系统1除了具有机器人100、摄像机200、管理计算机300、机器人控制器400以外，还具有编程器500(作业者用的操作终端)。
编程器500是用于使作业者操作机器人100而在现场使用的便携型的操作终端。编程器500具有显示画面以及信息输入按键等硬件结构，并与管理计算机300以及机器人控制器400例如通过无线通信网络以能相互数据通信的方式进行连接。
作为功能结构要素，编程器500具有编程器侧显示部510以及编程器侧修正信息输入部520。编程器侧显示部510由编程器500的例如显示画面等构成，显示与管理计算机300的显示部340显示的信息相同的信息。此外，编程器侧显示部510也可以在较小的画面尺寸上显示被排列的信息。编程器侧修正信息输入部520由编程器500的例如信息输入按键等构成，具有与管理计算机300的修正信息输入部350同样的功能。
即，图16所示的机器人系统1由机器人100、摄像机200、包括输入设备304以及输出设备305的管理计算机300、机器人控制器400及编程器500构成，其中收纳部310、保存部330以及同步部360由管理计算机300构成，另外控制部410由机器人控制器400构成。另外，显示部340由管理计算机300所包括的输出设备305构成，另外，具有与显示部340相同功能的编程器侧显示部510配置于编程器500。另外修正信息输入部350由管理计算机300所包括的输入设备304以及输出设备305构成，另外具有与修正信息输入部350相同功能的编程器侧修正信息输入部520配置于编程器500。此外，在本例中，收纳部310配置于管理计算机300，但不限于此，收纳部310也可以配置于机器人控制器400。
(其他的实施方式)
在以上的说明中，作为本发明的实施方式，例示了包括机器人100、摄像机200、管理计算机300、机器人控制器400以及编程器500等的机器人系统1，但本实施方式不限于此，也可以作为具有用于执行各结构要素的各功能的模块的机器人监视模块来构成本实施方式。即，以关于上述机器人系统1的说明为依据，也可以构成具有将表示机器人100的一系列的作业内容的作业内容信息收纳于收纳部310，并按照作业内容信息，使机器人100进行规定的作业的控制模块；将对机器人100的动作进行拍摄的摄像机200拍摄所得的图像信息与时刻信息相关联地保存的保存模块；与将保存模块中保存的图像信息与时刻信息共同显示的显示模块的机器人监视模块。
另外，同样地，也可以构成作为用于使计算机执行各结构要素的各功能的机器人监视程序。即，也可以构成作为使计算机执行将表示机器人100的一系列的作业内容的作业内容信息收纳于收纳部310，并按照作业内容信息，使机器人100进行规定的作业的控制功能；将对机器人100的动作进行拍摄的摄像机200拍摄所得的图像信息与时刻信息相关联地保存的保存功能；与将通过保存功能所保存的图像信息与时刻信息共同显示的显示功能的机器人监视程序。并且，通过使计算机读入该程序，可以实现与上述机器人系统1同等的功能。这种程序可以记录于记录媒介。所谓记录媒介是相对于计算机的硬件资源所具有的读取装置，根据程序的记述内容而引起磁、光、电等能量的变化状态，以与其相对应的信号的形式，可以向读取装置传输程序的记述内容。作为所述记录媒介，例如，相当于磁光盘、光盘、CD-ROM、内置于计算机的存储器等。
(本实施方式的作用以及效果)
接着，说明本实施方式涉及的机器人系统1等的作用以及效果。根据本实施方式的机器人系统1等，能将机器人100的拍摄图像与时刻信息相关联地保存，当显示部340显示该拍摄图像时，与时刻信息共同显示。通过将拍摄图像与时刻信息共同显示，易于使作业者掌握机器人100在哪个时刻进行了哪个动作，因此机器人系统1可以以使作业者及早且容易地确定机器人100的动作中发生问题的部分的方式而可以帮助作业者。
另外，根据本实施方式，机器人100的拍摄图像不仅仅与时刻信息，也与作业内容信息相关联地保存，当显示部340显示该拍摄图像时，与时刻信息以及作业内容信息共同显示。通过将拍摄图像与时刻信息以及作业内容信息共同显示，进一步易于使作业者掌握机器人100在哪个时刻进行了哪个动作，因此机器人系统1可以以使作业者及早且容易地确定机器人100的动作中发生问题的部分的方式而可以进一步帮助作业者。
另外，根据本实施方式，当显示部340显示该拍摄图像时，不仅仅与时刻信息以及作业内容信息，也与作业成功信息共同显示。通过将拍摄图像与时刻信息、作业内容信息以及作业成功信息共同显示，可以使作业者掌握机器人100在哪个时刻进行了哪个动作，并且还可以掌握该动作是成功还是失败，因此机器人系统1可以以使作业者及早且容易地确定机器人100的动作中发生问题的部分的方式而可以进一步帮助作业者。
另外，根据本实施方式，由于作业者使用修正信息输入部350可以修正作业内容，因此及早且容易地对机器人100的动作中发生问题的部分的作业内容进行修正，可以以使机器人100进行正确的动作而重复试验。该修正信息输入部350根据作业环境可以配置于管理计算机300，也可以配置于编程器500。由此，能够成为根据作业环境的灵活的装置结构。
另外，根据本实施方式，同步部360取得摄像机200的时刻信息与保存部330的时刻信息之间的同步，根据该同步时刻在显示部340进行显示。由此，机器人系统1不以摄像机200与管理计算机300之间时刻不同步导致的原因使作业者混乱，而可以以使作业者及早且容易地确定机器人100的动作中发生问题的部分而可以切实地帮助作业者。另外，通过预先取得摄像机200的时刻信息与保存部330的时刻信息之间的同步，可以希望可追踪性的提高。另外，也可以希望数据的稳定性的提高。此外，由于只要在摄像机200与管理计算机300之间取得同步即可，因此可以在绝对时刻下取得同步，或者也可以在相对时刻下取得同步。
另外，根据本实施方式，机器人系统1的结构可以具有机器人100、摄像机200以及管理计算机300，除此以外，也可以具有机器人控制器400。另外，也可以具有编程器500。这样，机器人系统1具有多种结构方式，从而可以结合情况而灵活地构成。另外，可以构成作为用于执行与机器人系统1相同功能的机器人监视模块，也可以构成作为用于使计算机执行该功能的机器人监视程序。
以上，说明了本发明的实施方式，但不用说本发明不限于上述实施方式。
例如，在上述实施方式中，例示了作业者为了操作机器人100而在现场使用了作为便携型的操作终端的编程器500，但不限于此，只要是作业者为了操作机器人100而能在现场使用的操作终端，也可以代替编程器500而适当地使用其他的设备。

Claims (10)

1.一种机器人系统，其特征在于，具有:
机器人；
拍摄装置，其对所述机器人的动作进行拍摄；以及
电路，其被构成为能够执行以下功能，按照用于表示一系列的作业内容而预先被收纳的作业内容信息，以进行作业的方式对所述机器人进行控制，在所述机器人进行作业中，将由所述拍摄装置所拍摄的图像信息与时刻信息相关联地保存，并将所保存的所述图像信息与所述时刻信息共同显示。
2.根据权利要求1所述的机器人系统，其特征在于，
所述电路被构成为，将所述图像信息与所述作业内容信息相关联地保存，并将所述图像信息与所述作业内容信息共同显示。
3.根据权利要求1所述的机器人系统，其特征在于，
所述电路被构成为，对表示所述机器人是否成功地完成所述作业的作业成功信息进行收纳，并将所述图像信息与所述作业成功信息共同显示。
4.根据权利要求2所述的机器人系统，其特征在于，
所述电路被构成为，对表示所述机器人是否成功地完成所述作业的作业成功信息进行收纳，并将所述图像信息与所述作业成功信息共同显示。
5.根据权利要求3所述的机器人系统，其特征在于，
还具有修正信息输入装置，当由所述电路显示的所述作业成功信息表示所述机器人没有成功地完成所述作业的内容时，用于使作业者对所述作业相对应的所述作业内容信息进行修正。
6.根据权利要求4所述的机器人系统，其特征在于，
还具有修正信息输入装置，当由所述电路显示的所述作业成功信息表示所述机器人没有成功地完成所述作业的内容时，用于使作业者对所述作业相对应的所述作业内容信息进行修正。
7.根据权利要求1所述的机器人系统，其特征在于，
所述电路被构成为，取得所述拍摄装置的时刻信息与所述电路的时刻信息之间的同步。
8.根据权利要求1所述的机器人系统，其特征在于，
所述时刻信息是表示所述拍摄装置与所述电路之间的相对时刻的信息。
9.一种机器人监视装置，其特征在于，具有：
控制部，其按照用于表示一系列的作业内容而预先被收纳的作业内容信息，以进行作业的方式对机器人进行控制；
保存部，其在所述机器人进行作业中，将由拍摄装置所拍摄的所述机器人的动作的图像信息与时刻信息相关联地保存；以及
显示部，其将由所述保存部所保存的所述图像信息与所述时刻信息共同显示。
10.一种机器人监视方法，其特征在于，
具有以下步骤：
按照用于表示一系列的作业内容而预先被收纳的作业内容信息，以进行作业的方式对机器人进行控制的控制步骤；
在所述机器人进行作业中，将由拍摄装置所拍摄的所述机器人的动作的图像信息与时刻信息相关联地保存的保存步骤；以及
将在所述保存步骤所保存的所述图像信息与所述时刻信息共同显示的显示步骤。
CN201510094506.8A 2014-03-05 2015-03-03 机器人系统、机器人监视装置以及机器人监视方法 Withdrawn CN104890009A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-042854 2014-03-05
JP2014042854A JP5939267B2 (ja) 2014-03-05 2014-03-05 ロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラム

Publications (1)

Publication Number Publication Date
CN104890009A true CN104890009A (zh) 2015-09-09

Family

ID=52726935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510094506.8A Withdrawn CN104890009A (zh) 2014-03-05 2015-03-03 机器人系统、机器人监视装置以及机器人监视方法

Country Status (4)

Country Link
US (1) US9545722B2 (zh)
EP (1) EP2915634B1 (zh)
JP (1) JP5939267B2 (zh)
CN (1) CN104890009A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113632022A (zh) * 2019-04-24 2021-11-09 松下知识产权经营株式会社 制造工厂中的操作指示装置以及制造工厂中的操作指示方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576414B2 (en) * 2013-12-24 2017-02-21 Tieman Vehicle Technologies LLC Remote control button actuation module, system, and method
US9409297B2 (en) * 2013-12-24 2016-08-09 Tieman Vehicle Technologies LLC Remote control button actuation module, system, and method
JP2015131375A (ja) * 2014-01-15 2015-07-23 セイコーエプソン株式会社 ロボット、ロボットシステム、ロボット制御装置、およびロボット制御方法
CN106584450B (zh) * 2015-10-14 2019-01-22 山东鲁能智能技术有限公司 一种变电站巡检机器人集中监控系统及方法
CN106564059B (zh) * 2016-10-08 2019-02-15 郭润泽 一种家庭机器人系统
DE102016226017A1 (de) * 2016-12-22 2018-06-28 Kuka Roboter Gmbh Optisch überwachtes manipulatorsystem und manipulatorprogramm
RU2699578C2 (ru) * 2017-03-23 2019-09-06 Общество с ограниченной ответственностью "Квантум Спэйс" Способ контроля
CN110442088A (zh) * 2018-05-02 2019-11-12 世博生态环保技术股份有限公司 一种果园实时监控多机器人系统
US11340649B2 (en) 2019-02-07 2022-05-24 Blue Eclipse, Llc Two button remote control actuator
JP6898374B2 (ja) 2019-03-25 2021-07-07 ファナック株式会社 ロボット装置の動作を調整する動作調整装置およびロボット装置の動作を調整する動作調整方法
JP7396819B2 (ja) * 2019-06-21 2023-12-12 ファナック株式会社 ロボット装置の動作を動画にて撮像するカメラを備える監視装置
JPWO2022004847A1 (zh) 2020-07-03 2022-01-06

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040138783A1 (en) * 2002-11-27 2004-07-15 Fanuc Ltd. Operation state analyzer for robot
CN102161202A (zh) * 2010-12-31 2011-08-24 中国科学院深圳先进技术研究院 全景监控机器人系统、监控机器人
CN102768517A (zh) * 2012-07-11 2012-11-07 华北电力大学 电缆隧道监测机器人系统
JP2013097514A (ja) * 2011-10-31 2013-05-20 Omron Corp 画像処理装置および画像処理プログラム
CN103302664A (zh) * 2012-03-08 2013-09-18 索尼公司 机器人设备、用于控制机器人设备的方法以及计算机程序

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE452719B (sv) * 1982-06-29 1987-12-14 Asea Ab Industrirobot
JPS60177888A (ja) * 1984-02-22 1985-09-11 フアナツク株式会社 視覚センサ処理装置とロボツト制御装置との結合方式
JPH0213804A (ja) * 1988-07-01 1990-01-18 Fanuc Ltd 視覚センサにおけるノミナル設定方式
JP2933305B2 (ja) * 1994-12-15 1999-08-09 ファナック株式会社 ロボット用教示操作盤
JPH1049209A (ja) * 1996-07-31 1998-02-20 Nippon Telegr & Teleph Corp <Ntt> マルチメディア・データ蓄積・再生装置
JP3269003B2 (ja) * 1997-05-12 2002-03-25 川崎重工業株式会社 ロボット制御装置
JP2001138275A (ja) * 1999-11-09 2001-05-22 Denso Corp ロボットの制御装置
EP1375084A4 (en) * 2001-03-09 2009-10-21 Japan Science & Tech Agency AUDIOVISUAL ROBOT SYSTEM
JP4534796B2 (ja) * 2005-02-25 2010-09-01 セイコーエプソン株式会社 制御システム
US8253792B2 (en) * 2009-08-28 2012-08-28 GM Global Technology Operations LLC Vision system for monitoring humans in dynamic environments
JP5077323B2 (ja) * 2009-10-26 2012-11-21 株式会社安川電機 ロボット制御システム
US8151477B2 (en) * 2009-11-06 2012-04-10 Hexagon Metrology Ab CMM with modular functionality
JP5803159B2 (ja) 2011-03-08 2015-11-04 株式会社デンソーウェーブ ロボット監視システム、及びロボット監視システムの異常判定方法
JP2013154457A (ja) * 2012-01-31 2013-08-15 Asahi Kosan Kk ワーク移載システム、ワーク移載方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040138783A1 (en) * 2002-11-27 2004-07-15 Fanuc Ltd. Operation state analyzer for robot
CN102161202A (zh) * 2010-12-31 2011-08-24 中国科学院深圳先进技术研究院 全景监控机器人系统、监控机器人
JP2013097514A (ja) * 2011-10-31 2013-05-20 Omron Corp 画像処理装置および画像処理プログラム
CN103302664A (zh) * 2012-03-08 2013-09-18 索尼公司 机器人设备、用于控制机器人设备的方法以及计算机程序
CN102768517A (zh) * 2012-07-11 2012-11-07 华北电力大学 电缆隧道监测机器人系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113632022A (zh) * 2019-04-24 2021-11-09 松下知识产权经营株式会社 制造工厂中的操作指示装置以及制造工厂中的操作指示方法

Also Published As

Publication number Publication date
JP5939267B2 (ja) 2016-06-22
US9545722B2 (en) 2017-01-17
EP2915634B1 (en) 2021-12-08
JP2015168016A (ja) 2015-09-28
EP2915634A1 (en) 2015-09-09
US20150251317A1 (en) 2015-09-10

Similar Documents

Publication Publication Date Title
CN104890009A (zh) 机器人系统、机器人监视装置以及机器人监视方法
US20210039254A1 (en) Method for extending end user programming of an industrial robot with third party contributions
US20210347052A1 (en) Robot control method, device, and remote control system
US20200338731A1 (en) Mobile robotic camera platform
Tian et al. A cloud robot system using the dexterity network and berkeley robotics and automation as a service (brass)
CN105629470A (zh) 头戴式显示器及其显示方法
CN112606724A (zh) 基于图像处理的自动充电方法和装置
CN110943991A (zh) 变电站巡检与生产管理业务联动系统及方法
CN107838922A (zh) 一种机器人免重复示教的方法
EP3838506B1 (en) Production system, production method, and program
EP3828654A1 (en) Control system, controller and control method
KR20220100983A (ko) 영상 확인용 컴퓨터
US20230330858A1 (en) Fine-grained industrial robotic assemblies
EP3936286A1 (en) Robot control device, robot control method, and robot control program
CN112621765B (zh) 一种基于机械手的设备自动组装控制方法及装置
KR102093775B1 (ko) 공정 레시피 기반의 자동 조립 장치 및 방법
TWI721147B (zh) 供集成微機電裝置用的設備及方法
CN112991527B (zh) 目标对象的躲避方法及装置、存储介质、电子装置
Tow et al. What would you do? acting by learning to predict
Marcon et al. An Experimental Training Production Line to Demonstrate the Basics of Industry 4.0
JP2021086609A (ja) 制御システム、ローカルコントローラ及び制御方法
Ahn et al. An off-line automatic teaching by vision information for robotic assembly task
KR20200002939A (ko) 전기 부품의 전기 시험 장치 및 방법
Deák et al. Smartphone–controlled industrial robots: Design and user performance evaluation
CN112338920B (zh) 数据处理方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C04 Withdrawal of patent application after publication (patent law 2001)
WW01 Invention patent application withdrawn after publication

Application publication date: 20150909