CN1248174C - 驾驶员训练系统和方法 - Google Patents
驾驶员训练系统和方法 Download PDFInfo
- Publication number
- CN1248174C CN1248174C CNB008043183A CN00804318A CN1248174C CN 1248174 C CN1248174 C CN 1248174C CN B008043183 A CNB008043183 A CN B008043183A CN 00804318 A CN00804318 A CN 00804318A CN 1248174 C CN1248174 C CN 1248174C
- Authority
- CN
- China
- Prior art keywords
- driver
- delivery vehicle
- information
- seeing
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/16—Control of vehicles or other craft
- G09B19/167—Control of land vehicles
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/042—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles providing simulation in a real vehicle
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Entrepreneurship & Innovation (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Steroid Compounds (AREA)
- Buildings Adapted To Withstand Abnormal External Influences (AREA)
- Lubricants (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Rehabilitation Tools (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Manipulator (AREA)
Abstract
用于驾驶员训练和评估的系统(10)可以记录关于驾驶员所采取的操作的信息。例如,系统可以记录(70)驾驶员在驾驶运载工具的过程中在看什么的信息,以确定是否驾驶员正在看的就是驾驶员此时应当察看的。此外,系统可以提供关于驾驶员操作水平的其它方面的信息(80、82),包括速度和控制器及指示器的使用情况。可以将该信息关联起来,提供在评估表中。或者,也可以在驾驶运载工具的课程中提示驾驶员(76),更正驾驶员的操作,以提高驾驶员的技能。
Description
技术领域
本发明总体涉及用于训练和评价诸如轿车、货车、飞机、火车、轮船等运载工具的驾驶员的系统。
背景技术
目前可以用模拟器训练运载工具驾驶员。例如,大家知道,飞行训练模拟器就是把驾驶员置于各种不同的条件下并评价驾驶员对这些条件的反应。此外,在自动驾驶测试中,可以向驾驶员询问一系列问题,然后将驾驶员的回答与计算机数据库中的正确答案对照。所有这些方法都是为了适应以较低的成本更好地训练和评价运载工具驾驶员这个需要。希望这能提高这些驾驶员的水平并且降低它们的训练成本。
优秀驾驶员的有些特点可能是难以评估的。教练员可以观察驾驶员的某些特征,如察看后视镜以及察看仪表等等。然而,对驾驶员是否掌握了正确操作运载工具所必需的技能,可能难以获得客观的评价结果。例如,要定量地比较一个驾驶员的技能与其它驾驶员的技能,可能就很困难。
因此,不断需要有用于训练和评价运载工具驾驶员的更好的技术。
发明内容
按照本发明的第一方面的运载工具驾驶员训练系统,包含:
适合于监测驾驶员在看什么的传感器;和
控制器,适合于编制驾驶员在驾驶员训练课程中在看什么的记录并将该记录与关于多个注视目标的信息进行比较以便确定驾驶员在驾驶员训练课程中是否看所述的注视目标。。
按照本发明的第二方面的一种运载工具驾驶员训练系统,包含:安装摄像机以便扫描驾驶员的头部的第一运载工具;安装摄像机以便扫描驾驶员的眼睛的第二运载工具;和控制器,适合于使用来自所述第一和第二摄像机的信息来编制驾驶员在驾驶员训练中在看什么的记录。
按照本发明的第一方面的用于运载工具驾驶员训练系统的评价运载工具驾驶员的方法,包含:
自动监测驾驶员在看什么;
编制驾驶员在驾驶员评价课程中在看什么的记录;
编辑注视目标清单;和
将该记录与注视目标的坐标比较以便确定驾驶员在所述评价课程中是否看所述的注视目标。
按照本发明的第二方面的用于运载工具驾驶员训练系统的评价运载工具驾驶员的方法,包含下列步骤:自动监测驾驶员在看什么;提示驾驶员提高其看一个或多个对象的频率;和记录驾驶员看了什么。
附图说明
图1是由驾驶员的角度所见的驾驶室的正面图;
图2是用于检测驾驶员在驾驶运载工具的过程中在看什么的装置的框图;
图3是用于确定驾驶员在驾驶运载工具的过程中在看什么的流程图;
图4表示按照本发明一个实施例评价驾驶员的流程图;
图5是用于实现前述各图中所示的系统的基于处理器的系统的一个实施例的示意图;
图6是按照本发明一个实施例显示驾驶员的操作水平的模拟回放显示的屏幕显示。
具体实施方式
参看图1,运载工具驾驶员可坐在驾驶室10中,驾驶室可以是个模拟器,也可以是实际的运载工具,例如轿车、货车、飞机、火车、轮船等。驾驶室10中可包含档风玻璃12、仪表板14、方向盘16、后视镜18和侧视镜20。驾驶室中还可包括注视摄象机26和眼睛摄象机28。
注视摄象机26可以通过摆动/倾斜单元22连接到发射红外光的二极管(LEDs)24。摄象机26和28为确定驾驶员在驾驶运载工具的过程中在看什么而提供输入信息。这可被用来评价驾驶员是否在正确地利用各种信息源来有效地驾驶运载工具。
例如,在轿车应用中,系统可以确定驾驶员是否看前档风玻璃12以外,驾驶员是否扫视前档风玻璃,驾驶员是否察看侧视镜20和后视镜18,以及驾驶员是否察看仪表板上配置的各种仪表。
眼睛摄象机28可以有较短的焦距,可用来测量眼睛的三维位置。注视摄象机26可用来确定注视功能(gaze function)。注视摄象机可以有较长的焦距,可以摆动和倾斜,以便在驾驶员头部移动时跟踪眼睛。可以将红外LED阵列安装在偏离注视摄象机光轴一小段距离的位置上,以照亮眼睛和在眼睛上产生发射光,用于跟踪眼睛的移动。
本文描述一种用眼睛和注视跟踪、主要部件分析和红外LED阵列来确定使用者正在看什么的系统。然而,本发明决不仅限于这个技术。相反,对本技术的描述,仅仅是为了说明一种用于确定驾驶员在驾驶运载工具的过程中正在看什么的技术。其它用来确定某人看什么的已知技术包括使用带在头上的摄象机。例如,可以顺序地触发一格一格的LEDs。然后可以处理摄象机图象以检测闪光。另一个系统用许多摄像机来捕捉与跟踪目标相互协调的同步图象。
所示的系统在“Determination of the Point of Fixation in aHead-fixed Coordinate System”有进一步的解释,该论文是Jin Liu在第14届国际模式识别大会(ICPR’98)(1998年8月17-20日,澳大利亚Brisbane)上发表的。关于该系统的其它信息还可以参看KayTalmi与Jin Liu所著的文章“Eye and Gaze Tracking for VisuallyControlled Interactive Stereoscopic Displays”,该文可在因特上找到,网址是http://www.hhi.de/-blick/papers/eyegaze97/eye-gaze.html。
参看图2,眼睛跟踪器34和注视跟踪器38接收来自摄像机26和28的输入,就是说,如图象32所示的那样,眼睛跟踪器从摄像机26接收对应于驾驶员的面部镜头的数字图象。同时,注视跟踪器38接收驾驶员的一个眼睛或双眼的图象。眼睛跟踪器分析眼睛摄像机28的视频图象,检测并跟踪眼睛的三维位置。此外,可以对一个或两个瞳孔进行检测和跟踪,以便能计算眼睛的三维位置。
眼睛跟踪器34可以用摆动/倾斜单元40使眼睛摄象机28摆动和倾斜,以随着驾驶员头部的运动跟踪眼睛的位置。可以如方框42中所示的那样提供运动补偿(motion compensation),以便补偿驾驶员头部的运动。
起初可接收一个静止的头部摄象机图象用于分析。为了便于随后的分析,可以确定并消除被称作峡谷的黑暗区域。
可以用主要部件分析(PCA)来确定驾驶员眼睛的位置。在训练阶段,可以用PCA将人类眼睛的特点记录下来用于确定眼睛的位置。可以将这些特点存储起来,作为被称作本征面貌(eigenface)的基准眼睛模式。然后可以对摄象机26的图象进行分析并与所存储的眼睛模式比较,以确定眼睛的位置。在一个实施例中,可以在另一个立体摄象机图象(如果使用另外的摄象机的话)中搜索这些被确定的眼睛位置。通过立体匹配,就能确定双眼的三维位置。该信息然后就能被用来控制眼睛摄象机26的摆动和倾斜单元22。
可以用一种角膜反射方法来确定注视方向。可以将低功率的红外LEDs 24安装在摄象机26的一侧的摆动倾斜单元22上,按常规使阵列表面与摄象机26的光轴平行。LEDs 24可以照亮眼睛,在角膜上产生亮点。角膜反射算法可以确定一个或两个瞳孔的中心和角膜表面反射的中心。这两个中心的距离和它们的方位,可以被用来确定注视方向。注视方向因头部运动的变化,可以通过采用关于头部的三维位置的信息而作补偿。
PCA用较少的维数来表示人类眼睛的一般特征。PCA将眼睛的亮度描述变换成一个不同的坐标系。这个坐标系使得因截除坐标系的基本向量而引起的均方差被减少。
现在参看图3,可以用来自摄象机28的输入来显现如图2中的32所示的头像,如图3中的方框46所指示的那样。在方框48所示的预处理期间,系统可以减除面部的一些初始特征。例如,可以将黑暗的区域去除,因为它们在确定指示眼睛位置的面部特点是可能没有用。在方框54,可以要么用一个摄象机要么用一对立体摄象机来确定眼睛的三维位置。然后,如方框58中所示的那样,可以用模式识别和/或角膜反射方法,利用来自摄象机26的输入,检测如图2中36所示的瞳孔的位置。
如方框60中所指出的那样,可以检测因LED在角膜上的反射所产生的亮点,然后如方框62中所指出的那样,确定位移因数。位移因数用来自另一个摄象机28的输入校正头部的运动。最后,用PCA分析来确定注视方向(方框64),如方框66所指示的那样。
在本发明的一个实施例中,可以将多个摄象机分布在驾驶室的四周,以便在驾驶员转身时确定脸部位置。例如,当驾驶员转过头来观察后面的车辆时,摄象机26、28会拍不到驾驶员的脸部。可以用在驾驶室中四处分布的摄象机来检测驾驶员脸部的位置。该信息可被用来分析确定驾驶员的动作是否适当。
注视方向可被用来评价或训练驾驶员。参看图4,软件66开始时接收眼睛运动信息,如方框68中所指出的那样。在一个实施例中,这可以是关于眼睛在任何时刻实际正在看什么的信息。然后可以将该信息解析成注视坐标,如方框70中所指出的那样。
注视坐标可能对应于诸如侧视镜或后视镜这样的目标。在一个实施例中,注视坐标可包括关于眼睛在任何时刻实际正在看什么的信息。例如,可以将注视坐标信息解析成被注视的目标,如方框70中所指出的那样。如果知道驾驶员的注视坐标和注视目标的坐标,就能确定正在被观看的特定对象。被注视的目标对应的目标,诸如是小汽车中的侧视镜或后视镜、仪表板和前档风玻璃。可以将这些物象的每个的坐标与给定的注视方向比较,当由系统30所测出的注视方向总体上与给定目标的坐标相关时,就能解析出该注视信息,确定驾驶员注视的方向是已知的注视目标中的其中之一。
下一步,如方框72中所指出的那样,通过确定驾驶员看过给定注视目标或对象多少次,可以确定目标注视频率。这样,系统就能确定在预定的驾驶过程中驾驶员有多少次看过给定的对象。
所以,在一个实施例中,驾驶员可以操纵运载工具经历一个模拟的过程,可以知道在该过程中驾驶员应察看的每个目标的次数。或者,驾驶员也可以操纵运载工具经历一个已知的过程,其中期望驾驶员应合理地察看各种注视目标的次数是已知的。或者,可以将目标注视频率与标准的注视频率范围相联系并加以比较。例如,可以确定驾驶员平均来说应当每小时察看后视镜X次。知道了预定的频率,就能进行分析,以确定驾驶员的操作水平是否符合确定的标准。
在棱形框74,检查确定是否应当提示驾驶员改变其注视频率。系统不单是评价驾驶员,还可以训练驾驶员增加或减少其察看特定信息源的频率。例如,如果判定驾驶员察看后视镜的次数不够频繁,就可以如方框76中所指出的那样提示驾驶员更多地察看后视镜。
如方框78中所指出的那样,系统也可以接收其它信息,包括运载工具的速度。可以将速度历史记录下来,与给定训练课程的已知限速或已知建议速度作比较。然后,如方框82中所指出的那样,系统可以接收控制信息。系统可以记录驾驶员使用制动器或其它控制器的时机和方式以及驾驶员使周转向指示灯或其它指示灯的频率。如前面的一样,可以将该信息与预定训练课程中预期的指标或者与其它情况中的标准指标加以比较。
如方框83中所指出的那样,系统也可以接收运载工具位置信息。可以用诸如全球定位系统(GPS)接收机的运载工具定位装置来确定运载工具的位置,并可以将该信息与注视目标信息建立联系。系统然后就能评价驾驶员例如在预定的训练或评价课程中的给定的位置是否在看应当要看的目标。
参看方框84,可以评估驾驶员的注视频率、速度和控制/指示器操作水平。评估的方法是将驾驶员的操作水平与一个标准值数据库作比较,标准值的范围较宽,涵盖不同课程和条件下不同驾驶员的情况。或者,也可以通过将驾驶员在已知的课程中的操作水平与期望的操作水平作比较而得出评价结果。然后可以向驾驶员提供关于其驾驶技能与所期望的相比如何的信息。这可以在驾驶员测试中用来评估驾驶员,或者向驾驶员反馈关于如何提高其操作水平的信息。
图5中所示的用于实现本发明的一个实施例的基于处理器的系统100包括处理器102。在一个实施例中,可以将处理器耦接到用于实现加速图形端口实施例的加速图形端口(AGP)(参看加速图形端口规范1.0版-由位于美国加州Santa Clara的因特尔公司1996年7月31日发布)芯片集104。芯片集104可以与AGP端口105和图形加速器106通信。显示器110可以耦接到图形加速器106的视频输出端。同时也可以将芯片集耦接到系统存储器108和总线112。
总线112也耦接到运动补偿器42。它可以接收来自摄象机26和28的输入信号并向摆动/倾斜单元22和阵列24提供输出信号。总线112也可以耦接到与硬盘驱动器118耦接的桥接器116。可以将软件66与本征面貌信息116和标准数据库(calibration database)114一起存储在硬盘驱动器118中。桥接器116也可以耦接到另一个总线132。总线132可以接收来自控制接口136、指示器接口138和速度接口140的串行输入-这些接口每个被连接得能从运载工具和定位系统144接收信息。与总线132耦接的还有基本输入/输出系统(BIOS)142。
按照本发明的一个实施例,可以进行对运载工具驾驶课程(session)的基于处理器的回放,以提供操作水平评价或者向给定驾驶员提供反馈。参看图6,显示屏110可以显示一个画面,里面包括仪表板86、方向盘88和模拟的驾驶员90。驾驶员的视线由虚线92表示。
根据从运动补偿器42接收的信息,可以以诸如图6中所示的虚线92的图形用户界面的形式再现不同时间以及在特定位置时的驾驶员的视线。这样,受训者和教练员就能看到在给定的时刻和给定的情况下,驾驶员正在看什么。例如,显示部分94可以提供关于每个时刻时的状态的信息。在一个实施例中,可以在显示画面上指出一个全球定位系统陆标,以提供关于当驾驶员正在了望给定的注视方向时运载工具在哪里的信息。
如94所示,屏幕上显示的信息可包括每个时刻的课程条件、气象指示、速度指示、表示制动器使用情况的制动系数、表示驾驶员监测盲点的有效程度的盲点系数。这样,受训者就可以以一定的时间间隔观看回放的其操作水平,或者继续给定的课程。回放也可以指出当驾驶员作出一定方式的反应时运载工具所在的位置。
系统30也可以提供可以由系统触发的外部事件,目的是评价驾驶员的操作水平或者提供训练练习。可以将外部事件的生成与全球定位系统接收机所提供的运载工具的位置同步。例如,当运载工具接近给定位置时,可以使另一个运载工具进入该运载工具的行驶线路。驾驶员对该事件的反应,包括驾驶员的视线是如何发现该事件的以及驾驶员是如何作出响应的,可以由基于处理器的系统作出评估。
外部事件可以以设定的、由运载工具的全球定位坐标触发的脚本为基础,以测试驾驶员在给定条件下的操作水平。也可以确定驾驶员对给定事件的响应时间。
例如,如果驾驶员持续地不看给定的方向或给定的物体,系统就可以针对性地生成要求观看该区域的事件。这样就能让驾驶员看到不能保持视野开阔的后果,训练驾驶员克服不良习惯。
通过确定运载工具的全球定位坐标,就可以判断驾驶员对具有特定路标的条件的响应。例如,如果已知GPS坐标对应的是行车道,就能根据全球定位系统坐标确定驾驶员是保持在其行车道的中央还是偏向左边或右边。
系统也可以接收气象输入和时刻输入,作为评价驾驶员操作水平时的参考因素。一路上的气象、交通状况和其它信息,可以从因特网提取,或者由传感器测出。该信息可用来评价驾驶员在现有条件下的操作水平。
在有些实施例中,可能需要用摄象机来记录档风玻璃外的景象。然后可以在回放方式下,回放实际记录的档风玻璃外的景象,使回放的效果更加逼真。可以将视线指示器叠加在所记录的图象上。此外,视频回放还能提供关于相对于驾驶员的视线或驾驶员的其它反应正在发生什么情况的更加详细的反馈。
尽管结合数量有限的实施例说明了本发明,本领域的熟练人员显然知道据此有许多修改和变体。后附的权利要求旨在包括这些符合本发明的真正精神和范围的修改和变体。
Claims (20)
1.一种运载工具驾驶员训练系统,包含:
适合于监测驾驶员在看什么的传感器;和
控制器,适合于编制驾驶员在驾驶员训练课程中在看什么的记录并将该记录与关于多个注视目标的信息进行比较以便确定驾驶员在驾驶员训练课程中是否看所述的注视目标。
2.权利要求1的系统,其中,传感器包括摄象机。
3.权利要求2的系统,其中,所述摄象机是数字摄象机。
4.权利要求3的系统,包括确定头部位置的第一摄象机和确定眼睛位置的第二摄象机。
5.权利要求1的系统,包括用于所述运载工具定位的定位装置。
6.权利要求5的系统,其中所述定位装置是全球定位系统接收机。
7.权利要求1的系统,包括适合于从运载工具控制器接收信息的接口。
8.权利要求1的系统,包括适合于接收运载工具速度信息的接口。
9.权利要求1的系统,包括适合于接收关于运载工具指示器的使用信息的接口。
10.一种用于运载工具驾驶员训练系统的评价运载工具驾驶员的方法,包含:
自动监测驾驶员在看什么;
编制驾驶员在驾驶员评价课程中在看什么的记录;
编辑注视目标清单;和
将该记录与注视目标的坐标比较以便确定驾驶员在所述评价课程中是否看所述的注视目标。
11.权利要求10的方法,包括接收关于运载工具的当前位置的信息。
12.权利要求10的方法,包括接收关于对运载工具控制器的操作的信息。
13.权利要求10的方法,包括将驾驶员的成绩与预定的标准作比较。
14.权利要求10的方法,包括确定驾驶员看给定对象的频率。
15.权利要求10的方法,包括记录关于运载工具速度的信息。
16.权利要求10的方法,包括提示驾驶员提高看一个或多个对象的频率。
17.权利要求16的方法,包括在驾驶员看对象时将驾驶员所看的与运载工具的位置相关联。
18.一种用于运载工具驾驶员训练系统的评价运载工具驾驶员的方法,包含
自动监测驾驶员在看什么;
提示驾驶员提高其看一个或多个对象的频率;和
记录驾驶员看了什么。
19.权利要求18的方法,包括在驾驶员看对象时将驾驶员所看的与运载工具的位置相关联。
20.一种运载工具驾驶员训练系统,包含:
安装摄像机以便扫描驾驶员的头部的第一运载工具;
安装摄像机以便扫描驾驶员的眼睛的第二运载工具;和
控制器,适合于使用来自所述第一和第二摄像机的信息来编制驾驶员在驾驶员训练中在看什么的记录。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/258,848 US6200139B1 (en) | 1999-02-26 | 1999-02-26 | Operator training system |
US09/258,848 | 1999-02-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1470044A CN1470044A (zh) | 2004-01-21 |
CN1248174C true CN1248174C (zh) | 2006-03-29 |
Family
ID=22982383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB008043183A Expired - Fee Related CN1248174C (zh) | 1999-02-26 | 2000-01-12 | 驾驶员训练系统和方法 |
Country Status (10)
Country | Link |
---|---|
US (1) | US6200139B1 (zh) |
EP (1) | EP1177544B1 (zh) |
JP (2) | JP3787493B2 (zh) |
KR (1) | KR100416152B1 (zh) |
CN (1) | CN1248174C (zh) |
AT (1) | ATE262207T1 (zh) |
AU (1) | AU2502800A (zh) |
DE (1) | DE60009057T2 (zh) |
TW (1) | TW440807B (zh) |
WO (1) | WO2000051097A2 (zh) |
Families Citing this family (86)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7788008B2 (en) * | 1995-06-07 | 2010-08-31 | Automotive Technologies International, Inc. | Eye monitoring system and method for vehicular occupants |
US6200139B1 (en) * | 1999-02-26 | 2001-03-13 | Intel Corporation | Operator training system |
US8032264B2 (en) * | 1999-12-15 | 2011-10-04 | Automotive Technologies International, Inc. | Vehicular heads-up display system |
US8818647B2 (en) * | 1999-12-15 | 2014-08-26 | American Vehicular Sciences Llc | Vehicular heads-up display system |
US8686922B2 (en) * | 1999-12-15 | 2014-04-01 | American Vehicular Sciences Llc | Eye-location dependent vehicular heads-up display system |
US7565230B2 (en) * | 2000-10-14 | 2009-07-21 | Temic Automotive Of North America, Inc. | Method and apparatus for improving vehicle operator performance |
EP1334009B1 (de) * | 2000-11-14 | 2007-05-02 | Siemens Aktiengesellschaft | Verfahren und system zum bestimmen der belegung des innenraums eines fahrzeugs |
DE10061038A1 (de) * | 2000-12-08 | 2002-06-13 | Daimler Chrysler Ag | Informationssystem zur Bereitstellung von erklärenden Informationen zu Funktions-oder Bedienelementen in Kraftfahrzeugen |
US6397137B1 (en) * | 2001-03-02 | 2002-05-28 | International Business Machines Corporation | System and method for selection of vehicular sideview mirrors via eye gaze |
US9400921B2 (en) * | 2001-05-09 | 2016-07-26 | Intel Corporation | Method and system using a data-driven model for monocular face tracking |
WO2003088126A1 (en) | 2002-04-05 | 2003-10-23 | Konstantin Sizov | Portable in-the-vehicle road simulator |
US20070271078A1 (en) * | 2002-06-25 | 2007-11-22 | New York Air Brake Corporation | Remote Control Locomotive Simulator |
NO317200B1 (no) * | 2002-08-09 | 2004-09-13 | Best Practice Deployment As | System for trafikkopplaering i et kjoretoy |
CN1294510C (zh) * | 2003-01-28 | 2007-01-10 | 中国南方航空股份有限公司 | 一种航空模拟机训练的计算机辅助教学系统及其方法 |
US6859144B2 (en) * | 2003-02-05 | 2005-02-22 | Delphi Technologies, Inc. | Vehicle situation alert system with eye gaze controlled alert signal generation |
DE10339314B3 (de) * | 2003-08-27 | 2005-04-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur Anzeigesteuerung von unterschiedlichen Informationen in einem Fahrzeug und optoakustische Informationseinheit |
JP2005208478A (ja) * | 2004-01-26 | 2005-08-04 | Ota Hiroo | 模擬運転装置 |
JP4565445B2 (ja) * | 2004-03-18 | 2010-10-20 | 国立大学法人 奈良先端科学技術大学院大学 | 顔情報計測システム |
JP4650028B2 (ja) * | 2005-03-02 | 2011-03-16 | 株式会社デンソー | 運転評価装置および運転評価システム |
JP4540507B2 (ja) * | 2005-03-07 | 2010-09-08 | 株式会社日立国際電気 | 行動訓練内容表示方法 |
JP4682714B2 (ja) * | 2005-06-14 | 2011-05-11 | トヨタ自動車株式会社 | 対話システム |
US20070047517A1 (en) * | 2005-08-29 | 2007-03-01 | Hua Xu | Method and apparatus for altering a media activity |
US20070150138A1 (en) | 2005-12-08 | 2007-06-28 | James Plante | Memory management in event recording systems |
US10878646B2 (en) | 2005-12-08 | 2020-12-29 | Smartdrive Systems, Inc. | Vehicle event recorder systems |
US9201842B2 (en) | 2006-03-16 | 2015-12-01 | Smartdrive Systems, Inc. | Vehicle event recorder systems and networks having integrated cellular wireless communications systems |
US8996240B2 (en) | 2006-03-16 | 2015-03-31 | Smartdrive Systems, Inc. | Vehicle event recorders with integrated web server |
JP2007264490A (ja) * | 2006-03-29 | 2007-10-11 | National Univ Corp Shizuoka Univ | 情報提示評価システム |
US7659827B2 (en) * | 2006-05-08 | 2010-02-09 | Drivecam, Inc. | System and method for taking risk out of driving |
US9792319B2 (en) | 2006-05-08 | 2017-10-17 | Lytx, Inc. | System and method for identifying non-event profiles |
US8314708B2 (en) * | 2006-05-08 | 2012-11-20 | Drivecam, Inc. | System and method for reducing driving risk with foresight |
US9836716B2 (en) * | 2006-05-09 | 2017-12-05 | Lytx, Inc. | System and method for reducing driving risk with hindsight |
CN100483478C (zh) * | 2006-09-06 | 2009-04-29 | 李宏 | 挖掘机模拟操作培训系统 |
US8649933B2 (en) | 2006-11-07 | 2014-02-11 | Smartdrive Systems Inc. | Power management systems for automotive video event recorders |
US8989959B2 (en) | 2006-11-07 | 2015-03-24 | Smartdrive Systems, Inc. | Vehicle operator performance history recording, scoring and reporting systems |
US8868288B2 (en) | 2006-11-09 | 2014-10-21 | Smartdrive Systems, Inc. | Vehicle exception event management systems |
JP2008139553A (ja) * | 2006-12-01 | 2008-06-19 | National Agency For Automotive Safety & Victim's Aid | 運転適性診断方法、運転適性診断の評価基準決定方法、運転適性診断プログラム |
US20080208646A1 (en) * | 2007-02-28 | 2008-08-28 | Thompson Ralph E | Method for increasing productivity and safety in the mining and heavy construction industries |
US8239092B2 (en) | 2007-05-08 | 2012-08-07 | Smartdrive Systems Inc. | Distributed vehicle event recorder systems having a portable memory data transfer system |
KR100898417B1 (ko) * | 2007-06-08 | 2009-06-19 | 샬롬엔지니어링 주식회사 | 열차 운행 시뮬레이션 시스템 |
WO2008151942A2 (en) * | 2007-06-14 | 2008-12-18 | Driving Performance Solutions As | System for performing driver education |
BRPI0813211A2 (pt) * | 2007-07-13 | 2014-12-23 | Volvo Constr Equip Ab | Um método para provisão de um operador de um veículo com informação de operação |
US8645001B2 (en) * | 2007-09-04 | 2014-02-04 | International Business Machines Corporation | Method and system for blind spot identification and warning utilizing visual indicators |
JP2009107373A (ja) * | 2007-10-26 | 2009-05-21 | Equos Research Co Ltd | 警報音出力装置 |
WO2009086308A1 (en) * | 2007-12-21 | 2009-07-09 | Booksync, Llc | Method and apparatus for integrating audio and/or video with a book |
KR20110018341A (ko) * | 2008-06-06 | 2011-02-23 | 가부시끼가이샤 야마시로 지도샤 교슈쇼 | 운전 행동 자동 평가 시스템 |
EP3666347B1 (en) * | 2008-11-25 | 2021-10-20 | Fox Factory, Inc. | Computer usable storage medium for virtual competition |
EP2478492B1 (en) | 2009-09-16 | 2019-03-20 | Sydac Pty Ltd | Visual presentation system |
US9418568B2 (en) * | 2009-09-29 | 2016-08-16 | Advanced Training System Llc | System, method and apparatus for driver training system with dynamic mirrors |
US8770980B2 (en) | 2009-09-29 | 2014-07-08 | Advanced Training System Llc | System, method and apparatus for adaptive driver training |
US11875707B2 (en) | 2009-09-29 | 2024-01-16 | Advanced Training Systems, Inc. | System, method and apparatus for adaptive driver training |
KR101364080B1 (ko) * | 2009-12-17 | 2014-02-20 | 한국전자통신연구원 | 안전 운전 평가 방법 및 장치 |
DE102010016113A1 (de) * | 2010-03-24 | 2011-09-29 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Verfahren zur Ausbildung eines Besatzungsmitglieds eines insbesondere militärischen Fahrzeugs |
WO2011126379A1 (en) * | 2010-04-04 | 2011-10-13 | Driving Performance Solutions As | A system and method for drivers training |
WO2011148455A1 (ja) * | 2010-05-25 | 2011-12-01 | 富士通株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
CH703735A2 (it) * | 2010-09-15 | 2012-03-15 | Erbicol Sa | Riflessometro per determinare la reattivita' di un guidatore e suo impiego. |
WO2012107892A2 (en) | 2011-02-09 | 2012-08-16 | Primesense Ltd. | Gaze detection in a 3d mapping environment |
TWI491524B (zh) * | 2012-03-08 | 2015-07-11 | Ind Tech Res Inst | 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置 |
CN104246682B (zh) | 2012-03-26 | 2017-08-25 | 苹果公司 | 增强的虚拟触摸板和触摸屏 |
AU2013201418B2 (en) * | 2012-04-23 | 2014-09-11 | The Boeing Company | Aircrew training system |
US10102773B2 (en) | 2012-04-23 | 2018-10-16 | The Boeing Company | Methods for evaluating human performance in aviation |
JP5946349B2 (ja) * | 2012-07-24 | 2016-07-06 | 日本無線株式会社 | ドライビングシミュレータ |
US9728228B2 (en) | 2012-08-10 | 2017-08-08 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
DE102012016765A1 (de) * | 2012-08-27 | 2014-02-27 | Dr. Ing. H.C. F. Porsche Ag | Kraftfahrzeugsimulationssystem |
DE102012220321A1 (de) * | 2012-11-08 | 2014-06-12 | Bayerische Motoren Werke Aktiengesellschaft | Demonstration von Fahrerassistenzsystemen |
CN103854539A (zh) * | 2012-12-07 | 2014-06-11 | 永泰软件有限公司 | 一种基于视频分析的电子路考监测系统 |
US9619695B2 (en) * | 2013-06-06 | 2017-04-11 | Visteon Global Technologies, Inc. | Gaze time indicator for a vehicle |
US9501878B2 (en) | 2013-10-16 | 2016-11-22 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
US9610955B2 (en) | 2013-11-11 | 2017-04-04 | Smartdrive Systems, Inc. | Vehicle fuel consumption monitor and feedback systems |
US8892310B1 (en) | 2014-02-21 | 2014-11-18 | Smartdrive Systems, Inc. | System and method to detect execution of driving maneuvers |
US20150310758A1 (en) * | 2014-04-26 | 2015-10-29 | The Travelers Indemnity Company | Systems, methods, and apparatus for generating customized virtual reality experiences |
US20160107642A1 (en) * | 2014-10-15 | 2016-04-21 | Continental Automotive Systems, Inc. | Collision avoidance system using driver eye monitoring during gear change |
US9663127B2 (en) | 2014-10-28 | 2017-05-30 | Smartdrive Systems, Inc. | Rail vehicle event detection and recording system |
US11069257B2 (en) | 2014-11-13 | 2021-07-20 | Smartdrive Systems, Inc. | System and method for detecting a vehicle event and generating review criteria |
US9679420B2 (en) | 2015-04-01 | 2017-06-13 | Smartdrive Systems, Inc. | Vehicle event recording system and method |
CN105654808A (zh) * | 2016-02-03 | 2016-06-08 | 北京易驾佳信息科技有限公司 | 一种基于实际机动车的机动车驾驶人智能化训练系统 |
US9639804B1 (en) | 2016-03-22 | 2017-05-02 | Smartdrive Systems, Inc. | System and method to determine responsiveness of a driver of a vehicle to feedback regarding driving behaviors |
CN105788401B (zh) * | 2016-04-20 | 2018-09-28 | 公安部交通管理科学研究所 | 基于实车体的防御性驾驶模拟体验训练系统 |
US10083620B2 (en) * | 2016-07-29 | 2018-09-25 | Nissan North America, Inc. | Smart tutorial that learns and adapts |
JP6892244B2 (ja) * | 2016-11-02 | 2021-06-23 | 京セラドキュメントソリューションズ株式会社 | 表示装置及び表示方法 |
US11715387B2 (en) * | 2018-03-30 | 2023-08-01 | Cae Inc. | Standard operating procedures feedback during an interactive computer simulation |
JP7261370B2 (ja) * | 2018-08-07 | 2023-04-20 | 国立大学法人東海国立大学機構 | 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム |
CN109102194B (zh) * | 2018-08-20 | 2021-06-18 | 安徽佳略信息科技有限公司 | 一种基于全球定位系统与惯性传感器的驾驶行为评分方法 |
US10625745B1 (en) * | 2019-01-07 | 2020-04-21 | Sean Tremblay | Automated driver's exam system |
US10699556B1 (en) | 2019-03-01 | 2020-06-30 | Honeywell International Inc. | System and method for plant operation gap analysis and guidance solution |
SE2030301A1 (en) * | 2020-09-30 | 2022-03-31 | Chadalavada Ravi Teja | Method and system for driving skill feedback |
FR3123491A1 (fr) * | 2021-05-31 | 2022-12-02 | Psa Automobiles Sa | Simulateur de conduite automobile |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5016282A (en) | 1988-07-14 | 1991-05-14 | Atr Communication Systems Research Laboratories | Eye tracking image pickup apparatus for separating noise from feature portions |
US5138555A (en) | 1990-06-28 | 1992-08-11 | Albrecht Robert E | Helmet mounted display adaptive predictive tracking |
JPH0431172U (zh) * | 1990-07-11 | 1992-03-12 | ||
JPH04129173U (ja) * | 1991-05-13 | 1992-11-25 | 三菱重工業株式会社 | 視界目標の捕捉・追尾評価装置 |
JPH06189906A (ja) * | 1992-12-26 | 1994-07-12 | Nissan Motor Co Ltd | 視線方向計測装置 |
US5373857A (en) * | 1993-06-18 | 1994-12-20 | Forte Technologies, Inc. | Head tracking apparatus |
US5471542A (en) | 1993-09-27 | 1995-11-28 | Ragland; Richard R. | Point-of-gaze tracker |
JPH07141095A (ja) * | 1993-11-17 | 1995-06-02 | Matsushita Electric Ind Co Ltd | トレーニング装置 |
JPH0736299U (ja) * | 1993-12-03 | 1995-07-04 | 昌久 時山 | 車輌用居眠り防止装置 |
FR2714508B1 (fr) | 1993-12-23 | 1996-01-26 | Thomson Csf | Dispositif de simulation visuelle à parallaxe monoscopique pour un véhicule. |
JP2993345B2 (ja) * | 1993-12-29 | 1999-12-20 | 日産自動車株式会社 | 車両用表示装置 |
JP3134667B2 (ja) * | 1994-06-02 | 2001-02-13 | 日産自動車株式会社 | 車両用表示装置 |
JP3119076B2 (ja) * | 1994-06-02 | 2000-12-18 | 日産自動車株式会社 | 車両用警報表示装置 |
US5764291A (en) * | 1994-09-30 | 1998-06-09 | Apple Computer, Inc. | Apparatus and method for orientation-dependent camera exposure and focus setting optimization |
JP3257310B2 (ja) * | 1994-12-22 | 2002-02-18 | トヨタ自動車株式会社 | 漫然運転検出装置 |
US5583795A (en) * | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
JPH1097179A (ja) * | 1996-09-20 | 1998-04-14 | Sanyo Electric Works Ltd | 走行情報記録装置、走行情報解析装置及び両装置を用いた車両教習システム |
US5839000A (en) * | 1997-11-10 | 1998-11-17 | Sharp Laboratories Of America, Inc. | Automatic zoom magnification control using detection of eyelid condition |
US6154559A (en) | 1998-10-01 | 2000-11-28 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for classifying an individual's gaze direction |
US6200139B1 (en) * | 1999-02-26 | 2001-03-13 | Intel Corporation | Operator training system |
-
1999
- 1999-02-26 US US09/258,848 patent/US6200139B1/en not_active Expired - Lifetime
- 1999-12-28 TW TW088123109A patent/TW440807B/zh not_active IP Right Cessation
-
2000
- 2000-01-12 AT AT00903253T patent/ATE262207T1/de not_active IP Right Cessation
- 2000-01-12 KR KR10-2001-7010227A patent/KR100416152B1/ko not_active IP Right Cessation
- 2000-01-12 EP EP00903253A patent/EP1177544B1/en not_active Expired - Lifetime
- 2000-01-12 WO PCT/US2000/000723 patent/WO2000051097A2/en active IP Right Grant
- 2000-01-12 CN CNB008043183A patent/CN1248174C/zh not_active Expired - Fee Related
- 2000-01-12 DE DE60009057T patent/DE60009057T2/de not_active Expired - Lifetime
- 2000-01-12 AU AU25028/00A patent/AU2502800A/en not_active Abandoned
- 2000-01-12 JP JP2000601623A patent/JP3787493B2/ja not_active Expired - Fee Related
-
2005
- 2005-11-08 JP JP2005323273A patent/JP2006163375A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
TW440807B (en) | 2001-06-16 |
KR100416152B1 (ko) | 2004-01-24 |
WO2000051097A2 (en) | 2000-08-31 |
AU2502800A (en) | 2000-09-14 |
DE60009057T2 (de) | 2004-08-05 |
JP3787493B2 (ja) | 2006-06-21 |
JP2002538498A (ja) | 2002-11-12 |
KR20010102090A (ko) | 2001-11-15 |
DE60009057D1 (de) | 2004-04-22 |
WO2000051097A3 (en) | 2001-11-29 |
EP1177544A2 (en) | 2002-02-06 |
CN1470044A (zh) | 2004-01-21 |
US6200139B1 (en) | 2001-03-13 |
JP2006163375A (ja) | 2006-06-22 |
ATE262207T1 (de) | 2004-04-15 |
EP1177544B1 (en) | 2004-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1248174C (zh) | 驾驶员训练系统和方法 | |
US10088899B2 (en) | Eye gaze tracking utilizing surface normal identification | |
CN102510480B (zh) | 驾驶员视线自动校准和跟踪系统 | |
CN102047304B (zh) | 驾驶注意力程度判定装置、方法 | |
CA2094650C (en) | Apparatus for analyzing depth perception | |
CN111931579A (zh) | 利用眼动追踪和手势识别技术的自动驾驶辅助系统及方法 | |
CN108621923A (zh) | 车辆的显示系统及车辆的显示系统的控制方法 | |
US20100014711A1 (en) | Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor | |
US7370970B2 (en) | Eyeglass detection method | |
Langner et al. | Traffic awareness driver assistance based on stereovision, eye-tracking, and head-up display | |
CN101093163A (zh) | 车辆乘员座椅检测系统、动作装置控制系统、车辆 | |
CN103886307A (zh) | 一种视线跟踪及疲劳预警方法 | |
CN104627074A (zh) | 车辆中的光学的播放及识别系统 | |
CN105987717B (zh) | 驾驶员视觉传感器性能测试系统 | |
CN115965857A (zh) | 一种环境光处理方法及dms系统 | |
Feld et al. | Dfki cabin simulator: A test platform for visual in-cabin monitoring functions | |
CN113544471A (zh) | 一种dms设备性能评估系统、方法、存储介质及电子设备 | |
CN111417885B (zh) | 用于确定增强现实眼镜的姿态的系统和方法 | |
CN113239609A (zh) | 一种用于智能车单目摄像头目标识别监测的试验系统及检测方法 | |
CN113173167A (zh) | 驾驶员注意力分散检测 | |
CN106157931A (zh) | 控制方法、控制装置及电子装置 | |
JPH06251272A (ja) | 運転者視点判定装置及び脇見判定装置 | |
CN109839106B (zh) | 驾驶模拟系统、车载信息娱乐系统的评估方法及系统 | |
Tonnis et al. | Visualization of spatial sensor data in the context of automotive environment perception systems | |
Fu et al. | Telescope aiming point tracking method for bioptic driving surveillance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20060329 Termination date: 20180112 |