WO2014010670A1 - 要素選択装置、要素選択方法、および、プログラム - Google Patents

要素選択装置、要素選択方法、および、プログラム Download PDF

Info

Publication number
WO2014010670A1
WO2014010670A1 PCT/JP2013/068969 JP2013068969W WO2014010670A1 WO 2014010670 A1 WO2014010670 A1 WO 2014010670A1 JP 2013068969 W JP2013068969 W JP 2013068969W WO 2014010670 A1 WO2014010670 A1 WO 2014010670A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
selection
movement
unit
Prior art date
Application number
PCT/JP2013/068969
Other languages
English (en)
French (fr)
Inventor
太郎 諌山
Original Assignee
Isayama Taro
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isayama Taro filed Critical Isayama Taro
Priority to EP13817055.0A priority Critical patent/EP2874044A4/en
Priority to KR1020157002920A priority patent/KR101845046B1/ko
Priority to CN201380037174.9A priority patent/CN104508599A/zh
Priority to US14/414,597 priority patent/US9575565B2/en
Priority to KR1020167004281A priority patent/KR20160022403A/ko
Priority to JP2013552782A priority patent/JP5507773B1/ja
Publication of WO2014010670A1 publication Critical patent/WO2014010670A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Definitions

  • the present invention relates to an element selection device, an element selection method, and a program.
  • the hand or finger of the input person pointed to the display is imaged and the image is taken. Based on the displayed image, the direction in which the hand or finger points to the display is calculated, the position on the display corresponding to the calculated direction is displayed on the display with the cursor, and the click motion of the hand or finger is detected.
  • information on a portion where the cursor is located is selected as information instructed by an input person.
  • the conventional input device requires a complicated operation for calculating the direction in which the hand or finger points and determining the click operation. After the user performs positioning, the determination of the click operation or the like is required for the determination.
  • the determination of the click operation or the like is required for the determination.
  • there are various problems such as a misalignment that is likely to occur because the position is shifted.
  • the present invention has been made in view of the above, and provides an element selection device, an element selection method, and a program capable of improving operability when selecting an element on a display in a non-contact state. For the purpose.
  • the element selection device of the present invention includes a means for recognizing movement of a hand or a finger, a means for displaying a first image linked to the recognized movement of the hand or finger, and a selection.
  • the second image corresponding to the possible element is displayed, and the second image moves away from the first image by interacting when the first image that has moved contacts the second image.
  • the element selection device is an element selection device including at least a display unit, a detection unit, and a control unit, and the control unit captures an image of a person captured through the detection unit or the person
  • An image display control means for displaying a display body linked to the movement of the image on the screen, a selectable element on the screen of the display unit, or an element image associated with the element, and the image display
  • An element display control means for moving the element or the element image so as to be excluded from the image or the display body displayed by the control means, and the element or the element image moved by the element display control means.
  • Selection determination means for determining selection of the element based on the mobility or the movement position is provided.
  • the element display control unit preferentially performs control to move the element so as to be excluded from the image or the display body.
  • the image is moved toward a predetermined position or direction.
  • the element selection device of the present invention is the above element selection device, wherein the image display control means is an image of a person's arm, hand or finger, or an image of the person's arm, hand taken through the detection unit. Alternatively, a display body linked to the movement of the finger is displayed on the screen.
  • the element display control unit moves the element or the element image so as to be excluded from a contour or a center line of the image or the display body. It is characterized by making it.
  • the element selection device of the present invention is characterized in that, in the element selection device, the mobility is a distance moved or an elapsed time after leaving the original position.
  • the element selection method of the present invention includes a step of recognizing movement of a hand or a finger, a step of displaying a first image linked to the recognized movement of the hand or finger, and a first corresponding to a selectable element. Displaying the second image and controlling the movement so that the second image escapes from the first image by interacting when the moved first image comes into contact with the second image; Determining a selection of a selectable element corresponding to the second image when the interaction relationship between the second image and the second image is in a predetermined state.
  • the element selection method of the present invention is an element selection method executed by a computer including at least a display unit, a detection unit, and a control unit, and is imaged through the detection unit executed in the control unit.
  • An image display control step for displaying a person image or a display body linked to the movement of the person on the screen, an element selectable on the screen of the display unit, or an element associated with the element
  • An element display control step for displaying an image and moving the element or the element image so as to be excluded from the image or the display body displayed in the image display control step, and the element display control step.
  • a selection determination step of determining selection of the element based on the mobility or the movement position of the element or the element image moved in this manner.
  • the program of the present invention includes a step of recognizing hand or finger movement, a step of displaying a first image linked to the recognized hand or finger movement, and a second corresponding to a selectable element. Displaying the image, interacting when the moved first image comes into contact with the second image, and controlling the movement so that the second image escapes from the first image; And determining a selection of a selectable element corresponding to the second image when the interaction relationship between the second image and the second image is in a predetermined state.
  • the program of the present invention is a program for causing a computer including at least a display unit, a detection unit, and a control unit to execute the image of the person imaged through the detection unit, which is executed in the control unit.
  • a computer including at least a display unit, a detection unit, and a control unit to execute the image of the person imaged through the detection unit, which is executed in the control unit.
  • an image display control step for displaying a display body linked to the movement of the person on the screen, an element selectable on the screen of the display unit, or an element image associated with the element
  • An element display control step for moving the element or the element image so as to be displayed and excluded from the image or the display body displayed in the image display control step, and moved in the element display control step.
  • a selection determining step for determining selection of the element based on the mobility or the movement position of the element or the element image. That.
  • the computer-readable recording medium of the present invention is characterized in that the above-described program is recorded on a computer so as to be readable.
  • an element selection device an element selection method, a program, and a recording medium that can improve operability when selecting an element on a display in a non-contact state. it can.
  • FIG. 1 is a block diagram illustrating an example of a configuration of an element selection device 100 to which the exemplary embodiment is applied.
  • FIG. 2 is a flowchart illustrating an example of display information processing of the element selection device 100 according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of an appearance of the display device 114 including a display screen displayed under the control of the element display control unit 102a.
  • FIG. 4 is a diagram illustrating an example of a display screen on which the user image is superimposed and displayed on the initial screen of FIG. 3.
  • FIG. 5 is a display screen example showing an example of the pointer P2 whose display position has been moved by the display position changing unit 102b.
  • FIG. 1 is a block diagram illustrating an example of a configuration of an element selection device 100 to which the exemplary embodiment is applied.
  • FIG. 2 is a flowchart illustrating an example of display information processing of the element selection device 100 according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of
  • FIG. 6 is a diagram illustrating an example of a display screen on which display elements E1 and E2 and a display body imitating a hand of a captain hook are displayed.
  • FIG. 7 is a diagram showing an example of a transition screen from the display screen of FIG.
  • the input device described in Patent Document 1 captures an input person's hand or finger pointed to the display without using a remote controller, and responds from the direction of the hand or finger pointing to the display.
  • the position on the display to be displayed is displayed on the display by the cursor, and when the click operation of the hand or finger is detected, the information on the portion where the cursor is positioned is selected as the information instructed by the input person .
  • GUI graphic user interface
  • Friction does not work with fingers and hands that are suspended in the air, so the position floats and shifts between the positioning operation of (1) and the determination operation of (2). There is a problem that there is a high possibility that the position is shifted when an action for the determination operation is performed.
  • the embodiment of the present invention has the following features.
  • a selectable element or an element image associated with the element is displayed on the screen of the display unit.
  • the element image may be displayed as a representative point representing a selectable element.
  • an image of a person imaged through the detection unit or a display body linked to the movement of the person is displayed on the screen, and the displayed image or the display body is used.
  • the element or the element image is moved so that the element or the element image is excluded.
  • the selection of the element is determined.
  • a predetermined state for example, a predetermined movement state (a predetermined mobility, a predetermined movement position, etc.
  • the present embodiment is not limited to determining the element selection based on the movement state, and the element selection may be determined based on the action.
  • a predetermined action such as when the hand is closed, it may be determined that the predetermined state has been reached and the selection of the element may be determined.
  • the same element selection and determination as in (1) and (2) can be performed without performing positioning by the conventional mouse pointer or cursor of (1). That is, the user uses an image or a display body displayed on the screen to sensuously grasp / hold / pinch / push / pinch / touch an element or element image on the image. By performing, it can confirm that the element was selected similarly to (1). Then, after confirming, the user sensuously grasps and pulls / holds for a certain period of time / hangs down / pushes up / pinchs / pulls / pushes and hits the state (mobility and movement). Position etc.) and the selection of the element can be determined in the same manner as (2).
  • the selection of an element is determined by an action regardless of the movement state, after confirming, the user sensuously grasps and squeezes / holds and grips / hangs and then applies an acceleration to the hand.
  • the state can be controlled by performing an action operation such as pushing / throwing / throwing / pinching and then attaching / fitting two fingers / playing, and the selection of an element can be determined as in (2).
  • FIG. 1 is a block diagram showing an example of a configuration of an element selection apparatus 100 to which the present embodiment is applied, and conceptually shows only a portion related to the present embodiment in the configuration.
  • an element selection apparatus 100 is roughly connected to a control unit 102 such as a CPU that controls the entire element selection apparatus 100 in an integrated manner, and a communication apparatus (not shown) such as a router connected to a communication line or the like.
  • the communication control interface unit 104 to be connected, the input / output control interface unit 108 connected to the imaging device 112, the display device 114, and the like, and the storage unit 106 for storing various databases and tables, are configured. These units are communicably connected via an arbitrary communication path.
  • Various databases and tables (element file 106a, etc.) stored in the storage unit 106 are storage means such as a fixed disk device, and store various programs, tables, files, databases, web pages, etc. used for various processes. .
  • the element file 106a is an element data storage unit that stores data that can be displayed as display elements on the display screen.
  • the element file 106a may store data serving as objects such as icons, characters, symbols, graphics, and three-dimensional objects.
  • the element file 106a is configured to perform a predetermined operation (display link destination, menu display, power on / off, channel switching, mute, recording reservation, etc.) when a selection operation such as a click is performed. It may be associated with a program or the like.
  • the data format of the data serving as the display elements is not limited to image data, character data, or the like, and may be any data format.
  • the result of movement (including rotation and enlargement / reduction) by the processing of the control unit 102 to be described later may be reflected in the element file 106a.
  • the element file 106a sets the related data of the object A to 0 under the control of the control unit 102. Change (for example, function off mode) to 1 (for example, function on mode) and save.
  • the element file 106a may store data for displaying a web page such as an html language.
  • the selectable element is, for example, a link display portion in the web page.
  • the element display control unit 102a described later is The initial position of the point may be set to the center point ((X1 + X2) / 2, (Y1 + Y2) / 2) of the rectangular area, or may be set to the upper right point (X2, Y2) of the rectangular area. .
  • the input / output control interface unit 108 controls the imaging device 112 and the display device 114.
  • the display device 114 is a display unit such as a liquid crystal panel or an organic EL panel.
  • the element selection device 100 may include a voice output unit such as a speaker (not shown), and the input / output control interface unit 108 may control the voice output unit.
  • the display device 114 may be described as a monitor (including a home television), but the present invention is not limited to this.
  • the imaging device 112 is an imaging means such as a camera.
  • the imaging device 112 may be detection means such as a CMOS sensor or a CCD sensor.
  • the imaging device 112 may be a light detection unit that detects light (infrared rays) having a predetermined frequency.
  • an infrared camera is used as the imaging device 112 to determine a person area (heat generation area) in an image, and it is also possible to determine, for example, only a hand area based on the temperature distribution of the person.
  • an ultrasonic wave or electromagnetic wave type distance measuring device depth detection unit or the like
  • a proximity sensor or the like
  • an imaging device 112 an ultrasonic wave or electromagnetic wave type distance measuring device (depth detection unit or the like), a proximity sensor, or the like can be used, for example, by combining a depth detection unit and an imaging unit, Only an image (for example, a human image) of an object at a predetermined distance (depth) may be determined.
  • a known sensor such as kinect (trademark), a region determination technique, or a control unit may be used.
  • the imaging device 112 is not limited to reading a person's biological information (skin color, heat, infrared rays, etc.), but a user can use it as a position detection unit that detects a person's movement instead of an imaging unit. The position of a light source or the like that is held or worn on an arm or the like may be detected.
  • the movement of the person may be recognized by an arbitrary detection means without being limited to the imaging device 112.
  • hand movement may be detected using a known non-contact operation technique or a known image recognition technique.
  • a capture device such as a camera of the imaging device 112 can capture user image data, the user image data representing data representing the user's gesture (s). Including.
  • a computer environment can be used to recognize and analyze the gestures made by the user in the user's three-dimensional physical space, interpret the user's gestures, and control aspects of the system or application space .
  • This computer environment can display user feedback by mapping the user's gesture (s) to an avatar or the like on the screen (see WO2011 / 084245).
  • Leap Motion Controller manufactured by LEAP MOTION
  • Kinect for Windows registered trademark
  • Windows manufactured by Microsoft
  • control means may be considered as the functional conceptual detection means of the present embodiment, may be considered as the functional conceptual control means (for example, the selection determination unit 102d) of the present embodiment, either or both. It may be.
  • the positional relationship between the detection unit and the display unit and the relationship with the display of the first image (such as a human hand or finger image) will be described.
  • the horizontal and vertical axes of the plane of the display screen are referred to as the X axis and the Y axis
  • the depth direction with respect to the display screen is referred to as the Z axis.
  • the user is located away from the display screen in the Z-axis direction.
  • the detection means may be installed on the display screen side and directed toward the person, may be installed behind the person and directed toward the display screen side, and may be placed under the hand held by the person (ground It may be installed in the direction of the person's hand (ceiling side).
  • the detection unit is limited to the imaging unit that reads an image of a two-dimensional person, and may detect a three-dimensional person. That is, the detection unit reads the three-dimensional shape of the person, and the image display control unit 102c described later displays the first three-dimensional shape on the display device 114 by replacing the three-dimensional shape read by the detection unit with a two-dimensional image. May be. At this time, the image display control unit 102c may replace the two-dimensional image on the XY plane, but strictly, it is not necessary to cut out on the XY plane.
  • the image display control unit 102c when viewing the image of a person's finger in the Z-axis direction from the display screen side, even if two fingers (such as the thumb and forefinger) appear to stick together, they are not three-dimensionally attached. There is a case.
  • the image display control unit 102c since the appearance from the Z-axis direction (how the shadow is formed) and the sense of the finger for the user may be misaligned, the image display control unit 102c strictly It is not limited to projecting onto a plane.
  • the image display control unit 102c may acquire a two-dimensional image by cutting the three-dimensional shape of a person's hand in the direction in which two fingers are separated.
  • the image display control unit 102c projects the image onto the XY plane, but the selection determination unit 102d determines whether the two fingers are attached or separated from the three-dimensional shape read by the detection unit. You may control so that it may correspond with a person's sense.
  • control unit 102 has a control program such as an OS (Operating System), a program that defines various processing procedures, and an internal memory for storing necessary data. Information processing for executing various processes is performed.
  • the control unit 102 includes an element display control unit 102a, a display position change unit 102b, an image display control unit 102c, and a selection determination unit 102d in terms of functional concept.
  • the element display control unit 102a displays the element as a display element on the display device 114 based on the element data stored in the element file 102a (or an element image associated with the element (hereinafter referred to as an element image). , And may be referred to as “points”). That is, the element display control unit 102a displays a second image (selectable element or element image). Note that the element display control unit 102a may initially hide the point and display it in a predetermined case (such as when an image or a display body is superimposed on the display element on the display screen).
  • the element display control part 102a is provided with the display position change part 102b in this embodiment, as shown in FIG.
  • the element data is not limited to being read by controlling the element file 106a, but may be taken in by downloading from the storage unit (element database or the like) of the external system 200 via the network 300. May be obtained by receiving broadcast radio waves or the like via a receiving device that does not.
  • the initial display position of the point associated with the element may be any position, but the center of the displayed element (center of the figure as the element) or the upper right of the element (element as A red dot or the like may be displayed as a point in the upper right corner of the character string.
  • the display position changing unit 102b excludes the second image (selectable display element or element image) so as to be excluded from the first image (image or display body) displayed by the image display control unit 102c. It is a movement control means for changing the display position. For example, when the first image (image or display body) approaches by the control of the image display control unit 102c and the second image (display element, point, etc.) and the contours contact each other, the first image is oriented. The second image is moved while touching the contour of the first image under the control of the display position changing unit 102b unless the distance is changed.
  • the display position changing unit 102b controls the image or display body on the display screen displayed by the image display control unit 102c to move the position of the display element or point exclusively.
  • the display position changing unit 102b may limit the direction or range in which the display element or point moves.
  • the display position changing unit 102b preferentially controls the display element or the point so that the display element or the point is excluded from the image or the display body, and moves the display element or the point toward a predetermined position or direction. May be. That is, the display position changing unit 102b controls the display element or point to be excluded from the image or the display body as the priority condition, and moves the display element or point toward a predetermined position or direction as the subordinate condition. May be.
  • the display position changing unit 102b moves the display element (or point) to return to the original display position before the movement. You may let them.
  • the display position changing unit 102b causes the display element (or point) to be close to the image (or display body) so as to cause the user to feel that gravity is acting on the display element (or point). If not, the screen may be moved downward.
  • the display element or point may be described on behalf of the display element and point, and the image or display body may be described on behalf of the image and display body. It is not limited to one, and is not limited to one of an image and a display body.
  • a portion described as a display element may be read as a point and applied, or a portion described as an image may be read as a display body and applied.
  • a place described as a point may be replaced with a display element and applied, or a portion described as a display body may be replaced with an image and applied.
  • the display position changing unit 102b may move the display element so that the representative points (center point, center of gravity, etc.) of the display element are excluded from the contour of the image.
  • the display position changing unit 102b may move the display element so that the outline of the display element is excluded from the outline of the image.
  • the display element changing unit 102b may move the display element so that the outline of the display element is excluded from the image representative line (center line, etc.) and the image representative point (center of gravity, center point, etc.).
  • the display element and the image are not limited to controlling the exclusion movement in a contact state, and the display element changing unit 102b moves in a non-contact state so that the south poles of the magnets repel each other so that the display element moves away from the image. You may let them.
  • the display element may be moved across the image.
  • the display position changing unit 102b may move the display element so as to pass through the image. More specifically, when movement control is performed between the display element and the original position as if tension is applied, the display element enters between the fingers or between the fingers. If not, when the tension exceeds a predetermined level, the display element may be moved so as to cross the image of the hand and returned to the original position.
  • the display position changing unit 102b does not include the case where the representative point of the display element is located at the contact point or the inflection point of the curve.
  • the area or the like may be controlled to be traversable.
  • the image display control unit 102c displays the image of the person imaged via the imaging device 112 (or a display body linked to the movement of the person) on the screen of the display device 114 as the first image.
  • the image display control unit 102c may display a mirror image on the face as if the screen is a mirror when viewed from the user.
  • the image display control unit 102c may display an image of a person imaged through the imaging device 112 directed toward the person from the display screen of the display device 114 on the display screen by horizontally inverting the image.
  • the imaging device 112 is installed from behind a person toward the display screen of the display device 114, it is not necessary to flip the image horizontally.
  • the image display control unit 102c displays an image like a mirror, so that the user (person) can easily operate his / her image so as to change the position of his / her image displayed on the mirror. Become. That is, the user can control the image on the display screen (or the display body that is linked to the movement of the person) so as to move his / her own shadow, contributing to improved operability.
  • the image display control unit 102c may display only the contour line of the human image, or may display only the contour line of the display body. That is, since the area of the person's image is not filled, the inside of the outline can be made transparent so that the display elements on the inside can be displayed, and the visibility is excellent.
  • the image or display body displayed on the display device 114 may be displayed so as to be reflected in a mirror.
  • the image display control unit 102 c may display an image of a person's arm, hand, or finger captured via the imaging device 112 on the display screen of the display device 112.
  • the image display control unit 102c determines an area such as an arm, a hand, or a finger in the captured image of the person based on an infrared region, a skin color, or the like, and the area such as the arm, the hand, or the finger. It may be cut out and displayed. other than this, The image display control unit 102c may determine a region such as an arm, a hand, or a finger using a known region determination method.
  • the image display control unit 102c may display on the screen a display body (such as a picture of a tool or a polygon) that is linked to the movement of a person's arm, hand, or finger.
  • the image display control unit 102c may display the display body in association with the position of the region such as the arm, hand, or finger determined as described above, or the position of the arm, hand, or finger by another method.
  • a display body may be displayed in association with the position.
  • the image display control unit 102c may detect the position of the light source attached to the arm via the imaging device 114 and display the display body in conjunction with the detected position.
  • the image display control unit 102c may detect the position of the light source that the user has in his hand and display the display body in conjunction with the detected position.
  • the image display control unit 102c determines the type of display body (a tool to be displayed as a display body, which is a type of a picture or polygon imitating tools such as scissors, awl, stapler, hammer, etc.). May be selected using an input unit or a hand image (not shown). Thereby, even when it is difficult to operate using the user's own image, the user can select an easy-to-operate tool and use it for element selection.
  • the selection determination unit 102d is based on the state of the second image (element or point) moved by the display position changing unit 102b of the element display control unit 102a (movement state or action such as mobility or movement position). Thus, it is selection determination means for determining selection of the element. For example, the selection determining unit 102d may determine selection of a display element when the display element (or point) reaches a predetermined position or stays at a predetermined position. As an example, the mobility may be a distance moved or an elapsed time after leaving the original position. For example, the selection determination unit 102d may determine selection of an element when the display element (or point) has moved a predetermined distance.
  • the selection determination unit 102d may determine selection of an element when a display element (or point) moves from the original display position and a predetermined time has elapsed. More specifically, when the display element (or point) is controlled to move back to the original position as a subordinate condition by the display position changing unit 102b, the selection determining unit 102d determines that the display element (or point) is the original. When a predetermined time elapses after moving from the display position, the selection of the element may be determined. When the point is a movement target, the selection determination unit 102d determines selection of an element associated with the point.
  • the selection determination unit 102d closes a hand that the first image has a predetermined action (for example, an open hand).
  • a predetermined action for example, an open hand.
  • the selection of the element may be determined when the two fingers that are in a non-contact state are brought into contact with each other.
  • the selection determination unit 102d may determine whether the palm is open or closed based on the change in the three-dimensional shape of the person's hand read by the detection unit. It may be determined whether or not the two are separated. Then, the selection determining unit 102d may determine to select a selectable element corresponding to the second image interacting with the first image when the predetermined action is determined.
  • the selection decision corresponds to, for example, a click in a mouse operation, a press of an ENTER key in a keyboard operation, a target touch operation in a touch panel operation, or the like.
  • the selection determining unit 102d controls the display to transition to the link destination when the element selection is determined.
  • the selection determination unit 102d uses a known action recognition unit, a known motion recognition function, or the like that is used for recognizing a person's movement read from the above-described Kinect sensor or LeapMotion sensor. Thus, the user's action may be determined.
  • the communication control interface unit 104 performs communication control between the element selection device 100 and the network 300 (or a communication device such as a router) and communication between the element selection device 100 and a receiving device (not shown). It is a device that performs control. That is, the communication control interface unit 104 has a function of communicating data with other terminals or stations via a communication line (whether wired or wireless).
  • the receiving device is a receiving means for receiving radio waves or the like from a broadcasting station or the like, for example, an antenna or the like.
  • the element selection device 100 may be configured to be communicably connected via the network 300 to an external system 200 that provides an external database related to image data, an external program such as the program according to the present invention, and the like.
  • the element selection device 100 may be configured to be connected to a broadcasting station or the like that transmits image data or the like via a receiving device.
  • the element selection device 100 may be communicably connected to the network 300 via a communication device such as a router and a wired or wireless communication line such as a dedicated line.
  • a network 300 has a function of connecting the element selection device 100 and the external system 200 to each other, for example, the Internet.
  • an external system 200 is connected to the element selection device 100 via a network 300, and a website for executing external programs such as an external database and programs related to image data to a user. Has the function to provide.
  • the external system 200 may be configured as a WEB server, an ASP server, or the like, and its hardware configuration is configured by an information processing apparatus such as a commercially available workstation or a personal computer and its attached devices. May be.
  • Each function of the external system 200 is realized by a CPU, a disk device, a memory device, an input device, an output device, a communication control device, and the like in the hardware configuration of the external system 200 and a program for controlling them.
  • FIG. 2 is a flowchart illustrating an example of display information processing of the element selection device 100 according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of an appearance of the display device 114 including a display screen displayed under the control of the element display control unit 102a.
  • the element selection device 100 includes a display device 114 having a display screen of a region indicated by a rectangle.
  • the element display control unit 102 a associates a black circle point on the upper left of a linkable character string in association with an element that can be linked on the display screen. It is displayed.
  • the point P1 is associated with the URL1 link (www.aaa.bbb.ccc /), and the point P2 is associated with the URL2 link (www.ddd.eeee.fff /).
  • the point P3 is associated with the URL3 link (www.ggg.hhh.iii /).
  • the image display control unit 102c displays the image of the person imaged through the imaging device 112 on the screen of the display device 114 (step SA-1).
  • the image display control unit 102c may display an image on the display screen of the display device 114 so that the user's own image is reflected in the mirror as viewed from the user.
  • FIG. 4 is a diagram showing an example of a display screen on which the user image is superimposed and displayed on the initial screen of FIG.
  • the image display control unit 102 c may display only the image of the arm, hand, or finger on the display screen of the display device 112 from the image of the person imaged via the imaging device 112.
  • the image display control unit 102c discriminates an area such as an arm, a hand, or a finger in a captured person image by a known area determination method such as an infrared area or a skin color, and the arm or hand. Only a region such as a finger or a finger may be cut out and displayed.
  • the image display control unit 102c may display only the outline of the person's image and make the inside of the outline of the image transparent. As a result, the area of the person's image is not filled and the display elements inside the contour are displayed, which contributes to improvement in operability and visibility.
  • FIG. 5 is a display screen example showing an example of the point P2 whose display position has been moved by the display position changing unit 102b.
  • the broken-line circle represents the original display position of the point P2
  • the broken-line line represents the distance d between the original display position and the moved display position. The broken line may not be displayed on the display screen.
  • the display position changing unit 102b may move the point so as to be excluded from the contour of the image so that the point moves exclusively from the image.
  • the illustrated example is an example in which movement control is performed so that the outline of the point is excluded from the outline of the image.
  • the display element changing unit 102b is not limited to this, and the display element changing unit 102b has a representative line ( The movement may be controlled so as to be excluded from the center line or the like, or the display element may be moved away from the image in a non-contact state.
  • the display position changing unit 102b preferentially moves the display element or point so that the display element or point is excluded from the image or the display body, and moves the display element or point toward a predetermined position or direction. May be. For example, when the point is not in contact with the image, the display position changing unit 102b may move the point so as to return to the original display position before the movement.
  • the selection determining unit 102d determines the selection of the element corresponding to the point based on the mobility of the point moved by the display position changing unit 102b of the element display control unit 102a (step SA- 3). For example, the selection determination unit 102d determines that a certain amount of time has elapsed after the point P2 reaches a predetermined position, when the movement distance d from the original position is greater than or equal to a predetermined threshold, or after the movement starts from the original position. When the predetermined mobility is reached (eg, when the mobility is equal to or higher than a predetermined threshold) as in the case of elapse, the selection of the element corresponding to the point P2 (URL2 link display selection) is determined. May be.
  • the element selecting device 100 returns the process to step SA-1 and performs control so that the above-described process is repeated. That is, the image display control unit 102c updates the image display (step SA-1), and the display position change unit 102b subsequently controls the display position movement (step SA-2). The selection determination unit 102d again. Determines the mobility (step SA-3).
  • the selection determination unit 102d determines that the predetermined mobility has been reached (step SA-3, Yes), the selection determination unit 102d determines the selection of the element corresponding to the point (step SA-4), and the control unit of the element selection device 100 102 executes a selection process. For example, in the example of FIG. 2d determines the selection of the element (link of URL2) associated with the point P2 when the distance d between the original position of the point P2 and the moved display position is equal to or greater than a predetermined threshold.
  • the selection device 100 may perform URL2 link display.
  • FIG. 6 is a diagram illustrating an example of a display screen on which display elements E1 and E2 and a display body imitating a hand of a captain hook are displayed.
  • the image display control unit 102 c may display the display body on the display screen of the display device 112 so as to be interlocked with the movement of the person's arm detected through the imaging device 112. Then, the display position changing unit 102b of the element display control unit 102a may move the display elements E1 and E2 so as to be excluded from the outline of the display body. In this example, the display position changing unit 102b limits the direction and range in which the display element or point moves.
  • FIG. 7 is a diagram showing an example of a transition screen from the display screen of FIG.
  • the image display control unit 102c moves the display body in conjunction with the movement of the arm moved by the user, and the display position changing unit 102b responds accordingly by changing the display element E5 to the contour of the display body.
  • the movement may be controlled so as to be excluded.
  • the selection determining unit 102d may determine the selection of the display element E2.
  • the control unit 102 of the element selection device 100 turns the television channel by one in the + direction (that is, broadcasts of the channel number obtained by incrementing the channel number by one). To display. For example, when channel 1 is being displayed, channel 2 is displayed.
  • the present invention is not limited to this, and even if the display element is not displayed in advance, the display element is displayed as the image is displayed. May be displayed.
  • the channel selection screen is displayed, the display elements for selecting each channel appear, and the channel is selected by dragging it with the hand image to an arbitrary point. May be possible.
  • the hand is detected and the tip of the hand is detected or the C / O is detected as in the past (Emotional Technical Report VIS2001-103, Vol. 25, No. 85). , Pp. 47-52 (2001)), instead of using the hand as a pointing device (position point input means), an interface in which display elements are converted into pointers so that they can be operated with the hand itself is provided.
  • a technique for making the fingertip of the hand the coordinate position of the cursor and associating it with a click when the thumb is bent but in such a case, when calculating the coordinate position or bending the thumb, Since the position of the fingertip is shifted, this embodiment can solve the conventional problems.
  • the number of operation points is one, but two points may be used instead of one.
  • the element selection apparatus 100 responds to a request from a client terminal (which is a separate casing from the element selection apparatus 100). Processing may be performed, and the processing result may be returned to the client terminal.
  • all or part of the processes described as being automatically performed can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method.
  • each illustrated component is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • each device of the element selection device 100 in particular, the processing functions performed by the control unit 102, all or any part thereof are interpreted and executed by a CPU (Central Processing Unit) and the CPU. It may be realized by a program to be executed, or may be realized as hardware by wired logic.
  • the program is recorded on a non-transitory computer-readable recording medium including a programmed instruction for causing a computer to execute the method according to the present invention, which will be described later. Can be read. That is, in the storage unit 106 such as a ROM or an HDD (Hard Disk Drive), a computer program for giving instructions to the CPU in cooperation with an OS (Operating System) and performing various processes is recorded. This computer program is executed by being loaded into the RAM, and constitutes a control unit in cooperation with the CPU.
  • OS Operating System
  • this computer program may be stored in an application program server connected to 100 via an arbitrary 300, and may be downloaded in whole or in part as necessary.
  • the program according to the present invention may be stored in a computer-readable recording medium, or may be configured as a program product.
  • the “recording medium” means a memory card, USB memory, SD card, flexible disk, magneto-optical disk, ROM, EPROM, EEPROM, CD-ROM, MO, DVD, and Blu-ray Disc (registered trademark). ) And any other “portable physical medium”.
  • program is a data processing method described in an arbitrary language or description method, and may be in any form such as source code or binary code.
  • program is not necessarily limited to a single configuration, but is distributed in the form of a plurality of modules and libraries, or in cooperation with a separate program typified by an OS (Operating System). Including those that achieve the function.
  • OS Operating System
  • a well-known configuration and procedure can be used for a specific configuration for reading a recording medium, a reading procedure, an installation procedure after reading, and the like in each device described in the embodiment.
  • the present invention may be configured as a program product in which a program is recorded on a computer-readable recording medium that is not temporary.
  • Various databases and the like (element file 106a) stored in the storage unit 106 are storage means such as a memory device such as RAM and ROM, a fixed disk device such as a hard disk, a flexible disk, and an optical disk. Stores various programs, tables, databases, web page files, etc. used for providing sites.
  • the element selection device 100 may be configured as an information processing device such as a known personal computer or workstation, or may be configured by connecting an arbitrary peripheral device to the information processing device.
  • the element selection apparatus 100 may be realized by installing software (including programs, data, and the like) that causes the information processing apparatus to implement the method of the present invention.
  • the specific form of distribution / integration of the devices is not limited to that shown in the figure, and all or a part of them may be functional or physical in arbitrary units according to various additions or according to functional loads. Can be distributed and integrated. That is, the above-described embodiments may be arbitrarily combined and may be selectively implemented.
  • An element selection device including at least a display unit, an imaging unit, and a control unit,
  • the controller is Element display control means for displaying selectable elements on the screen of the display unit, or element images associated with the elements;
  • An image display control means for displaying an image of a person imaged through the imaging unit or a display body linked to the movement of the person on the screen;
  • the element display control means includes Movement control means for moving the element or the element image so as to be excluded from the image or the display body displayed by the image display control means;
  • Selection determination means for determining selection of the element based on the mobility or the movement position of the element or the element image moved by the movement control means;
  • An element selection device further comprising:
  • Claim 1 In an element selection device including at least a display unit, an imaging unit, and a control unit,
  • the controller is A hand area display control means for capturing an image of a user by an imaging means and displaying the user area which is at least a user's hand or finger area on the display means;
  • Display element moving means for moving and displaying selectable display elements so as to be excluded from the user area displayed by the hand area display control means;
  • Selection determining means for determining selection of the display element based on the mobility of the display element moved by the display element moving means;
  • An element selection device comprising:
  • the display element moving means includes An element selection device, wherein the movement of the display element is controlled as if the display element has a force to return to the original position.
  • the display element moving means includes An element selection device that controls movement of the display element as if gravity acts on the display element in a downward direction on the screen.
  • the display element moving means includes An element selection device that controls movement of the display element as if an attractive force is acting between the user area and the display element.
  • the mobility is the distance that the display element is moved
  • the selection determining means includes When the display element moves a distance greater than or equal to a predetermined threshold, the selection of the display element is determined.
  • the mobility is a time during which the movement of the display element is continued
  • the selection determining means includes An element selection device that determines selection of a display element when a time equal to or greater than a predetermined threshold has elapsed since the display element started moving.
  • the display element moving means includes The element selection device, wherein the display element is moved and displayed so that the representative point of the display element is excluded from the user area.
  • the display element moving means includes Control the movement of the display element as if the tension according to the mobility is working between the original position of the representative point of the display element and the moved position, When the representative point of the display element falls into a local minimum of the contour of the user area, the user area is controlled to be traversable except when located at the contact point of a curve. Element selection device.
  • Claim 9 A program for causing an information processing apparatus including at least a display unit, an imaging unit, and a control unit to execute the program,
  • a selection determining step for determining selection of the display element based on the mobility of the display element moved in the display element moving step;
  • Claim 10 An element selection method executed in a computer including at least a display unit, an imaging unit, and a control unit, Executed in the control unit, An element display control step of displaying a selectable element on the screen of the display unit, or an element image associated with the element; An image display control step of displaying on the screen an image of a person imaged through the imaging unit or a display body linked to the movement of the person; A movement control step of moving the element or the element image so as to be excluded from the image or the display body displayed in the image display control step; A selection determination step for determining selection of the element based on the mobility or the movement position of the element or the element image moved in the movement control step;
  • the element selection method characterized by including.
  • Claim 11 A program for causing a computer including at least a display unit, an imaging unit, and a control unit to execute the program, In the control unit, An element display control step of displaying a selectable element on the screen of the display unit, or an element image associated with the element; An image display control step of displaying on the screen an image of a person imaged through the imaging unit or a display body linked to the movement of the person; A movement control step of moving the element or the element image so as to be excluded from the image or the display body displayed in the image display control step; A selection determination step for determining selection of the element based on the mobility or the movement position of the element or the element image moved in the movement control step; A program that executes
  • the operability when selecting an element on the display in a non-contact state, the operability can be improved, an element selection device, an element selection method, and a program,
  • a recording medium can be provided.

Abstract

　表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させ、検出部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させ、表示された前記像または前記表示体から排除されるように、前記要素または前記要素画像を移動させ、移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を決定することを特徴とする。

Description

要素選択装置、要素選択方法、および、プログラム
　本発明は、要素選択装置、要素選択方法、および、プログラムに関する。
　従来、非接触状態で機器を操作する場合に、リモートコントローラを用いずに、手または指によって表示画面上の要素を選択する方法が開発されている。
　例えば、特許文献１に記載の入力装置では、機器に接触することなく手または指の動作により情報入力を行うために、ディスプレイに対して指し示された入力者の手または指を撮像し、撮像された像に基づいて、ディスプレイに対して手または指が指し示す方向を算出し、算出された方向に対応するディスプレイ上の位置をカーソルによりディスプレイ上に表示し、手または指のクリック動作が検出された場合に、カーソルが位置する部分の情報を入力者が指示した情報として選択することが開示されている。
特開平５－３２４１８１号公報
　しかしながら、従来の入力装置では、手や指が指し示す方向の演算やクリック動作の判定のために複雑な操作が必要であり、利用者が位置決めを行ってから、決定のためにクリック動作等の決定操作を行おうとする場合に、位置がずれるため誤操作が生じやすい等の種々の問題点を有していた。
　本発明は、上記に鑑みてなされたもので、非接触状態で表示上の要素を選択する場合に、操作性を向上させることができる、要素選択装置、要素選択方法、および、プログラムを提供することを目的とする。
　このような目的を達成するため、本発明の要素選択装置は、手または指の動きを認識する手段と、認識された手または指の動きに連動する第１の画像を表示させる手段と、選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像が第２の画像と接触した場合に相互作用させて、第２の画像が第１の画像から逃れるように移動制御する手段と、第１の画像と第２の画像の相互作用関係が所定の状態になった場合に、当該第２の画像に対応する選択可能な要素の選択を決定する手段と、を備えたことを特徴とする。
　また、本発明の要素選択装置は、少なくとも表示部と検出部と制御部を備えた要素選択装置であって、前記制御部は、前記検出部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御手段と、前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させ、前記像表示制御手段により表示された前記像または前記表示体から排除されるように、当該要素または当該要素画像を移動させる要素表示制御手段と、前記要素表示制御手段により移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を判定する選択判定手段、を備えたことを特徴とする。
　また、本発明の要素選択装置は、上記要素選択装置において、前記要素表示制御手段は
、前記像または前記表示体から排除されるように移動させる制御を優先的に行うとともに、前記要素または前記要素画像を、所定の位置または方向に向かって移動させること、を特徴とする。
　また、本発明の要素選択装置は、上記要素選択装置おいて、前記像表示制御手段は、前記検出部を介して撮像した人物の腕、手もしくは指の像、または、当該人物の腕、手もしくは指の動きに連動する表示体を、画面上に表示させること、を特徴とする。
　また、本発明の要素選択装置は、上記要素選択装置において、前記要素表示制御手段は、前記像または前記表示体の、輪郭または中心線から排除されるように、前記要素または前記要素画像を移動させること、を特徴とする。
　また、本発明の要素選択装置は、上記要素選択装置において、前記移動度は、移動した距離、または、元の位置を離れてからの経過時間であること、を特徴とする。
　また、本発明の要素選択方法は、手または指の動きを認識するステップと、認識された手または指の動きに連動する第１の画像を表示させるステップと、選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像が第２の画像と接触した場合に相互作用させて、第２の画像が第１の画像から逃れるように移動制御するステップと、第１の画像と第２の画像の相互作用関係が所定の状態になった場合に、当該第２の画像に対応する選択可能な要素の選択を決定するステップと、を含むことを特徴とする。
　また、本発明の要素選択方法は、少なくとも表示部と検出部と制御部を備えたコンピュータに実行される要素選択方法であって、前記制御部において実行される、前記検出部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を、表示させ、前記像表示制御ステップにて表示された前記像または前記表示体から排除されるように、当該要素または当該要素画像を移動させる要素表示制御ステップと、前記要素表示制御ステップにて移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を判定する選択判定ステップと、を含むことを特徴とする。
　また、本発明のプログラムは、手または指の動きを認識するステップと、認識された手または指の動きに連動する第１の画像を表示させるステップと、選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像が第２の画像と接触した場合に相互作用させて、第２の画像が第１の画像から逃れるように移動制御するステップと、第１の画像と第２の画像の相互作用関係が所定の状態になった場合に、当該第２の画像に対応する選択可能な要素の選択を決定するステップと、をコンピュータに実行させることを特徴とする。
　また、本発明のプログラムは、少なくとも表示部と検出部と制御部を備えたコンピュータに実行させるためのプログラムであって、前記制御部において実行される、前記検出部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を、表示させ、前記像表示制御ステップにて表示された前記像または前記表示体から排除されるように、当該要素または当該要素画像を移動させる要素表示制御ステップと、前記要素表示制御ステップにて移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を判定する選択判定ステップと、を実行させることを特徴とする。
　また、本発明のコンピュータ読み取り可能な記録媒体は、上記のプログラムをコンピュータに読み取り可能に記録したことを特徴とする。
　この発明によれば、非接触状態で表示上の要素を選択する場合に、操作性を向上させることができる、要素選択装置、要素選択方法、および、プログラム、ならびに、記録媒体を提供することができる。
図１は、本実施の形態が適用される要素選択装置１００の構成の一例を示すブロック図である。 図２は、本実施の形態における要素選択装置１００の表示情報処理の一例を示すフローチャートである。 図３は、要素表示制御部１０２ａの制御による表示された表示画面を含む表示装置１１４の外観の一例を示す図である。 図４は、図３の初期画面において、利用者の像が重畳表示されて表示画面の一例を示す図である。 図５は、表示位置変更部１０２ｂにより表示位置が移動されたポインタＰ２の一例を示す表示画面例である。 図６は、表示要素Ｅ１およびＥ２と、キャプテンフックの手を模した表示体とが表示された表示画面の一例を示す図である。 図７は、図６の表示画面からの遷移画面例を示す図である。
　以下に、本発明の本実施の形態にかかる要素選択装置、要素選択方法、および、プログラム、並びに、記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
［本実施の形態の概要］
　以下、本発明にかかる本実施の形態の概要について説明し、その後、本実施の形態の構成および処理等について詳細に説明する。なお、本概要の説明によって、以降で説明する本実施の形態の構成および処理が限定されるものではない。
　現在、スマートテレビ等に関する開発が進んでいる。例えば、特許文献１に記載の入力装置では、リモートコントローラを用いずに、ディスプレイに対して指し示された入力者の手または指を撮像し、ディスプレイに対して手または指が指し示す方向から、対応するディスプレイ上の位置をカーソルによりディスプレイ上に表示し、手または指のクリック動作が検出された場合に、カーソルが位置する部分の情報を入力者が指示した情報として選択することが開示されている。
　ここで、リモートコントローラを用いずに、従来（特許文献１等）のように画面上の要素を選択する場合には、マウスやタッチパッドを用いる方法とは次の点で決定的に性質が異なる。
　すなわち、従来、画面上に実現したグラフィックユーザインタフェース（ＧＵＩ）を用いてマウスやタッチパッドで操作する場合には、（１）まず、利用者は、画面上の要素にカーソルを合わせる位置決めを行い、（２）つづいて、位置の確認後にクリック等の決定操作を行って、画面上の要素を選択している。
　マウスやタッチパッド等で操作する場合には、動摩擦力や静止摩擦力がはたらくので、
（１）の位置決めを行ってから（２）の決定操作を行うまでに、位置がずれて誤操作を行うことが少ない。
　この（１）および（２）の操作手法を、そのままリモートコントローラレステレビ等に応用したとすると、特許文献１に記載のように、（１）利用者は、空中に浮かせた指や手で画面上のカーソルを動かす位置決め操作を行い、（２）所定のアクションで指や手を動かすことで決定操作を行わなければならない。
　空中に浮かせた指や手は摩擦がはたらかないので、（１）の位置決め操作から（２）の決定操作までの間に浮遊して位置がずれるため誤操作を招きやすく、特に、（２）の決定操作のためのアクションを行おうとする場合に位置がずれる可能性が高いという問題点が考えられる。
　そのため、本願の発明者は上記に鑑みて、鋭意検討を行った結果、本発明を完成させるに至った。本発明の実施の形態は、次の特徴を有する。
　すなわち、本実施の形態は、表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させる。要素画像は、一例として、選択可能な要素を代表する、代表点であるポイント等として表示してもよい。
　そして、本実施の形態は、検出部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させて、表示された前記像または前記表示体から前記要素または前記要素画像が排除されるように当該要素または当該要素画像を移動させる。
　そして、本実施の形態は、前記要素または前記要素画像が所定の状態（例えば、所定の移動状態（所定の移動度，所定の移動位置など）になった場合に、当該要素の選択を決定する。ここで、本実施の形態は、移動状態に基づいて要素の選択を判定することに限られず、アクションに基づいて要素の選択を判定してもよい。一例として、本実施の形態は、開かれた手が閉じられた場合などのように所定のアクションがあった場合に、所定の状態になったと判定して、要素の選択を決定してもよい。
　これにより、本実施の形態は、従来の（１）のマウスポインタやカーソル等による位置決めを行わずに、（１）と（２）と同様の要素の選択と決定を行うことができる。すなわち、利用者は、画面上に映し出した自己の像または表示体をつかって、画像上の要素または要素画像を、感覚的に、つかむ／把持する／ひっかける／押す／つまむ／当てる等の操作を行うことで、（１）と同様に要素を選択したことを確認することができる。そして、利用者は、確認後、感覚的に、つかんで引っ張る／把持したまま一定時間おく／ひっかけて引き下げる／押し上げる／つまんで引く／当てて飛ばす等の操作を行うことで状態（移動度や移動位置など）を制御し、（２）と同様に要素の選択を決定することができる。ここで、移動状態によらずアクションにより要素の選択を決定させる場合は、利用者は、確認後、感覚的に、つかんで握りつぶす／把持したまま握る／ひっかけてから加速度をつけて手を払う／押し上げて投げる／つまんでから二本の指をくっつける／当てて弾く等のアクション操作を行うことで状態を制御し、（２）と同様に要素の選択を決定することができる。
　したがって、従来のように浮遊した手や指等の動きで操作することに伴う位置決めの不確実性を抑制することができ、大幅な操作性の向上に寄与する。
　以上で、本発明の本実施の形態の概要の説明を終える。
［要素選択装置１００の構成］
　まず、本実施の形態にかかるコンピュータの一例である要素選択装置１００の構成について説明する。図１は、本実施の形態が適用される要素選択装置１００の構成の一例を示すブロック図であり、該構成のうち本実施の形態に関係する部分のみを概念的に示している。
　図１において要素選択装置１００は、概略的に、要素選択装置１００の全体を統括的に制御するＣＰＵ等の制御部１０２、通信回線等に接続されるルータ等の通信装置（図示せず）に接続される通信制御インターフェース部１０４、撮像装置１１２や表示装置１１４等に接続される入出力制御インターフェース部１０８、および、各種のデータベースやテーブルなどを格納する記憶部１０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。
　記憶部１０６に格納される各種のデータベースやテーブル（要素ファイル１０６ａ等）は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。
　これら記憶部１０６の各構成要素のうち、要素ファイル１０６ａは、表示画面の表示要素として表示可能なデータを記憶する要素データ記憶手段である。例えば、要素ファイル１０６ａは、アイコンや文字、記号、図形、立体オブジェクトなどのオブジェクトとなるデータを記憶してもよい。また、要素ファイル１０６ａは、クリック等の選択操作が行われた場合に、所定の動作（リンク先を表示、メニュー表示、電源オン／オフ、チャンネル切り替え、ミュート、録画予約等）が行われるようにプログラム等に関連付けられてもよい。なお、これら表示要素となるデータのデータ形式は、画像データや、文字データ等に限られず、任意のデータ形式であってもよい。また、後述する制御部１０２の処理により、移動（回転や拡大・縮小を含む。）された結果は、要素ファイル１０６ａに反映されてもよい。例えば、要素ファイル１０６ａのオブジェクトＡ（または、その要素画像）が、表示制御によって、所定の移動状態に移動された場合、要素ファイル１０６ａは、制御部１０２の制御により、オブジェクトＡの関連データを０（例えば機能オフモード）から１（例えば機能オンモード）に変更させて保存する。一例として、要素ファイル１０６ａは、ｈｔｍｌ言語等のウェブページを表示させるためのデータを記憶してもよく、このデータのうち、選択可能な要素とは、例えば、ウェブページにおけるリンク表示部分である。通常、ｈｔｍｌ言語のデータ上では、開始タグと終了タグの間にはさまれたテキスト部分や画像部分等であって、この部分は、表示画面上において選択可能（クリック可能）な領域として強調表示（例えば下線付与）される。本実施の形態の一例では、通常のＧＵＩにおいて選択可能な領域の代わりに、一つずつ要素画像（ポイント等）が割り当てられる。例えば、通常のＧＵＩにおいて選択可能な領域が、表示画面上の矩形で、左下座標（Ｘ１，Ｙ１）～右上座標（Ｘ２，Ｙ２）の領域である場合に、後述する要素表示制御部１０２ａは、ポイントの初期位置を、当該矩形領域の中心点（（Ｘ１＋Ｘ２）／２，（Ｙ１＋Ｙ２）／２）に設定してもよく、当該矩形領域の右上の点（Ｘ２，Ｙ２）に設定してもよい。
　また、図１において、入出力制御インターフェース部１０８は、撮像装置１１２や表示装置１１４の制御を行う。例えば、表示装置１１４は、液晶パネルや有機ＥＬパネル等の表示手段である。ここで、要素選択装置１００は、図示しないスピーカ等の音声出力手段を備えてもよく、入出力制御インターフェース部１０８は、当該音声出力手段の制御を行ってもよい。以下の実施の形態においては、表示装置１１４をモニタ（家庭用テレビ等を含む）として説明する場合があるが、本発明はこれに限定されるものではない。
　また、撮像装置１１２は、カメラ等の撮像手段である。例えば、撮像装置１１２は、ＣＭＯＳセンサやＣＣＤセンサ等の検出手段であってもよい。なお、撮像装置１１２は、所定の周波数の光（赤外線）を検出する光検出手段であってもよい。撮像装置１１２として赤外線カメラを用いると、画像において人物の領域（発熱領域）が判定しやすくなり、人物の温度分布等によって例えば手の領域のみを判定することも可能になる。このほか、撮像装置１１２としては、超音波や電磁波式の距離測定器（奥行きの検出手段等）や、近接センサ等を用いることができ、例えば、奥行きの検出手段と撮像手段とを組み合わせて、所定の距離（奥行き）にいる物体の画像（例えば人物の像）のみを判定してもよい。また、撮像装置１１２としては、ｋｉｎｅｃｔ（商標）等の公知のセンサや領域判定技術や制御手段を用いてもよい。また、撮像装置１１２は、人物の生体情報（肌の色や、熱、赤外線等）を読み取ることに限られず、撮像手段の代わりに人物の動きを検出する位置検出手段として、利用者が手に持ったり腕等に装着したりした光源等の位置を検出してもよい。
　撮像装置１１２に限られず、任意の検出手段によって、人物の動き、特に、人物の手の動きや、人物の指の動きを認識してもよい。その際、公知の非接触操作技術や、公知の画像認識技術を用いて手の動きを検出してもよい。例えば、かざした手の上下左右の動きやジェスチャーを認識してもよい。ジェスチャーは、物理空間における利用者の位置および動きから得ることができ、指を動かす、または静止姿勢というような、動的または静的な、任意の利用者の動きを含むことができる。一実施形態例によれば、撮像装置１１２のカメラのようなキャプチャー・デバイスが、ユーザー画像データを取り込むことができ、このユーザー画像データは、利用者のジェスチャー（１つまたは複数）を表すデータを含む。利用者の三次元物理空間において利用者によって行われたジェスチャーを認識および分析して、利用者のジェスチャーを解釈してシステムまたはアプリケーション空間の態様を制御するために、コンピューター環境を使用することができる。このコンピューター環境は、利用者のジェスチャー（１つまたは複数）を画面上のアバター等にマッピングすることによって、ユーザー・フィードバックを表示することができる（ＷＯ２０１１／０８４２４５参照）。一例として、手や指の動きを認識する公知の手段として、リープ・モーション・コントローラ（ＬＥＡＰ　ＭＯＴＩＯＮ社製）や、遠隔操作可能な手段として、Ｋｉｎｅｃｔ　ｆｏｒ　Ｗｉｎｄｏｗｓ（登録商標）（マイクロソフト社製）とＷｉｎｄｏｗｓ（登録商標）　ＯＳの組合せを用いてもよい。なお、マイクロソフト社製Ｘｂｏｘ　ＯｎｅのＫｉｎｅｃｔセンサによれば、手や指のスケルトン情報を得ることができ、また、ＬｅａｐＭｏｔｉｏｎセンサを用いれば、指の一本一本の動きを追跡することができる。その際、各センサに内臓された制御手段を用いて、手や指の動きが解析されるか、接続されたコンピュータの制御でゅ段を用いて、手や指の動きが解析されるが、これら制御手段は、本実施の形態の機能概念的な検出手段と考えてもよく、本実施の形態の機能概念的な制御手段（例えば選択判定部１０２ｄ）と考えてもよく、いずれか又は両方であってもよい。
　ここで、検出手段と表示手段の位置関係や第１の画像（人物の手や指の像など）の表示との関係について説明する。説明のため、表示画面の平面の横軸と縦軸をＸ軸Ｙ軸とし、表示画面に対する奥行き方向をＺ軸と呼ぶことにする。通常、利用者は、表示画面に対して、Ｚ軸の方向に離れて位置している。検出手段は、表示画面側に設置して、人物の方向に向けられてもよく、人物の背後に設置して表示画面側に向けられてもよく、また、人物がかざす手の下側（地面側）に設置して人物の手の方向（天井側）に向けてられてもよい。上述のように、検出手段は、２次元の人物の像を読み取る撮像手段に限られす、３次元の人物を検出してもよい。すなわち、検出手段は、人物の３次元形状を読み取り、後述する像表示制御部１０２ｃは、検出手段により読み取られた３次元形状を、２次元画像に置き換えて第１の画像として表示装置１１４に表示してもよい。その際、像表示制御部１０２ｃは、ＸＹ平面の２次元画像に置き換えてもよいが、厳密に、このＸＹ平面で切り出さなくともよい。例えば、表示画面側からＺ軸方向に人物の指の像を見た場合には、二本の
指（親指と人差し指など）がくっついているように見える場合でも、３次元的にはくっついていない場合がある。このように、Ｚ軸方向からの見え方（影のでき方）と、利用者にとっての指の感覚とは、ズレが生じている場合があるので、厳密に、像表示制御部１０２ｃは、ＸＹ平面に投影することに限られない。例えば、像表示制御部１０２ｃは、人物の手の三次元形状を、二本の指の離間方向に切断して２次元画像を取得してもよい。あるいは、像表示制御部１０２ｃは、ＸＹ平面に投影するものの、選択判定部１０２ｄは、検出手段により読み取られた三次元形状から、二本の指がくっついているか離れているかを判定して、利用者の感覚と一致するように制御してもよい。
　また、図１において、制御部１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部１０２は、機能概念的に、要素表示制御部１０２ａ、表示位置変更部１０２ｂ、像表示制御部１０２ｃ、および、選択判定部１０２ｄを備えて構成されている。
　このうち、要素表示制御部１０２ａは、要素ファイル１０２ａに記憶された要素データに基づいて、要素が表示要素として表示装置１１４に表示されるように（あるいは、当該要素に対応付けた要素画像（以下、「ポイント」と呼ぶ場合がある。）が表示されるように）制御する要素表示制御手段である。すなわち、要素表示制御部１０２ａは、第２の画像（選択可能な要素または要素画像）を表示する。なお、要素表示制御部１０２ａは、当初、ポイントを非表示としておき、所定の場合（表示画面上で、像または表示体が表示要素上に重畳した場合等）に表示してもよい。ここで、要素表示制御部１０２ａは、図１に示すように、本実施形態において、表示位置変更部１０２ｂを備える。なお、要素データは、要素ファイル１０６ａを制御することにより読み込むことに限られず、ネットワーク３００を介して、外部システム２００の記憶部（要素データベース等）からダウンロードすることにより取り入れてもよく、また、図示しない受信装置を介して、放送電波等を受信することにより取得してもよい。なお、要素に対応付けたポイントの初期表示位置は任意の位置でよいが、要素との対応関係が分かるように表示した要素の中心（要素としての図形の中心）や要素の右上（要素としての文字列の右上隅）等に、赤点等をポイントとして表示させてもよい。
　また、表示位置変更部１０２ｂは、像表示制御部１０２ｃにより表示される第１の画像（像または表示体）から排除されるように、第２の画像（選択可能な表示要素または要素画像）の表示位置を変更させる移動制御手段である。例えば、像表示制御部１０２ｃの制御により、第１の画像（像または表示体）が近づいてきて、第２の画像（表示要素やポイント等）と輪郭同士が接触すると、第１の画像が向きを変えて遠ざからない限り、表示位置変更部１０２ｂの制御により、第２の画像は第１の画像の輪郭に接しながらつられて移動する。本実施の形態の一例として表示位置変更部１０２ｂは、像表示制御部１０２ｃにより表示された表示画面上の像または表示体が、表示要素またはポイントの位置を排他的に移動させるように制御する。なお、表示位置変更部１０２ｂは、表示要素またはポイントが移動する方向や範囲等を限定してもよい。また、表示位置変更部１０２ｂは、像または表示体から表示要素またはポイントが排除されるように移動させる制御を優先的に行うとともに、表示要素またはポイントを、所定の位置または方向に向かって移動させてもよい。すなわち、表示位置変更部１０２ｂは、優先条件として、像または表示体から表示要素またはポイントを排除するように制御し、劣後条件として、表示要素またはポイントを、所定の位置または方向に向かって移動させてもよい。例えば、表示位置変更部１０２ｂは、表示要素（またはポイント）が像（または表示体）に接触していない場合、当該表示要素（またはポイント）を、移動前の元の表示位置に戻るように移動させてもよい。他の例として、表示要素（またはポイント）に重力がはたらいているような感覚を利用者に引
き起こすように、表示位置変更部１０２ｂは、表示要素（またはポイント）が像（または表示体）に近接していない場合、画面下方向に移動させてもよい。ここで、以下の説明の便宜上、表示要素およびポイントを代表して表示要素またはポイントについて説明し、像および表示体を代表して像または表示体について説明する場合があるが、表示要素およびポイントの一方に限定されるものではなく、また、像および表示体の一方に限定されるものではない。例えば、表示要素と記載されている箇所をポイントと読み替えて適用してもよく、像と記載されている箇所を表示体と読み替えて適用してもよいものである。反対に、ポイントと記載されている箇所を表示要素と読み替えて適用してもよく、表示体と記載されている箇所を像と読み替えて適用してもよいものである。
　ここで、表示要素が像から排他的に運動する態様としては種々の形態がある。例えば、表示位置変更部１０２ｂは、表示要素の代表点（中心点、重心等）が、像の輪郭から排除されるように移動させてもよい。また、表示位置変更部１０２ｂは、表示要素の輪郭が、像の輪郭から排除されるように移動させてもよい。また、表示要素変更部１０２ｂは、表示要素の輪郭が、像の代表線（中心線等）や像の代表点（重心、中心点等）から排除されるように移動させてもよい。表示要素と像が接触状態において排除運動を制御することに限られず、磁石のＳ極同士が反発するように非接触状態で、表示要素変更部１０２ｂは、表示要素が、像から遠ざかるように移動させてもよい。
　また、表示要素が像から排他的に運動する例外として、表示要素が像を横断するように移動させてもよい。例えば、表示位置変更部１０２ｂは、表示要素の代表点が、像の輪郭の変曲点付近にない場合は、像を横断して通り抜けるように移動させてもよい。より具体的には、表示要素と元の位置との間には、張力がはたらいているかのような移動制御を行っている場合において、表示要素が指と指の間や指の股に入り込んでいない場合は、所定以上の張力となると、手の像を横断するように表示要素を移動させて、元の位置に戻してもよい。また、表示位置変更部１０２ｂは、表示要素の代表点が、像の輪郭線のローカルミニマムに陥った場合には、曲線の接点や変曲点に位置する場合を除いて、当該像（手の領域等）を横断可能に制御してもよい。
　また、像表示制御部１０２ｃは、撮像装置１１２を介して撮像した人物の像（または、当該人物の動きに連動する表示体）を、第１の画像として、表示装置１１４の画面上に表示させる像表示制御手段である。ここで、像表示制御部１０２ｃは、利用者からみて画面が鏡であるかのように、鏡像を顔面上に表示してもよい。例えば、像表示制御部１０２ｃは、表示装置１１４の表示画面から人物に向けた撮像装置１１２を介して撮像した人物の像を、左右反転させて表示画面に表示させてもよい。なお、撮像装置１１２が人物の後ろから表示装置１１４の表示画面に向けて設置している場合は、像を左右反転させる必要はない。このように、像表示制御部１０２ｃが鏡のように像を表示させることによって、利用者（人物）は、鏡に映し出された自分の像の位置を変えるように、自己の像を操作しやすくなる。すなわち、利用者は、自己の影絵を動かすように、表示画面上の像（または人物の動きに連動する表示体）を制御することができ、操作性向上に寄与する。なお、像表示制御部１０２ｃは、人物の像の輪郭線のみを表示させてもよく、表示体の輪郭線のみを表示させてもよい。すなわち、人物の像の領域を塗りつぶさないので、輪郭の内側を透明にして、内側の表示要素をも表示させることができ、視認性に優れるという効果を奏する。このように、表示装置１１４に表示される像または表示体は、鏡に映るように表示されてもよい。
　ここで、像表示制御部１０２ｃは、撮像装置１１２を介して撮像した人物の腕、手もしくは指の像を、表示装置１１２の表示画面に表示させてもよい。ここで、像表示制御部１０２ｃは、撮像した人物の像のうちの、腕や手や指等の領域を、赤外線領域や肌の色等により判別して、当該腕や手や指等の領域のみを切り出して表示させてもよい。このほか、
像表示制御部１０２ｃは、腕や手や指等の領域を、公知の領域判定手法を用いて判定してもよい。
　また、像表示制御部１０２ｃは、人物の腕、手もしくは指の動きに連動する表示体（工具等の絵やポリゴン等）を、画面上に表示させてもよい。ここで、像表示制御部１０２ｃは、上記のごとく判定した腕や手や指等の領域の位置に対応付けて、表示体を表示させてもよく、別の手法で腕や手や指の位置を検出して、当該位置に対応付けて表示体を表示させてもよい。後者の例として、像表示制御部１０２ｃは、腕に装着した光源の位置を、撮像装置１１４を介して検出して当該検出された位置に連動させて表示体を表示させてもよい。また、像表示制御部１０２ｃは、利用者が手に持った光源の位置を検出して、当該検出された位置に連動させて表示体を表示させてもよい。ここで、像表示制御部１０２ｃは、表示体の種類（表示体として表示するツールであって、はさみや千枚通しやステーぷらーやハンマー等の工具を模した絵やポリゴン等の種類）を、利用者により図示しない入力部や手の像をつかって選択させてもよい。これにより、利用者は、自己の像をつかって操作しにくい場合にも、操作しやすいツールを選択して、要素選択に用いることができる。
　また、選択判定部１０２ｄは、要素表示制御部１０２ａの表示位置変更部１０２ｂにより移動された第２の画像（要素またはポイント）の状態（移動度または移動位置などの移動状態やアクション等）に基づいて、当該要素の選択を判定する選択判定手段である。例えば、選択判定部１０２ｄは、表示要素（またはポイント）が所定の位置に到達した場合や、所定の位置にとどまった場合に、当該表示要素の選択を判定してもよい。また、一例として、移動度は、移動した距離、または、元の位置を離れてからの経過時間であってもよい。例えば、選択判定部１０２ｄは、表示要素（またはポイント）が所定の距離移動した場合に、当該要素の選択を判定してもよい。また、選択判定部１０２ｄは、表示要素（またはポイント）が元の表示位置から移動して所定の時間経過した場合に、当該要素の選択を判定してもよい。より具体的には、表示位置変更部１０２ｂにより劣後条件として元の位置に戻るように表示要素（またはポイント）が移動制御される場合に、選択判定部１０２ｄは、表示要素（またはポイント）が元の表示位置から移動して所定の時間経過した場合に、当該要素の選択を判定してもよい。なお、ポイントが移動の対象である場合は、選択判定部１０２ｄは、当該ポイントに対応付けられた要素の選択を判定する。
　他の例として、選択判定部１０２ｄは、第１の画像に接触して移動された第２の画像（要素またはポイント）について、第１の画像が所定のアクション（例えば、開いていた手を閉じることや、非接触状態だった２本の指を接触させるなど）を行った場合に、当該要素の選択を判定してもよい。例えば、選択判定部１０２ｄは、検出手段によって読み取られた人物の手の３次元形状の変化に基づいて、掌を開いているか閉じているかを判定してもよく、親指と人差し指の二本の指が離れているかくっついているかを判定してもよい。そして、選択判定部１０２ｄは、所定のアクションを判定した場合に、第１の画像と相互作用していた第２の画像に対応する選択可能な要素を、選択すると決定してもよい。
ここで、選択の決定とは、例えば、マウス操作におけるクリックや、キーボード操作におけるＥＮＴＥＲキーの押下や、タッチパネル操作における対象のタッチ操作等に相当する。一例として、第２の画像に対応する選択可能な要素がリンク先であった場合、選択判定部１０２ｄは、要素の選択を決定すると、当該リンク先に表示が遷移するように制御する。このほか、選択判定部１０２ｄは、上述したＫｉｎｅｃｔセンサやＬｅａｐＭｏｔｉｏｎセンサから読み取られた人物の動きを認識するために用いられているような、公知のアクション認識手段や、公知のモーション認識機能等を用いて、利用者のアクションを判定してもよい。
　また、図１において、通信制御インターフェース部１０４は、要素選択装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御や、要素選択装
置１００と図示しない受信装置との間における通信制御を行う装置である。すなわち、通信制御インターフェース部１０４は、他の端末または局と、通信回線（有線、無線を問わない）を介してデータを通信する機能を有する。また、ここで、受信装置は、放送局等から電波等を受信する受信手段であり、例えばアンテナ等である。
　すなわち、要素選択装置１００は、画像データに関する外部データベースや本発明にかかるプログラム等の外部プログラム等を提供する外部システム２００と、ネットワーク３００を介して通信可能に接続して構成されていてもよく、また、要素選択装置１００は、画像データ等を発信する放送局等と、受信装置を介して受信可能に接続して構成されていてもよい。また、この要素選択装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続されていてもよい。
　ここで、図１において、ネットワーク３００は、要素選択装置１００と外部システム２００とを相互に接続する機能を有し、例えば、インターネット等である。
　また、図１において、外部システム２００は、ネットワーク３００を介して、要素選択装置１００と相互に接続され、利用者に対して画像データに関する外部データベースやプログラム等の外部プログラム等を実行するウェブサイトを提供する機能を有する。
　ここで、外部システム２００は、ＷＥＢサーバやＡＳＰサーバ等として構成していてもよく、そのハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部システム２００の各機能は、外部システム２００のハードウェア構成中のＣＰＵ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。
［表示情報処理］
　次に、このように構成された本実施の形態における要素選択装置１００の表示情報処理の一例について、以下に図２を参照して詳細に説明する。図２は、本実施の形態における要素選択装置１００の表示情報処理の一例を示すフローチャートである。
　なお、以下の処理を始めるにあたって、表示装置１１４には、要素表示制御部１０２ａの制御により、何らかの表示要素が表示されていることを前提とする。ここで、図３は、要素表示制御部１０２ａの制御による表示された表示画面を含む表示装置１１４の外観の一例を示す図である。図３に示すように、要素選択装置１００は、矩形で示す領域の表示画面を有する表示装置１１４を備えている。そして、図３に示すように、この例では、要素表示制御部１０２ａは、表示画面上に、リンク表示が選択可能な要素に対応付けて、リンク可能な文字列の左上に、黒丸のポイントを表示させている。すなわち、ポイントＰ１は、ＵＲＬ１のリンク（ｗｗｗ．ａａａ．ｂｂｂ．ｃｃｃ／）に対応付けられており、ポイントＰ２は、ＵＲＬ２のリンク（ｗｗｗ．ｄｄｄ．ｅｅｅ．ｆｆｆ／）に対応付けられており、ポイントＰ３は、ＵＲＬ３のリンク（ｗｗｗ．ｇｇｇ．ｈｈｈ．ｉｉｉ／）に対応付けられている。そして、一般的なウェブサイトと同様に、これらの要素を選択することによって、リンク先が表示されるようにプログラムされている。なお、ポイントを表示させず、表示要素（リンク文字列やアイコン等）自体を移動可能に制御してもよいが、本処理の説明においては、ポイントの位置制御を行う例について説明する。
　図２に示すように、まず、像表示制御部１０２ｃは、撮像装置１１２を介して撮像した人物の像を、表示装置１１４の画面上に表示させる（ステップＳＡ－１）。ここで、像表示制御部１０２ｃは、利用者からみて鏡に自己の像が写るように、表示装置１１４の表示
画面に像を表示させてもよい。ここで、図４は、図３の初期画面において、利用者の像が重畳表示されて表示画面の一例を示す図である。
　図４に示すように、像表示制御部１０２ｃは、撮像装置１１２を介して撮像した人物の像から、腕、手もしくは指の像のみを、表示装置１１２の表示画面に表示させてもよい。例えば、像表示制御部１０２ｃは、撮像した人物の像のうちの、腕や手や指等の領域を、赤外線領域や肌の色等の公知の領域判定手法により判別して、当該腕や手や指等の領域のみを切り出して表示させてもよい。また、像表示制御部１０２ｃは、人物の像の輪郭線のみを表示させて、像の輪郭線の内側を透明化してもよい。これにより、人物の像の領域が塗りつぶされず、輪郭内側の表示要素が表示されるので、操作性の向上および視認性の向上に寄与する。
　再び図２に戻り、表示位置変更部１０２ｂは、像表示制御部１０２ｃにより表示された像から排除されるように、選択可能な要素に対応付けられたポイントの表示位置を変更させる（ステップＳＡ－２）。図５は、表示位置変更部１０２ｂにより表示位置が移動されたポイントＰ２の一例を示す表示画面例である。図において、破線の丸は、ポイントＰ２の元の表示位置を表ており、破線の直線は、元の表示位置と移動された表示位置の間の距離ｄを表している。なお、破線は、表示画面に表示されなくともよい。
　図５に示すように、ポイントが像から排他的に運動するように、表示位置変更部１０２ｂは、ポイントが、像の輪郭から排除されるように移動させてもよい。なお、図示の例は、ポイントの輪郭が像の輪郭から排除されるように移動制御される例であるが、これに限られず、表示要素変更部１０２ｂは、ポイントの輪郭が像の代表線（中心線等）から排除されるように移動制御してもよく、表示要素が非接触状態で像から遠ざかるように移動させてもよい。
　なお、表示位置変更部１０２ｂは、像または表示体から表示要素またはポイントが排除されるように移動させる制御を優先的に行うとともに、表示要素またはポイントを、所定の位置または方向に向かって移動させてもよい。例えば、表示位置変更部１０２ｂは、ポイントが像に接触していない場合、当該ポイントを、移動前の元の表示位置に戻るように移動させてもよい。
　再び図２に戻り、選択判定部１０２ｄは、要素表示制御部１０２ａの表示位置変更部１０２ｂにより移動されたポイントの移動度に基づいて、当該ポイントに対応する要素の選択を判定する（ステップＳＡ－３）。例えば、選択判定部１０２ｄは、ポイントＰ２が所定の位置に到達した場合や、元の位置からの移動距離ｄが所定閾値以上の場合や、元の位置から移動を開始してから一定の時間が経過した場合などのように、所定の移動度となった場合（所定の閾値以上の移動度となった場合等）に、当該ポイントＰ２に対応する要素の選択（ＵＲＬ２のリンク表示選択）を判定してもよい。
　選択判定部１０２ｄにより所定の移動度ではないと判定された場合（ステップＳＡ－３，Ｎｏ）、要素選択装置１００は、ステップＳＡ－１に処理を戻し、上述した処理が繰り返されるよう制御する。すなわち、像表示制御部１０２ｃによる像の表示の更新（ステップＳＡ－１）と、それに続く表示位置変更部１０２ｂによる表示位置の移動制御（ステップＳＡ－２）とを行い、再び、選択判定部１０２ｄは、移動度の判定を行う（ステップＳＡ－３）。
　選択判定部１０２ｄは、所定の移動度となったと判定した場合（ステップＳＡ－３，Ｙｅｓ）、当該ポイントに対応する要素の選択を決定し（ステップＳＡ－４）、要素選択装置１００の制御部１０２は、選択処理を実行する。例えば、図５の例で、選択判定部１０
２ｄは、ポイントＰ２の元の位置と移動した表示位置との距離ｄが、所定の閾値以上である場合に、当該ポイントＰ２に対応づけられた要素（ＵＲＬ２のリンク）の選択を決定し、要素選択装置１００は、ＵＲＬ２のリンク表示を行ってもよい。
　以上が本実施形態における要素選択装置１００の処理の一例である。なお、上記の例では、要素に対応するポイントが像により排他的に移動制御される例について説明したが、これに限られず、例えば、表示要素が表示体により排他的に移動制御されてもよいものである。図６は、表示要素Ｅ１およびＥ２と、キャプテンフックの手を模した表示体とが表示された表示画面の一例を示す図である。
　図６に示すように、像表示制御部１０２ｃは、撮像装置１１２を介して検出した人物の腕の動きに連動するように、表示体を表示装置１１２の表示画面に表示させてもよい。そして、要素表示制御部１０２ａの表示位置変更部１０２ｂは、表示要素Ｅ１およびＥ２を、表示体の輪郭から排除されるように移動させてもよい。なお、この例では、表示位置変更部１０２ｂは、表示要素またはポイントが移動する方向や範囲等を限定している。すなわち、表示位置変更部１０２ｂは、表示要素Ｅ１は図の上方向に所定の範囲（溝表示部分）までしか移動できず、表示要素Ｅ２は図の下方向に所定の範囲（溝表示部分）までしか移動できないように制御している。図７は、図６の表示画面からの遷移画面例を示す図である。
　図７に示すように、像表示制御部１０２ｃは、利用者が動かす腕の動きに連動させて表示体を移動させ、表示位置変更部１０２ｂは、それに応じて、表示要素Ｅ５が表示体の輪郭から排除されるように移動制御してもよい。そして、図７の例では、表示要素Ｅ２が下方向の所定の範囲いっぱいまで押し下げられた場合、選択判定部１０２ｄは、当該表示要素Ｅ２の選択を判定してもよい。この例では、表示要素Ｅ２の選択が判定されると、要素選択装置１００の制御部１０２は、テレビのチャンネルを＋方向に一つまわして（すなわち、チャンネル番号を一つインクリメントしたチャンネル番号の放送を）表示させる。例えば、チャンネル１が表示中の場合はチャンネル２を表示されることになる。
　以上で、本実施の形態における、要素選択装置１００の処理の一例の説明を終える。
　また、上述の例では、対応する表示要素が予め表示されることを前提に説明を行ったが、これに限られず、予め表示要素が表示されていなくとも、像の表示にともなって表示要素が表示されてもよい。例えば、テレビ画面では、像の表示に伴って、チャンネル選択画面を表示して、各チャンネル選択のための表示要素を出現させ、これを任意の地点まで手の像でドラッグすることによって、チャンネル選択を可能にしてもよい。
　以上のように、本実施の形態によれば、従来のように、手を検出して、手の先端検出やＣ／Ｏ検出（映情学技報ＶＩＳ２００１－１０３，Ｖｏｌ．２５，Ｎｏ．８５，　ｐｐ．４７－５２　（２００１））によって、手をポインティングデバイス（位置点入力手段）にするのではなく、手そのもので操作可能なように表示要素をポインタ化したインターフェースを提供する。先行技術では、手の指先をカーソルの座標位置にして、親指を曲げたときにクリックと対応付ける技術もあるが、そのような場合、座標位置の演算に時間がかかったり、親指を曲げるときに、指先の位置がずれたりするので、本実施の形態は、従来の問題点を解消することができる。また、本実施の形態においては、操作ポイントを１点としたが、１点ではなく２点にしてもよい。これにより、棒の向きや立体の向きを左右の手で変化させたり、マルチタッチ操作における拡大縮小等の操作が可能になる。
［他の実施の形態］
　さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形
態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。
　例えば、要素選択装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、要素選択装置１００は、クライアント端末（要素選択装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。
　また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
　このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
　また、要素選択装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
　例えば、要素選択装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。
　また、このコンピュータプログラムは、１００に対して任意の３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
　また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標）等の任意の「可搬用の物理媒体」を含むものとする。
　また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成してもよい。
　記憶部１０６に格納される各種のデータベース等（要素ファイル１０６ａ）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。
　また、要素選択装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、要素選択装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。
　更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
　なお、以下に、本発明にかかるクレームの他の例を列挙する。
クレーム０
　少なくとも表示部と撮像部と制御部を備えた要素選択装置であって、
　前記制御部は、
　前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させる要素表示制御手段と、
　前記撮像部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御手段と、
　を備え、
　前記要素表示制御手段は、
　前記像表示制御手段により表示された前記像または前記表示体から排除されるように、前記要素または前記要素画像を移動させる移動制御手段、
　を備え、
　前記制御部は、
　前記移動制御手段により移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を決定する選択決定手段、
　を更に備えたことを特徴とする要素選択装置。
クレーム１
　表示手段と撮像手段と制御部とを少なくとも備えた要素選択装置において、
　前記制御部は、
　撮像手段により利用者を撮像して、少なくとも利用者の手または指の領域であるユーザ領域が判別できるように前記表示手段に表示する手領域表示制御手段と、
　前記手領域表示制御手段により表示される前記ユーザ領域から排除されるように、選択可能な表示要素を移動させて表示する表示要素移動手段と、
　前記表示要素移動手段により移動された前記表示要素の移動度に基づいて、当該表示要素の選択を判定する選択判定手段と、
　を備えたことを特徴とする要素選択装置。
クレーム２（表示要素の移動態様：元に戻る）
　クレーム１に記載の要素選択装置において、
　前記表示要素移動手段は、
　前記表示要素に元の位置に戻るような力がはたらいているかのように当該表示要素の移動を制御すること
　を特徴とする要素選択装置。
クレーム３（表示要素の移動態様：重力）
　クレーム１または２に記載の要素選択装置において、
　前記表示要素移動手段は、
　前記表示要素に画面の下方向に重力がはたらいているかのように当該表示要素の移動を制御すること
　を特徴とする要素選択装置。
クレーム４（表示要素の移動態様：磁石）
　クレーム１乃至３のいずれか一つに記載の表示選択装置において、
　前記表示要素移動手段は、
　前記ユーザ領域と前記表示要素の間に引力がはたらいているかのように当該表示要素の移動を制御すること
　を特徴とする要素選択装置。
クレーム５（選択判定１：距離）
　クレーム１乃至４のいずれか一つに記載の要素選択装置において、
　前記移動度とは、前記表示要素が移動された距離であって、
　前記選択判定手段は、
　前記表示要素が所定閾値以上の距離を移動した場合に、当該表示要素の選択を判定すること
　を特徴とする要素選択装置。
クレーム６（選択判定２：時間）
　クレーム１乃至５のいずれか一つに記載の要素選択装置において、
　前記移動度とは、前記表示要素の移動が継続された時間であって、
　前記選択判定手段は、
　前記表示要素が移動を開始してから所定閾値以上の時間経過した場合に、当該表示要素の選択を判定すること
　を特徴とする要素選択装置。
クレーム７（排除：表示要素の代表点）
　クレーム１乃至６のいずれか一つに記載の要素選択装置において、
　前記表示要素移動手段は、
　前記表示要素の代表点が前記ユーザ領域から排除されるように、当該表示要素を移動させて表示すること
　を特徴とする要素選択装置。
クレーム８（表示要素の移動態様：張力）
　クレーム２に記載の表示選択装置において、
　前記表示要素移動手段は、
　前記表示要素の代表点の元の位置と移動した位置との間に、前記移動度に応じた張力がはたらいているかのように当該表示要素の移動を制御し、
　前記表示要素の前記代表点が、前記ユーザ領域の輪郭線のローカルミニマムに陥った場合には、曲線の接点に位置する場合を除いて、当該ユーザ領域を横断可能に制御すること
　を特徴とする要素選択装置。
クレーム９
　表示手段と撮像手段と制御部とを少なくとも備えた情報処理装置に実行させるためのプログラムであって、
　前記制御部において、
　撮像手段により利用者を撮像して、少なくとも利用者のユーザ領域が判別できるように前記表示手段に表示する手領域表示制御ステップと、
　前記手領域表示制御ステップにて表示される前記ユーザ領域から排除されるように、選択可能な表示要素を移動させて表示する表示要素移動ステップと、
　前記表示要素移動ステップにて移動された前記表示要素の移動度に基づいて、当該表示要素の選択を判定する選択判定ステップと、
　を実行させることを特徴とするプログラム。
クレーム１０
　表示部と撮像部と制御部とを少なくとも備えたコンピュータにおいて実行される要素選択方法であって、
　前記制御部において実行される、
　前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させる要素表示制御ステップと、
　前記撮像部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、
　前記像表示制御ステップにて表示された前記像または前記表示体から排除されるように、前記要素または前記要素画像を移動させる移動制御ステップと、
　前記移動制御ステップにて移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を決定する選択決定ステップと、
　を含むことを特徴とする要素選択方法。
クレーム１１
　表示部と撮像部と制御部とを少なくとも備えたコンピュータに実行させるためのプログラムであって、
　前記制御部において、
　前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させる要素表示制御ステップと、
　前記撮像部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、
　前記像表示制御ステップにて表示された前記像または前記表示体から排除されるように、前記要素または前記要素画像を移動させる移動制御ステップと、
　前記移動制御ステップにて移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を決定する選択決定ステップと、
　を実行させるプログラム。
　以上詳述に説明したように、本発明によれば、非接触状態で表示上の要素を選択する場合に、操作性を向上させることができる、要素選択装置、要素選択方法、および、プログラム、ならびに、記録媒体を提供することができる。
　１００　要素選択装置
　１０２　制御部
　１０２ａ　要素表示制御部
　１０２ｂ　表示位置変更部
　１０２ｃ　像表示制御部
　１０２ｄ　選択判定部
　１０４　通信制御インターフェース部
　１０６　記憶部
　１０６ａ　要素ファイル
　１０８　入出力制御インターフェース部
　１１２　撮像装置
　１１４　表示装置
　２００　外部システム
　３００　ネットワーク

Claims (10)

  1. 　手または指の動きを認識する手段と、
    　認識された手または指の動きに連動する第１の画像を表示させる手段と、
    　選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像が第２の画像と接触した場合に相互作用させて、第２の画像が第１の画像から逃れるように移動制御する手段と、
    　第１の画像と第２の画像の相互作用関係が所定の状態になった場合に、当該第２の画像に対応する選択可能な要素の選択を決定する手段と、
    　を備えた要素選択装置。
  2. 　少なくとも表示部と検出部と制御部を備えた要素選択装置であって、
    　前記制御部は、
    　前記検出部を介して検出した、人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御手段と、
    　前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させ、前記像表示制御手段により表示された前記像または前記表示体から排他的に、当該要素または当該要素画像を移動させる要素表示制御手段と、
    　前記要素表示制御手段により移動された前記要素もしくは前記要素画像の移動度もしくは移動位置または前記人物の動きに基づいて、当該要素の選択を判定する選択判定手段、
    　を備えたことを特徴とする要素選択装置。
  3. 　請求項２に記載の要素選択装置において、
    　前記要素表示制御手段は、
    　前記像または前記表示体から排除されるように移動させる制御を優先的に行うとともに、前記要素または前記要素画像を、所定の位置または方向に向かって移動させること、
    　を特徴とする要素選択装置。
  4. 　請求項２または３に記載の要素選択装置おいて、
    　前記像表示制御手段は、
    　前記検出部を介して撮像した人物の腕、手もしくは指の像、または、当該人物の腕、手もしくは指の動きに連動する表示体を、画面上に表示させること、
    　を特徴とする要素選択装置。
  5. 　請求項２乃至４のいずれか一つに記載の要素選択装置において、
    　前記要素表示制御手段は、
    　前記像または前記表示体の、輪郭または中心線から排除されるように、前記要素または前記要素画像を移動させること、
    　を特徴とする要素選択装置。
  6. 　請求項２乃至５のいずれか一つに記載の要素選択装置において、
    　前記移動度は、
    　移動した距離、または、元の位置を離れてからの経過時間であること、
    　を特徴とする要素選択装置。
  7. 　手または指の動きを認識するステップと、
    　認識された手または指の動きに連動する第１の画像を表示させるステップと、
    　選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像が第２の画像と接触した場合に相互作用させて、第２の画像が第１の画像から逃れるように移動制御するステップと、
    　第１の画像と第２の画像の相互作用関係が所定の状態になった場合に、当該第２の画像に対応する選択可能な要素の選択を決定するステップと、
    　を含む要素選択方法。
  8. 　少なくとも表示部と検出部と制御部を備えたコンピュータに実行される要素選択方法であって、
    　前記制御部において実行される、
    　前記検出部を介して検出した、人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、
    　前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を、表示させ、前記像表示制御ステップにて表示された前記像または前記表示体から排他的に、当該要素または当該要素画像を移動させる要素表示制御ステップと、
    　前記要素表示制御ステップにて移動された前記要素もしくは前記要素画像の移動度もしくは移動位置または前記人物の動きに基づいて、当該要素の選択を判定する選択判定ステップと、
    　を含むことを特徴とする要素選択方法。
  9. 　手または指の動きを認識するステップと、
    　認識された手または指の動きに連動する第１の画像を表示させるステップと、
    　選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像が第２の画像と接触した場合に相互作用させて、第２の画像が第１の画像から逃れるように移動制御するステップと、
    　第１の画像と第２の画像の相互作用関係が所定の状態になった場合に、当該第２の画像に対応する選択可能な要素の選択を決定するステップと、
    　をコンピュータに実行させるためのプログラム。
  10. 　少なくとも表示部と検出部と制御部を備えたコンピュータに実行させるためのプログラムであって、
    　前記制御部において実行される、
    　前記検出部を介して検出した、人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、
    　前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を、表示させ、前記像表示制御ステップにて表示された前記像または前記表示体から排他的に、当該要素または当該要素画像を移動させる要素表示制御ステップと、
    　前記要素表示制御ステップにて移動された前記要素もしくは前記要素画像の移動度もしくは移動位置または前記人物の動きに基づいて、当該要素の選択を判定する選択判定ステップと、
    　を実行させるためのプログラム。
PCT/JP2013/068969 2012-07-13 2013-07-11 要素選択装置、要素選択方法、および、プログラム WO2014010670A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP13817055.0A EP2874044A4 (en) 2012-07-13 2013-07-11 DEVICE FOR SELECTION OF ELEMENTS, METHOD FOR SELECTION OF ELEMENTS AND PROGRAM
KR1020157002920A KR101845046B1 (ko) 2012-07-13 2013-07-11 요소 선택 장치, 요소 선택 방법 및 프로그램
CN201380037174.9A CN104508599A (zh) 2012-07-13 2013-07-11 要素选择装置、要素选择方法、及程序
US14/414,597 US9575565B2 (en) 2012-07-13 2013-07-11 Element selection device, element selection method, and program
KR1020167004281A KR20160022403A (ko) 2012-07-13 2013-07-11 요소 선택 장치, 요소 선택 방법 및 프로그램
JP2013552782A JP5507773B1 (ja) 2012-07-13 2013-07-11 要素選択装置、要素選択方法、および、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-157236 2012-07-13
JP2012157236 2012-07-13

Publications (1)

Publication Number Publication Date
WO2014010670A1 true WO2014010670A1 (ja) 2014-01-16

Family

ID=49916111

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/068969 WO2014010670A1 (ja) 2012-07-13 2013-07-11 要素選択装置、要素選択方法、および、プログラム

Country Status (6)

Country Link
US (1) US9575565B2 (ja)
EP (1) EP2874044A4 (ja)
JP (3) JP5507773B1 (ja)
KR (2) KR101845046B1 (ja)
CN (1) CN104508599A (ja)
WO (1) WO2014010670A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015176708A1 (de) * 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Vorrichtung zum anzeigen einer virtuellen realität sowie messgerät
JP7213396B1 (ja) * 2021-08-30 2023-01-26 ソフトバンク株式会社 電子機器及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127124A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
CN104298340B (zh) * 2013-07-15 2017-12-26 联想(北京)有限公司 控制方法和电子设备
US10289219B2 (en) * 2013-10-31 2019-05-14 Hewlett-Packard Development Company, L.P. Communicating with an unsupported input device
US10015402B2 (en) 2014-09-08 2018-07-03 Nintendo Co., Ltd. Electronic apparatus
JP6388203B2 (ja) * 2014-09-08 2018-09-12 任天堂株式会社 電子機器
JP6197801B2 (ja) * 2015-01-30 2017-09-20 コニカミノルタ株式会社 データ入力システム、データ入力装置、データ入力方法およびデータ入力プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05324181A (ja) 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
JPH07281666A (ja) * 1994-04-05 1995-10-27 Casio Comput Co Ltd 画像制御装置
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム
WO2011084245A2 (en) 2009-12-17 2011-07-14 Microsoft Corporation Camera navigation for presentations

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2816456B2 (ja) 1991-07-05 1998-10-27 株式会社村田製作所 フォーカス測定装置
US5508717A (en) 1992-07-28 1996-04-16 Sony Corporation Computer pointing device with dynamic sensitivity
DE69634913T2 (de) 1995-04-28 2006-01-05 Matsushita Electric Industrial Co., Ltd., Kadoma Schnittstellenvorrichtung
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
JP3725460B2 (ja) 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US6816176B2 (en) * 2001-07-05 2004-11-09 International Business Machines Corporation Temporarily moving adjacent or overlapping icons away from specific icons being approached by an on-screen pointer on user interactive display interfaces
JP2006268209A (ja) * 2005-03-23 2006-10-05 Akinori Yoshino ユーザの身体動作による遠隔命令入力装置
JP2006268212A (ja) * 2005-03-23 2006-10-05 Hiroshi Mitsumata 命令入力装置
US8549442B2 (en) 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
KR100793079B1 (ko) * 2006-12-08 2008-01-10 한국전자통신연구원 손목착용형 사용자 명령 입력 장치 및 그 방법
US8373655B2 (en) * 2007-01-05 2013-02-12 Apple Inc. Adaptive acceleration of mouse cursor
JP4220555B2 (ja) 2007-02-09 2009-02-04 株式会社日立製作所 テーブル型情報端末
US20090204622A1 (en) * 2008-02-11 2009-08-13 Novell, Inc. Visual and non-visual cues for conveying state of information cards, electronic wallets, and keyrings
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
JP2010140300A (ja) * 2008-12-12 2010-06-24 Sharp Corp 表示装置、制御方法、制御プログラムおよび記録媒体
KR101650371B1 (ko) * 2008-12-30 2016-08-24 삼성전자주식회사 중력에 의해 이동되는 감각적 효과를 나타내는 포인터를 이용한 ｇｕｉ 제공방법 및 이를 적용한 전자장치
WO2011035723A1 (zh) * 2009-09-23 2011-03-31 Han Dingnan 一套人机交互方法及界面
JP5564300B2 (ja) * 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
CN101853568A (zh) 2010-04-13 2010-10-06 鸿富锦精密工业（深圳）有限公司 手势遥控装置
JP2012190184A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
US9030487B2 (en) * 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05324181A (ja) 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
JPH07281666A (ja) * 1994-04-05 1995-10-27 Casio Comput Co Ltd 画像制御装置
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム
WO2011084245A2 (en) 2009-12-17 2011-07-14 Microsoft Corporation Camera navigation for presentations

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ITE TECHNICAL REPORT, VIS2001-103, vol. 25, no. 85, 2001, pages 47 - 52
See also references of EP2874044A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015176708A1 (de) * 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Vorrichtung zum anzeigen einer virtuellen realität sowie messgerät
JP7213396B1 (ja) * 2021-08-30 2023-01-26 ソフトバンク株式会社 電子機器及びプログラム
WO2023031988A1 (ja) * 2021-08-30 2023-03-09 ソフトバンク株式会社 電子機器及びプログラム

Also Published As

Publication number Publication date
CN104508599A (zh) 2015-04-08
KR20160022403A (ko) 2016-02-29
US9575565B2 (en) 2017-02-21
EP2874044A4 (en) 2016-04-13
JP2014149842A (ja) 2014-08-21
JPWO2014010670A1 (ja) 2016-06-23
KR20150021132A (ko) 2015-02-27
US20150169073A1 (en) 2015-06-18
JP2019135665A (ja) 2019-08-15
KR101845046B1 (ko) 2018-04-03
JP5507773B1 (ja) 2014-05-28
EP2874044A1 (en) 2015-05-20

Similar Documents

Publication Publication Date Title
JP5507773B1 (ja) 要素選択装置、要素選択方法、および、プログラム
US11221730B2 (en) Input device for VR/AR applications
US10055064B2 (en) Controlling multiple devices with a wearable input device
KR102051418B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
JP5237847B2 (ja) ジェスチャ認識方法及びそれを組み込んだタッチシステム
WO2014181876A1 (ja) 入力支援装置、入力支援方法、および、プログラム
JP6469706B2 (ja) 深度センサを用いた構造のモデル化
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2015108112A1 (ja) 操作判定装置、操作判定方法、および、プログラム
CN102915112A (zh) 用于近距离动作跟踪的系统和方法
CN104346085A (zh) 一种对控件对象的操作方法、装置及终端设备
KR101392936B1 (ko) 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
US20190025921A1 (en) Method, Device, and System for Providing User Interface, and Non-Temporary Computer-Readable Recording Medium
KR20130030727A (ko) 힘을 이용한 인터페이스 제어 장치 및 방법
JP6325659B2 (ja) 操作画面表示装置、操作画面表示方法およびプログラム
CN106383583B (zh) 用于隔空人机交互的控制虚拟物体精确定位的方法与系统
CN106598422A (zh) 基于指向型的操控、混合操控方法及操控系统和电子设备
JP5480357B1 (ja) 電子機器および方法
JP2009015720A (ja) 認識装置および認識方法
CN114168034A (zh) 应用于头戴式显示设备的菜单操作方法及头戴式显示设备
KR20120062053A (ko) 터치스크린의 가상 캐릭터 제어방법
US20220129109A1 (en) Information processing apparatus, information processing method, and recording medium
WO2016121708A1 (ja) 入力システム、入力装置、入力方法、および、記録媒体
KR20190135958A (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013552782

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13817055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14414597

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20157002920

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013817055

Country of ref document: EP