CN1169559A - 与图像显示同步的音响发生装置 - Google Patents

与图像显示同步的音响发生装置 Download PDF

Info

Publication number
CN1169559A
CN1169559A CN97113616A CN97113616A CN1169559A CN 1169559 A CN1169559 A CN 1169559A CN 97113616 A CN97113616 A CN 97113616A CN 97113616 A CN97113616 A CN 97113616A CN 1169559 A CN1169559 A CN 1169559A
Authority
CN
China
Prior art keywords
sound
source data
sound source
temporary storage
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN97113616A
Other languages
English (en)
Other versions
CN1118019C (zh
Inventor
清水英明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Publication of CN1169559A publication Critical patent/CN1169559A/zh
Application granted granted Critical
Publication of CN1118019C publication Critical patent/CN1118019C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/95—Storage media specially adapted for storing game information, e.g. video game cartridges
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/206—Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input

Abstract

本发明揭示一种与图像显示同步的音响发生装置,该装置是在为了用摄像机物镜视角至少能看见发出声音的第1物体在画面上显示的图像显示装置中、用于发生对应于第1物体和摄像机物镜视角位置关系的音响,它包括第一音响发生装置、第2音响发生装置、音源数据存储装置、暂时存储装置、声音处理装置、第1数字—模拟变换装置和第2数字—模拟变换装置。该装置能伴随摄像机物镜视角的移动、发生三维的音响。

Description

与图像显示同步的音响发生装置
本发明涉及与图像显示同步的音响发生装置，特别涉及在个人计算机和电视游戏机等的图像处理装置中、基于被显示的两个物体的方向和距离等、与发生具有三维扩展效果声音或者音乐等音响的图像显示同步的音响发生装置。
作为产生立体声的技术已知的有日本特开昭60-9397号(在先技术1)。这种在先技术1是以一个声音信号为原样的模拟信号进行输出，同时借助于输出被延迟的模拟信号、产生立体声。
但是，在先技术1因使模拟信号延迟，所以不适用于数字音源，而且不能根据CRT显示器等画面上被显示的物体或者人物的移动状态的关系、发生与物体的移动同步的音响。
作为与图像显示关连并发生二维声音的音响发生装置已知的有日本特开昭62-155879号(在先技术2)。在先技术2随着作为声音发生源的移动物体的飞机平面地或者二维地移动、使左右扬声器中远的一侧的音量渐渐减小、近的一侧的音量渐渐增大，这样随着飞机的平面移动对音量进行控制。
但是，在先技术2因伴随移动物体的移动只不过使音量渐渐减小或者渐渐增大，所以即使能听到立体声、也不能得到三维的音响效果。在先技术2作为三维图像显示的效果声音不适当。其理由是因为如果与象飞机和汽车那样的二维移动的移动物体的运动同步发出声音，虽然能得到相应的音响效果，但不能在显示三维图像时得到三维的音响效果、图像显示和音响效果(或者音场感)不一致、并感觉到失调感。此外，在先技术2若用于使用者使用耳机的情况，则因左右声音同时传到收听者的左右耳朵而且仅为左右音量不同，成为左右声音直接传到听者的耳朵，没有使不对着耳朵侧的声音延迟的音响效果，当左右的音时差极大时，负担就加在耳朵上，使收听者易于感到疲劳，由经验可知一长时间使用就成为头痛等的原因。此外，当用在先技术2控制左右扬声器的音量时，因从扬声器发生的声音一面向各个方向展开、一面被收听者听见，所以在从左右扬声器的一方发生的声音传到收听者的左耳或者右耳的声音与从另一方发生的声音传到收听者的右耳或者左耳的声音之间产生一些时间延迟，虽然多个产生了与使另一方的声音延迟相似的音响效果，但最终不能得到三维的音响效果。
因此，本发明的主要目的是在于提供对于物体显示从摄像机物镜视角见到的三维图像的场合，能伴随摄像机物镜视角的移动、发生三维的音响，并与图像显示同步的音响发生装置。
本发明的另一个目的是提供即使在用耳机收听的场合也能减少收听者或者使用者的疲劳感的与图像显示同步的音响发生装置。
本发明的与图像显示同步的音响发生装置，是在为了用摄像机物镜视角至少能看见发出声音的第1物体在画面上显示的图像显示装置中用于发生对应于第1物体和摄像机物镜视角位置关系的音响，它包括第1音响发生装置、第2音响发生装置、音源数据存储装置、暂时存储装置、声音处理装置、第1数字-模拟变换装置和第2数字-模拟变换装置。
音源数据存储装置预先数字化地存储用于来自第1音响发生装置和第2音响发生装置发生的声音或者音响的原始的音源数据。暂时存储装置暂时存储在来自音源数据存储装置发生的某个期间应该发生的处理单元的音源数据。声音处理装置将应该发生由第1音响发生装置发生的第1系统的音响的音源数据存储于暂时存储装置中而且作为第1系统用读出，同时对应于基于从摄像机物镜视角位置等见到的第1物体的方向算出的延迟时间使存储于暂时存储装置中的第1系统用的音源数据延迟、作为第2系统用的音源数据读出。第1数字-模拟变换装置将由声音处理装置从暂时存储装置原样读出的第1系统的音源数据变换成模拟声音信号并提供给第1音响发生装置。由此，第1音响发生装置发生第1系统的音响。第2数字-模拟变换装置将由声音处理装置从暂时存储装置读出的延迟的第2系统的音源数据变换成模拟信号并提供给第2音响发生装置。由此，第2音响发生装置较第1系统的音响仅延迟规定的延迟量并发生第2系统的音响。这时，根据需要与延迟量的控制一起进行音量控制。
采用本发明，则因在相对于固定或者移动的物体从摄像机物镜视角位置等见到的三维图像显示中、能伴随摄像机物镜视角的视线移动发生三维的音响，并且图像显示和音响效果一致，所以能让使用者感觉更接近现实的图像、音响的效果，能进一步提高兴趣。在用立体声耳机收听来自本发明的音响发生装置发生的音响时，能减轻收听者或者使用者的疲劳感。
图1表示本发明的与图像显示同步的音响发生装置的原理方框图。
图2表示基于声音发生物体和摄像机物镜视角位置等的关系、用于说明可变左右延迟量场合的原理的图解图。
图3表示图2中在无延迟量的条件下对音量进行控制场合的音量和方向关系的特性图。
图4表示图2中在有延迟量的条件下对延迟量进行可变控制场合的方向和音量关系的特性图
图5表示在图4中有延迟量条件下对音量进行控制的场合的距离和音量关系的特性图。
图6表示与声音发生物体和人物的位置相关连、对延迟量进行控制场合的特性图。
图7表示本发明一实施例的音响发生装置的具体的方框图。
图8图解地表示W-RAM55的存储器空间图。
图9图解地表示图1中对应于缓冲存储器的声音存储器区域15一例的存储器映象图。
图10图解地表示图1中对应于缓冲存储器的声音存储器区域15其它例子的存储器映象图。
图11表示游戏的概略流程图。
图12表示声音输出处理子程序的动作流程图。
图13表示无延迟量场合的声音数据输出的时间图。
图14表示有延迟量且前次延迟量和本次延迟量相同的场合的声音数据输出的时间图。
图15表示有延迟量且前次延迟量和本次延迟量不同的场合的声音数据输出的时间图。
下面，参照附图对本发明的实施例进行说明。
图1表示本发明的与图像显示同步的音响发生装置的原理方框图。图像、声音处理装置(下面简称为“处理装置”)10，例如是用于游戏的产生图像和音乐·效果音等音响应的电视游戏机等，包括图像处理单元11和声音处理单元12。图像处理单元11，通过地址总线和数据总线与图像存储器13连接。外部存储器20和操作器30装拆自如地连接与图像处理单元11上。图像处理单元11根据来自操作器30输入的操作状态的数据及存储于外部存储器20中的图像数据·程序数据存储区域21的图像数据和程序数据，进行用于图像数据的运算并将应该显示的图像处理数据提供给图像信号发生电路14。这种图像处理单元11，这种图像处理单元11随着从摄像机视角位置看出去的视线移动三维显示根据程序发生音乐及(或)游戏效果音响等声音(音响)的一个或多个物体(例如瀑布、河流、动物、汽车、飞机等)、或者不发声的物体(例如建筑物、植物、道路、云、景色等)、或者这些各种物体，并发生对应于使用者的操作、从变化移动方向或者动作(手脚的运动)的人物(例如人或动物等)的后面或者后面上部等见到的摄像机物镜视角的图像显示数据。图像信号发生电路14，基于从图像处理单元11提供的图像处理数据、为在显示装置一例的CRT或者标准电视接收机(下面简称为电视机)40上显示，产生附加各种必要的同步信号的图像信号并提供给电视机40、显示在显示画面(或者显示单元)41上。
另一方面，图像处理单元11，为了使瀑布、河流等的流水声和汽车的开动声以及动物的叫声等效果音响伴随着摄像机物镜视角位置或者人物(下面将两者总称为摄像机物镜视角位置)的视线移动而变化，与三维图像显示同步实现三维的音响效果，将各种物体中的发生声音的物体(下面称为“声音发生物体”的坐标数据)下面称为“第1坐标数据”)和摄像机物镜视角位置等的坐标数据(下面称为“第2坐标数据”)以及指定声音种类的数据提供给声音处理单元12。这里，提供给声音处理单元12的坐标数据还加上表示画面的左右方向的X坐标数据和表示上下方向的Y坐标数据、并还包括表示进深方向的Z坐标数据。
外部存储器20中的音源数据存储器22装拆自如地连接在声音处理单元12上，同时通过数据总线和地址总线、连接用于暂时存储音源数据的声音处理用缓冲存储器(下面简称为“缓冲存储器”)15。音源数据存储器22将由外部存储器20的程序执行的一个游戏的大量的音源数据。用PCM数据或者AD-PCM数据的形式加以存储。缓冲存储器15包括缓冲区域15a和延迟缓冲区域15b(参照下面详细的实施例的图9)。缓冲区域15a暂时存储在某个单位时间中用于产生作为无延迟声音的、第1系统声音信号的声音数据，下面称作无延迟缓冲区域。延迟缓冲区域15b为了产生比第1系统声音信号延迟的声音信号作为第2系统声音信号，具有与最大延迟时间相当的存储容量，该延迟时间相当于根据声音发生物体的坐标及人物(或摄像机物镜视角位置)的坐标的距离及方向通过运算求得的延迟时间。在实施例中，因最大延迟时间为单位时间的1/5以上时，在听左右声音时会留下不自然的印象，所以延迟缓冲区域15b选为非延迟缓冲区域15a的1/5的存储容量。例如，非延迟缓冲区域以320字节作为相当于单位时间的存储容量，作为延迟缓冲区域15b相当于最大延迟时间的存储容量选成64字节。这里，对由声音信号进行取样并作成声音数据场合的取样频率(例如32KHz)和应该一次处理的声音信号的固有时间(即与处理单元相当的时间)的关系、决定处理单元时间，在本申请实施例中选成1/200秒～1/240秒。而且，对应于从人物见到的声音发生物体的方向或者在人物移动的场合中、移动的前后两者方向(或者基于方向的角度)的变化量、可变控制第2系统的声音信号较第1系统的声音信号更延迟的延迟时间。
此外，在缓冲存储器15的容量多的场合，也可以用具有合计非延迟缓冲区域15a的存储容量和延迟缓冲区域15b的存储容量的存储容量的延迟缓冲区域15b’代替延迟缓冲区域15b(参照下面详细的实施例的图10)、对应于延迟时间在0～64字节的范围内可变控制第2系统的音源数据的写入地址。
声音处理单元12对应于第1坐标数据和第2坐标数据并基于预定的程序进行运算处理，求出从摄像机物镜视角位置(或者人物)见到的声音发生物体的方向(或者角度)，并基于其方向将延迟量(或者延迟时间)决定成下面的图6所示的特性图的关系。声音处理单元12基于第1坐标数据和第2坐标数据，求出声音发生物体和摄像机物镜视角位置等的距离，并基于其距离数据决定音量。而且，在固定周期读出存储于音源数据存储器22中的声音数据中的处理单元(320字节)的声音数据并写入到非延迟缓冲区域15a中，基于表示处理单位时间前、后的各个人物的位置和声音发生物体的位置的各个坐标数据，求出从人物见到的声音发生物体的方向变化量(角度)，基于运算求得对应于方向变化量的延迟时间。此外，也可以预先设定每个方向角度预定表代替运算处理，并从其表读出延迟时间数据来决定延迟时间。这样，对应于决定的延迟时间、决定延迟缓冲区域15b的写入区域。而且，声音处理单元12在读出存储于非延迟缓冲区域15a中存储的音源数据并作为第1系统的音源数据输出的同时，将第1系统的音源数据写入到对应于延迟时间的延迟缓冲区域15b的地址中，而且借助于从延迟缓冲区域15b的最后地址读出音源数据、输出作为较第1系统的声音数据仅延迟所要的延迟时间的第2系统的音源数据。这里，第1系统的声音信号和第2系统的声音信号不是分别固定地对应左右扬声器(或者耳机的左右发音体)，而且使第1系统对应于光延迟的声音信号的通道并使第2系统对应于延迟了的声音信号的通道。而且，在判断声音发生物体存在于较人物(或者摄像机物镜视角位置)的正面的左边时，声音处理单元12将第1系统的声音数据提供给左用的数字-模拟变换电路16a中，同时将第2系统的声音数据提供给在用的数字-模拟变换电路16b中。
相反，在判断声音发生物体存在于较人物的正面的右边时，声音处理单元12将第1系统的声音数据提供给右用的数字-模拟变换电路16b中，同时将第2系统的声音数据提供给左用的数字-模拟变换电路16a中。也就是说，基于声音发生物体存在于从人物见到的左右的那一侧，声音处理单元12切换成每个单位时间应该对应分别提供第1系统和第2系统的声音数据的数字-模拟变换电路16a、16b(或者16b、16a)的组合。借助于各数字-模拟变换电路16a、16b分别将输入的声音数据从数字变换成模拟信号，发生声音信号并提供给对应于各自声音信号的滤波器17a、17b。借助于滤波器17a、17分别插入处理左右声音信号，形成平滑的声音信号波形并提供给与电视机40关连设置的左右扬声器42L、42R中、和/或通过耳机插座43提供给耳机44，发生声音或音响。
此外，声音处理单元12包括音量控制单元12a，这种音量控制单元12a求得声音发出物体和人物(摄像机物镜视角位置)的距离、对应于距离对音量进行控制。例如，音量控制单元12a对音量进行控制，使得当人物接近声音发生物体、距离接近时音量就增大，相反当人物远离声音发生物体、距离远离时音量就减小。具体地，当与人物和声音发生物体间的距离的平方成反比地控制音量时，对应于由于人物的移动或者摄像机物镜视角的视线移动的三维图像显示的变化、能使效果音响的音场感变化。
借助于每个单元时间重复进行以上的动作，与图像变化同步、发生使用于游戏的效果音响或者游戏气氛增强的BGM音乐(游戏音乐)。而且，基于从人物或者摄像机物镜视角位置(摄像机物镜视角位置等)见到的声音发生物体的方向或者角度，声音处理单元12控制第1系统和第2系统的声音数据的输出定时间隔(相对于一方的另一方延迟量)，同时借助于基于摄像机物镜视角位置等和声音发生物体的距离对音量进行控制，其结果与对应于对于从摄像机物镜视角位置等见到的声音发生物体的视线移动的三维图像变化同步、对从左右扬声器42L、42R或者耳机44听到的声音或者音响进行三维的变化。
而且，令人满意的是，为了更加真实地表现三维的音响效果，在控制左右音的延迟量的场合，以不是从最小音量到最大音量的最大范围，而是限制或者抑制音量控制的范围地对音量控制范围进行控制为佳。利用人物的移动或者出现遮音的物体，在人物和声音发生物体之间存在遮住声音的遮音物体(例如房屋、墙壁等的建筑物和船舶、飞机等大的移动物体)的场合，音量控制单元12a采用较现有更极端地降低音量电平地控制，则能得到更加真实的音响效果。
接着，对图1的原理方框图中基于有无第1系统和第2系统的两声音信号的延迟的延迟时间和音量变化的关系具体地进行说明。通过图像处理单元11和声音处理单元12执行存储于图像·程序数据存储器21中的程序、完成这种场合的动作。为此，将用于如图3-图6的特性图那样的进行控制的程序、预先存储在存储器21中。此外，基于程序、对用无延迟量(零)控制音量的场合(参照图3)、用有延迟量控制音量的场合(参照图4)、在有延迟量的场合中对应于声音发生物体间的距离控制音量的场合(参照图5)和基于声音发生物体和人物的位置关系(方向)控制延迟量的场合分别或者适当组合地进行。而且，作为用于实现图3～图6的特性图那样的音量控制和/或延迟量控制的具体的方法，将距离·方向和音量的关系预先数学公式化地存储成图3～图6的特性波形、根据每次运算求得，或者也可以在每个以人物或者摄像机物镜视角位置为中心的左右单位距离上表格式预先设定波形的音量值而且以距离数据作为地址读出其音量值。
首先，参照图2和图3对在无延迟量条件下控制音量的场合进行说明。例如，在不产生左右各自的声音信号的延迟量为佳的游戏场面中，在声音发生物体和人物的距离为固定的场合，从人物来看、将声音发生物体在左横(如用角度表示为0度)时的声音信号做成最大变化量，同时将右声音信号做成0(参照图3)。而且，如图2所示，随着声音发生物体按以人物为中心且仅离开规定距离r画半圆地向左移动，则如图3所示，右声音信号慢慢地增大且左声音信号慢慢地减小，当声音发生物体到达人物的正面(从左横90度的位置)时、左右声音信号的音量就相同。此外，当声音发生物体向右移动并到达人物的右横方向位置(从左横180度的位置)时、左声音信号为0且右声音信号为最大变化量。
此外，即使在声音发生物体固定且向人物移动的场合，只要声音发生物体和人物的相对位置关系与图2和图3的关系相同，则也可以相同地控制左右音量、在这种声音发生物体固定且向人物移动的场合，即使为图4～图6的特性图的场合也相同。但是，与乘以声音发生物体和人物的距离的某个系数的值成反比那样在图3的特性变化中加以校正、控制音量的增减是令人满意的。
接着，参照图2和图4对在有延迟量的条件下控制音量的场合进行说明。借助于用左右声音信号的延迟量的关系控制音量，在与三维的显示一起控制音量的游戏场面，从人物看、声音发生物体在左横方向时、左声音信号为最大变化量，同时在声音信号为例如最大变化量的1/2左右(参照图4)。这样，在有延迟的场合，最小音量为非0、为最大音量(或者最大变化量)的1/2，其理由为借助于使左右声音信号延迟、对左右音量在最大范围即使不附加差量也能得到三维的音响效果。而且，如图2所示，随着声音发生物体按以人物为中心仅离开规定距离r画半圆地向右移动，则如图4所示，右声音信号慢慢地增大且左声音信号慢慢地减小，当声音发生物体到达人物的正面时，左右声音信号的音量就相同。此外，当声音发生物体向右移动并到达人物的右横方向位置时，右声音信号为最大变化量且左声音信号为最大变化量的1/2。
接着，参照图2和图5对如图4所示有延迟量的条件下控制音量的场合的距离和音量的关系进行说明。当声音发生物体存在于距离人物半径r的范围内时，由从人物见到的声音发生物体的方向或者位置、使音量在最大变化量和最小变化量的范围变化。其理由是因为如果声音发生物体在某个短的距离r的范围，则对于距离的变化音量变化小。而且，如图2所示，当声音发生物体存在于人物的正面时，左右音量取最大变化量和最小变化量中间的值。另一方面，随着声音发生物体远离半径方向，使音量按指数函数减小地变化，当离开某个长距离以上时、音量为0。
接着，参照图2和图6对控制对于声音发生物体和人物位置和延迟量的场合进行说明。当人物向着正面且声音发生物体存在于正面时，必须没有左声音信号和左声音信号的延迟量，即使人物仅仅左右稍微移动一点，如果控制延迟量的一侧改变，则会在图像显示的关系上产生失调，这里，在离图6所示的中心(摄像机物镜视角)位置左右一定距离的范围、使延迟量不变地进行控制。也就是说，从人物看、声音发生物体在左横方向时，左声音信号的延迟量为0，同时右声音信号为最大延迟量。而且，随着声音发生物体按以人物为中心仅离开规定距离画半圆地向右移动，则右延迟量减小、在离中心位置左右一定距离的范围内、左右声音信号的延迟量为0，按从中心位置右边仅离开固定距离的位置向右移动，则右延迟量保持为0且左延迟量慢慢地增大。
实施例
下面，对本申请发明的具体实施例进行说明。
图7表示本发明一实施例的音响发生装置的方框图。本实施例的音响发生装置适用于电视游戏机50场合的结构，与图1中原理方框图的不同点是用电视游戏机50代替处理装置主体10，用主CPU(M-CPU)51和两个精简指令集CPU(R-CPU)52、53代替图像处理单元11构成电视游戏机50，用大存储容量工作RAM(W-RAM)55构成图像存储器13和缓冲存储器15，声音处理单元12采用由一个R-CPU53兼用于图像处理和声音处理的方式。这样，由三个CPU(M-CPU51、R-CPU52、R-CPU53)构成图像处理单元11，由一个R-CPU53兼用声音处理单元，其理由是因为能用比图像处理短的时间对声音处理进行处理。由大容量(例如4MB)的一个W-RAM55构成图像存储器13和缓冲存储器15，其理由是因为增加了分配存储器空间的自由度并能对应于使用目的灵活地设定图像处理和声音处理的使用时间分配。
为了控制多个操作器(或者控制器)30的输入输出，设置控制器控制电路56，同时为了控制M-CPU51、ROCPU52、R-CPU53和W-RAM以及外部存储器20或者控制器控制电路56等的数据传送或者输入输出，设置输入输出控制电路(I/O)57。此外，为了装卸自如地安装外部存储器20，设置卡盘用连接器581，为了将操作器30装卸自如地连接在控制器控制电路56上、设置控制器用连接器582～583，为了将滤波器17a、17b连接在电视机40的扬声器42L、42R或者耳机44上、设置音频用连接器584、585，为了将图像信号发生电路14连接到显示器41上、设置图像信号用连接器586。在下面的说明中，将各种连接器581～586简单地称为“连接器”。其它的结构因与图1相同，所以用相同的标号表示相同的部分并省略具体结构的说明。
此外，作为信息存储媒体的外部存储器20，也可以用光学存储数据的CD-ROM、或者磁性存储数据的磁盘、或者光磁盘等的其它各种记录或者存储媒体，代替ROM卡盘。这种场合，有必要设置对应于信息存储媒体种类的记录重放装置、从信息存储媒体读出一部分数据并将其暂时存储在内部的W-RAM55的一部分的存储器空间中。
图8图解地表示W-RAM55的存储器空间图。W-RAM55基于预先程序设定于外部存储器20的图像·程序存储器21的程序、划分存储器空间，下面是说明的一例。W-RAM55包括传送存储于图像·程序存储器21中的程序的一部分并被存储的程序区域55a、存储一帧(图像帧)的图像数据的帧存储器区域55b、存储每个物体或者人物的进深坐标数据的Z缓冲区域55c、图像数据区域55d、用于声音数据处理的声音存储器区域15、控制缓冲数据存储区域55e和工作用存储器区域55f。
声音存储器区域15对应于图1所示的缓冲存储器，如图8所示，包括非延迟缓冲器区域15a、延迟缓冲器区域15b和物体的坐标数据存储区域15c。非延迟缓冲区域15a、延迟缓冲区域15b如图9详细所示的构成其存储器结构，如图所示地进行数据的写入/读出。也就是说，在将处理单元的声音数据写入/读出于非延迟缓冲区域15a中的场合，借助于每向起始地址写入1字节的声音数据、使先前写入的数据向下一个地址依次移位1字节，用先进先出方式写入、从最后地址开始读出并输出作为第1通道(CH1)的声音数据(读出数据)。这时，从非延迟缓冲存储器15a读出的第1通道的声音数据原样地写入延迟缓冲存储器15b的起始地始、并由存储延迟缓冲存储器15b的读出地址的地址寄存器(包含于R-CPU53中的内部寄存器)15d、以指定的地址的声音数据作第2通道的声音数据读出、输出第2通道(CH2)的声音数据。这时，从延迟缓冲存储器15b的起始地址到由地址寄存器15d指定的读出地址的地址(字节)数、作为相对于第1通道音响的第2通道音响的延迟时间。但是，在这种场合，虽然延迟缓冲存储器15b的存储容量用相当于最大延迟时间的容量已足够，但R-CPU53的读出控制成为复杂的程序。另一方面，在第2通道的音响与第1通道相比没有必要延迟的场合，借助于将由地址寄存器15d指定的读出地址设定成与延迟缓冲区域15b的写入地址相同的起始地址来达到。为此，能大范围地变化延迟时间。
此外，在图9所示的实施例中，虽然表示声音存储器区域(或者声音处理用缓冲存储器)15的存储容量在最小限定范围有效地使用的场合，但如果存储容量有多余、也可以做成图10所示的存储器结构。在图10中，延迟缓冲区域15b’选成将非延迟缓冲区域15a和延迟缓冲区域15b的存储容量合在一起的容量(15b’＝15a+15b)。而且，与图9相同地进行第1通道(CH1)的声音数据的写入及读出，但第2通道(CH2)的声音数据的写入及读出按下面所述进行。也就是说，在内装于R-CPU53中的地址寄存器15e中，由R-CPU53写入对应于延迟时间的写入地地址值。而且，在由写入寄存器15e指定的地址中，同时写入和第1通道相同声音数据。借助于从延迟缓冲区域15b’的最后地址、进行延迟缓冲区域15b’的读出(第2通道的音响的发生)，较第1通道的相同声音数据的读出(第1通道的音响发生)时间，仅延迟与从对应于延迟缓冲区域15b的地址数减去地址寄存器15e的地址值的地址数成正比的时间。
另一方面，物体坐标数据区域15c是存储显示画面上发生声音物体的坐标数据的区域。例如，物体1的坐标数据区域存储发生对方特征和瀑布等声音的第1物体的坐标数据，借助于操作者对操作器30进行操作移动视线、存储见到第1物体的摄像机物镜视角位置或者对应于摄像机物镜视角的人物那样的物体2的坐标数据。而且，当从物体1发生声音时，M-CPU51基于物体1的坐标数据和物体2的坐标数据、算出从物体2见到的物体1的方向和距离。此外，基于其方向和距离数据、为在图3～图6的特性图中三维的图像显示中发生最合适的三维音响效果、基于预先设定的程序、发生表示延迟时间、音量和声音种类的数据，并将表示这些延迟时间、音量和声音种类的数据提供给R-CPU53中。R-CPU53借助于进行参照图9或者图10说明的写入/读出控制，在进行分别从第1通道和第2通道发生的音响的延迟时间的控制的同时、进行音量控制。
参照图11对游戏的概略流程进行说明。一接通游戏机50的电源开关，M-CPU51和/或R-CPU52、53就进行以下的动作。也就是说，在步骤10中，显示用于游戏的起始设定的菜单画面。在步骤11中，M-CPU51判断是否按下控制器30的决定按钮(例如起始按钮)。如果判断是按下起始按钮时，进入步骤12，如果判断是没有按下起始按钮时，返回步骤10。在步骤12中，M-CPU51、R-CPU52及R-CPU53基于存储于外部存储器20中的程序数据和图像数据、进行用于游戏进行的图像显示处理。而且，在步骤13中，在显示器41上显示例如发出声音的对方特征等的物体1和作为操作者的所操作的人物的物体2、作为游戏画面的一个场面。在步骤14中，基于游戏程序，判断是否物体1应该发生声音的条件，在判断是应该发生声音的条件的场合，进入步骤15，并进行用于声音输出的处理(下面参照图12详细地进行说明的子程序处理)。在步骤14中，判断是不应该发生声音的条件的场合，返回步骤12，并继续进行对应于游戏进行的图像显示处理。
接着，参照图12对声音输出处理的子程序的动作进行说明，在步骤20中，M-CPU51根据图8中存储于声音存储器区域中的坐标数据存储区域15c读出物体1的坐标数据和物体2的坐标数据。在步骤21中，基于物体1的坐标数据和物体2的坐标数据、算出从物体2见到的物体1的方向和距离。然后，在步骤22中，如参照图2～图6说明的那样，基于物体1的存在的方向、运算延迟量、并基于方向和距离运算音量。在步骤23中，将由运算求得的音量和延迟量的数据和表示声音种类的数据、传送到R-CPU53中。在步骤24中，R-CPU53基于声音的种类数据、从外部存储器20的音源数据存储器22读出声音帧(处理单元的声音数据)。在步骤25中，从音源数据存储器22读出的声音帧写入到图9的非延迟缓冲区域15a中。在步骤26中，基于音量数据进行声音帧的音量控制。具体地说，对应于物体1的方向的图3或者图4中L和R的音量。分别进行左右控制，并对应于物体1的距离的图5中音量进行控制。在步骤27中，从非延迟缓冲区域15a的最后地址读出音量控制的声音帧的数据。在步骤28中，读出的声音帧作为第1通道的声音数据输出。在步骤29中，R-CPU53基于延迟量数据判断是否有延迟。在判断没有延迟的场合，进入步骤30、并将从非延迟缓冲区域15a读出的声音帧作为第2通道的声音数据输出。
另一方面，在判断有延迟的场合，进入步骤31、并将从非延迟缓冲区域15a读出的声音帧写入延迟缓冲区域15b。在步骤32中，R-CPU53判断前次延迟量和本次延迟量是否相同，在判断是不相同的场合，进入步骤33、并进行声音帧的再取样处理。也就是说，当本次延迟量较前次延迟量小时，仅压缩延迟量变化部分的声音帧，当本次延迟量较前次延迟量大时，仅伸长延迟量变化部分的声音帧。而且，在步骤33进行声音帧的再取样处理后、进入步骤34。
另一方面，在步骤32中，在判断是相同的场合，进入步骤34。在当本次延迟量是发音起始时的场合，因不能与前次延迟量比较，所以认为是相同、进入步骤34。在步骤34中R-CPU53基于延迟量、在延迟缓冲地址寄存器15d中指定地址值。在步骤35中，从指定的地址读出在延迟缓冲区域15b中写入的声音帧、作为第2通道的声音数据输出。
接着，对前述的步骤29～35、参照图13、图14和图15的时间图对有无延迟量、以及有延迟量时可变延迟量场合的具体动作进行说明。
在前述的步骤29中，在判断无延迟量的场合，声音数据输出为如图13所示的时间图。在本例中，处理单元的声音数据(声音帧)的时间长选成例如1/240秒(约4ms)。而且，在声音帧1输出时，因不必在第1通道和第2通道进行延迟处理，所以R-CPU53在第1通道和第2通道中同时输出声音帧1。对于声音帧2以下的数据也重复这种动作。
在步骤29中，判断有延迟量时，在接着的步骤32中判断前次延迟量和本次延迟量是相同的场合(即延迟量一定)，声音数据输出为如图14所示的时间图。在本例中，在0～1/1000秒(1ms)的范围内可变控制与延迟量相当的时间，并假设第2通道具有1/2000秒(0.5ms)的固定延迟量。在发音开始时，为了在第2通道一侧形成仅与延迟量相当的时间部分的无声部分，R-CPU53使第2通道一侧的声音帧1仅比第1通道一侧的声音帧1延迟0.5ms输出。当第1通道一侧的声音帧1输出结束时，第2通道一侧的声音帧还剩下0.5ms。而且，在第1通道一侧输出处理声音帧2时，第2通道一侧先输出剩下的0.5ms声音帧1、然后转向声音帧2的输出处理。对声音帧3以下的数据也重复这种动作。因此，第2通道一侧不断较第1通道一侧延迟0.5ms输出声音数据。借助于从延迟量是否变化或者发音结束为止重复这种动作，能达到延迟量固定场合的声音输出处理。
在步骤29中，当判断有延迟量时，在接着的步骤32中判断前次延迟量和本次延迟量不同(即延迟量可变)的场合，声音数据输出为如图15所示的时间图。例如在输出处理第1通道一侧的声音帧1和声音帧2时，考察分别延迟0.5ms和0.25ms输出处理第2通道一侧的声音帧1和声音帧2(即延迟量从0.5ms变化成0.25ms)的情况，因这时的延迟变化量减少0.25ms，所以R-CPU53将第2通道一侧的声音帧1压缩仅与延迟变化部分相当的0.25ms(即对声音帧1从4ms到3.75ms中再取样)。在输出处理第1通道一侧的声音帧2时，在第2通道一侧剩下0.25ms的声音帧1、能达到从0.5ms向0.25ms的延迟量变化。接着，在输出处理第1通道一侧的声音帧3时，因第2通道一侧的延迟量变化成0.75ms，所以将第2通道一侧的声音帧2伸长，仅与延迟变化部分相当的0.5ms(即对声音帧2从4ms到4.5ms中再取样)。在输出处理第1通道一侧的声音帧3时，在第2通道一侧剩下0.75ms的声音帧2、能达到从0.25ms向0.75ms的延迟量变化。也就是说，在声音帧的时间长为n、前次延迟量为db、下次延迟量为df的场合，借助于对声音帧进行从(n)到(n+df-db)再取样处理，能达到延迟量可变场合的声音输出处理。
这样，在延迟量可变的场合，借助于对声音数据再取样处理，有能抑制数据重复和丢失的噪音发生的优点。

Claims (8)

1.一种与图像显示同步的音响发生装置，该装置在为了使摄像机物镜视角内至少能看见发出声音的第1物体在画面上显示的图像显示装置中、用于与图像显示同步发生对应于第1物体和摄像机物镜视角位置关系的音响，其特征在于，它包括发生第1系统音响的第1音响发生装置；发生第2系统音响的第2音响发生装置；数字化地存储音源数据的音源数据存储装置；暂时存储从所述音源数据存储装置发生的某个期间应该发生的音源数据的暂时存储装置；将应该发生由所述第1音响发生装置发生的第1系统音响的音源数据存储于所述暂时存储装置中而且作为第1系统用原样读出，同时根据从所述摄像机物镜视角的位置见到的所述第1物体的方向算出的延迟时间将存储于暂时存储装置中的第1系统音源数据加以延迟、并作为第2系统音源数据读出的声音处理装置；将由所述声音处理装置从暂时存储装置原样读出的第1系统音源数据变换成模拟声音信号并提供给所述第1音响发生装置的第1数字-模拟变换装置和将由所述声音处理装置从所述暂时存储装置读出的延迟的第2系统音源数据变换成模拟信号并提供给所述第2音响发生装置的第2数字-模拟变换装置。
2.如权利要求1所述的与图像显示同步的音响发生装置，其特征在于，所述声音处理装置还包括基于第1物体和摄像机物镜视角位置等的距离、对所述第1系统的音响的音量和所述第2系统的音响的音量分别地进行控制的音量控制装置。
3.如权利要求2所述的与图像显示同步的音响发生装置，其特征在于，所述音量控制装置进行控制以分别增加或减少所述第1系统音响的音量和所述第2系统音响的音量、使之与第1物体和摄像机物镜视角位置等的距离乘以某个系数的值成反比。
4.如权利要求1至权利要求3任一项所述的与图像显示同步的音响发生装置，其特征在于，所述声音处理装置在基于从摄像机物镜视角见到的第1物体的方向控制延迟时间时，所述音量控制装置按与第1物体和摄像机物镜视角位置等的距离乘以某个系数的值成反比关系抑制音量的控制范围。
5.如权利要求2所述的与图像显示同步的音响发生装置，其特征在于，设置与所述图像显示装置有关的操作装置；所述图像显示装置显示与见到第1物体的摄像机物镜视角相当的第2物体，并借助于应答使用者操作操作装置、使第2物体的显示位置变化，使第2物体和第1物体的相对距离变化；所述音量控制装置进行控制以分别增加或减少所述第1系统音响的音量和所述第2系统音响的音量、使之与在第1物体和所述第2物体的距离上乘以某个系数的值成反比。
6.如权利要求2或者权利要求3所述的与图像显示同步的音响发生装置，其特征在于，设置与所述图像显示装置有关的操作装置；所述图像显示装置显示与见到所述第1物体的摄像机物镜视角位置相当的第2物体，并借助于应答使用者操作操作装置、使第2物体的显示位置变化，使对于第1物体的方向和距离变化；所述声音处理装置在基于从所述第2物体见到的所述第1物体的方向控制延迟时间时，所述音量控制装置按与第1物体和第2物体的距离乘以某个系数的值成反比关系抑制音量的控制范围。
7.如权利要求1至权利要求6任一项所述的与图像显示同步的音响发生装置，其特征在于，所述暂时存储装置还包括暂时存储与存储于所述音源数据存储装置的音源数据中处理单元的时间相当的第1存储容量的数据的第1暂时存储装置和具有较所述第1暂时存储装置的存储容量仅多出与能延迟所述处理单元的音源数据的最大延迟时间相当的存储容量的第2存储容量、用于使处理单元的音源数据延迟读出的第2暂时存储装置；声音处理装置读出存储于所述音源数据存储装置中的处理单元的音源数据并写入所述第1暂时存储装置中，而且基于从所述摄像机物镜视角位置等见到的所述第1物体的方向、对应于算出的延迟时间、使所述第2暂时存储装置的写入地址变化并将处理单元的音源数据写入第2暂时存储装置中，为发生第1系统的音响、读出存储于所述第1暂存存储装置中的处理单元的音源数据，而且借助于为发生第2系统的音响、读出存储于第2暂时存储装置中的处理单元的音源数据、使第2系统的音源数据较第1系统的音源数据仅延迟所要的时间并读出。
8.如权利要求1至权利要求6中任一项所述的与图像显示同步的音响发生装置，其特征在于，所述暂时存储装置还包括暂时存储与存储于所述音源数据存储装置的音源数据中处理单元的时间相当的第1存储容量的数据第1暂时存储装置和具有与能延迟所述处理单元的音源数据的最大延迟时间相当容量的存储容量、用于使处理单元的音源数据延迟读出的第2暂时存储装置；声音处理装置读出存储于所述音源数据存储装置中的处理单元的音源数据并写入所述第1暂时存储装置中，而且为发生第1系统的音响、读出存储于所述第1暂时存储装置中的处理单元的音源数据，对应于基于从所述摄像机物镜视角位置等见到的所述第1物体的方向算出的延迟时间、使所述第2暂时存储装置的写入地址变化并将发生从所述第1暂时存储装置中读出的第1系统的音响的处理单元的音源数据写入所述第2暂时存储装置中，而且借助于依次读出存储于所述第2暂时存储装置中的音源数据、使第2系统的音源数据较第1系统的音源数据仅延迟所要的时间并读出。
CN97113616A 1996-06-12 1997-06-12 与图像显示同步的音响发生装置 Expired - Fee Related CN1118019C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP174307/96 1996-06-12
JP17430796 1996-06-12
JP174307/1996 1996-06-12
JP241312/1996 1996-08-22
JP8241312A JPH1063470A (ja) 1996-06-12 1996-08-22 画像表示に連動する音響発生装置
JP241312/96 1996-08-22

Publications (2)

Publication Number Publication Date
CN1169559A true CN1169559A (zh) 1998-01-07
CN1118019C CN1118019C (zh) 2003-08-13

Family

ID=26495969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN97113616A Expired - Fee Related CN1118019C (zh) 1996-06-12 1997-06-12 与图像显示同步的音响发生装置

Country Status (7)

Country Link
US (2) US5754660A (zh)
EP (1) EP0813351B1 (zh)
JP (1) JPH1063470A (zh)
CN (1) CN1118019C (zh)
CA (1) CA2185966C (zh)
DE (2) DE69636666T8 (zh)
TW (1) TW324807B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100553372C (zh) * 2003-05-15 2009-10-21 弗兰霍菲尔运输应用研究公司 用于计算扬声器信号中成分的离散值的装置和方法
CN102314917A (zh) * 2010-07-01 2012-01-11 北京中星微电子有限公司 一种影音文件的播放方法及播放装置
CN104036789A (zh) * 2014-01-03 2014-09-10 北京智谷睿拓技术服务有限公司 多媒体处理方法及多媒体装置
CN104715753A (zh) * 2013-12-12 2015-06-17 联想(北京)有限公司 一种数据处理的方法及电子设备
CN105451139A (zh) * 2014-06-24 2016-03-30 索尼公司 声音信号处理方法、装置和移动终端
CN107885331A (zh) * 2017-11-09 2018-04-06 北京易讯理想科技有限公司 一种基于增强现实技术实现音频切换的交互方法

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69625523T2 (de) 1995-05-10 2003-07-10 Nintendo Co Ltd Steuergerät mit analogem Joystick
US6241611B1 (en) 1995-05-10 2001-06-05 Nintendo Co., Ltd. Function expansion device and operating device using the function expansion device
CN1149465C (zh) * 1995-10-09 2004-05-12 任天堂株式会社 三维图像显示游戏机系统和三维图像处理方法
US6007428A (en) * 1995-10-09 1999-12-28 Nintendo Co., Ltd. Operation controlling device and video processing system used therewith
US6283857B1 (en) 1996-09-24 2001-09-04 Nintendo Co., Ltd. Three-dimensional image processing apparatus with enhanced automatic and user point of view control
JP3544268B2 (ja) 1995-10-09 2004-07-21 任天堂株式会社 三次元画像処理装置およびそれを用いた画像処理方法
JP3524247B2 (ja) 1995-10-09 2004-05-10 任天堂株式会社 ゲーム機およびそれを用いたゲーム機システム
GB2313432B (en) * 1995-11-10 2000-06-21 Nintendo Co Ltd Joystick device
US6155926A (en) 1995-11-22 2000-12-05 Nintendo Co., Ltd. Video game system and method with enhanced three-dimensional character and background control
US6022274A (en) 1995-11-22 2000-02-08 Nintendo Co., Ltd. Video game system using memory module
US6267673B1 (en) 1996-09-20 2001-07-31 Nintendo Co., Ltd. Video game system with state of next world dependent upon manner of entry from previous world via a portal
US6139433A (en) 1995-11-22 2000-10-31 Nintendo Co., Ltd. Video game system and method with enhanced three-dimensional character and background control due to environmental conditions
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
US6241610B1 (en) 1996-09-20 2001-06-05 Nintendo Co., Ltd. Three-dimensional image processing system having dynamically changing character polygon number
US6244959B1 (en) 1996-09-24 2001-06-12 Nintendo Co., Ltd. Three-dimensional image processing system with enhanced character control
US6139434A (en) 1996-09-24 2000-10-31 Nintendo Co., Ltd. Three-dimensional image processing apparatus with enhanced automatic and user point of view control
JPH10211358A (ja) * 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
US6330486B1 (en) * 1997-07-16 2001-12-11 Silicon Graphics, Inc. Acoustic perspective in a virtual three-dimensional environment
JP3655438B2 (ja) 1997-07-17 2005-06-02 任天堂株式会社 ビデオゲームシステム
JPH11232487A (ja) 1998-02-13 1999-08-27 Sony Corp 情報処理装置および方法、並びに提供媒体
JP3342393B2 (ja) * 1998-03-19 2002-11-05 株式会社コナミコンピュータエンタテインメントジャパン ビデオゲーム装置、コンピュータ読み取り可能な記録媒体
JPH11272156A (ja) * 1998-03-25 1999-10-08 Sega Enterp Ltd 仮想三次元音像生成装置及びその方法並びに媒体
US6093880A (en) * 1998-05-26 2000-07-25 Oz Interactive, Inc. System for prioritizing audio for a virtual environment
US6647119B1 (en) * 1998-06-29 2003-11-11 Microsoft Corporation Spacialization of audio with visual cues
US6309301B1 (en) * 1998-08-10 2001-10-30 Namco Ltd. Game communication with synchronization of soundtrack system
JP2982147B1 (ja) 1998-10-08 1999-11-22 コナミ株式会社 背景音切替装置、背景音切替方法、背景音切替プログラムが記録された可読記録媒体及びビデオゲーム装置
JP2000112485A (ja) * 1998-10-08 2000-04-21 Konami Co Ltd 背景音制御装置、背景音制御方法、背景音制御プログラムが記録された可読記録媒体及びビデオゲーム装置
US6712703B2 (en) 1998-11-19 2004-03-30 Nintendo Co., Ltd. Video game apparatus and information storage medium for video game
US6612930B2 (en) 1998-11-19 2003-09-02 Nintendo Co., Ltd. Video game apparatus and method with enhanced virtual camera control
JP2000153061A (ja) * 1998-11-19 2000-06-06 Nintendo Co Ltd ビデオゲーム装置およびビデオゲーム用情報記憶媒体
JP2000210471A (ja) * 1999-01-21 2000-08-02 Namco Ltd ゲ―ム機用音声装置および情報記録媒体
JP2000258170A (ja) * 1999-03-04 2000-09-22 Sony Corp ナビゲーション装置
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
US6625509B1 (en) 1999-03-05 2003-09-23 R & F Industries, Llc Automated multisection rail material list generation system and method
JP2000267675A (ja) * 1999-03-16 2000-09-29 Sega Enterp Ltd 音響信号処理装置
US6280329B1 (en) * 1999-05-26 2001-08-28 Nintendo Co., Ltd. Video game apparatus outputting image and music and storage medium used therefor
KR100340043B1 (ko) * 1999-12-23 2002-06-12 오길록 보정된 표준 머리전달함수를 이용한 입체 음향 재생방법
US6351733B1 (en) * 2000-03-02 2002-02-26 Hearing Enhancement Company, Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
JP4095227B2 (ja) * 2000-03-13 2008-06-04 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ビデオゲームにおける背景音出力設定方法及び背景音出力設定プログラムが記録されたコンピュータ読み取り可能な記録媒体
US6879952B2 (en) 2000-04-26 2005-04-12 Microsoft Corporation Sound source separation using convolutional mixing and a priori sound source knowledge
JP2002102532A (ja) * 2000-06-06 2002-04-09 Sony Computer Entertainment Inc 情報処理システム、方法、コンピュータプログラム、記録媒体、半導体デバイス
JP4679699B2 (ja) 2000-08-01 2011-04-27 ソニー株式会社 音声信号処理方法及び音声信号処理装置
JP2002052243A (ja) * 2000-08-11 2002-02-19 Konami Co Ltd 対戦式ビデオゲーム装置
IT1318909B1 (it) * 2000-09-21 2003-09-19 Dmc Villa Tosca S R L Dispositivo per la generazione di immagini astratte sulla base disuoni
JP3991583B2 (ja) * 2000-11-24 2007-10-17 株式会社セガ 画像表示方法、コンピュータゲーム処理方法及び記録媒体
JP2002258842A (ja) * 2000-12-27 2002-09-11 Sony Computer Entertainment Inc 音声制御装置、音声制御方法、音声制御プログラム、音声制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体、音声制御プログラムを実行するプログラム実行装置
GB2370954B (en) * 2001-01-04 2005-04-13 British Broadcasting Corp Producing a soundtrack for moving picture sequences
US7648416B2 (en) * 2001-02-08 2010-01-19 Sony Computer Entertainment Inc. Information expressing method
JP3435156B2 (ja) * 2001-07-19 2003-08-11 松下電器産業株式会社 音像定位装置
GB2381175B (en) * 2001-08-29 2004-03-31 Bin-Ren Ching Audio control arrangement and method
US20030119575A1 (en) * 2001-12-21 2003-06-26 Centuori Charlotte S. Method and apparatus for playing a gaming machine with a secured audio channel
JP3939189B2 (ja) * 2002-04-17 2007-07-04 パナソニック コミュニケーションズ株式会社 情報処理装置、製品の組立工程表示用プログラム、及び製品の組立工程表示方法
JP2003325972A (ja) * 2002-05-17 2003-11-18 Nintendo Co Ltd 傾き操作に関連して音と画像を変化させるゲーム装置およびそのゲームプログラム
JP3534345B1 (ja) * 2002-10-22 2004-06-07 コナミ株式会社 ゲームプログラム及びゲーム装置
US7338373B2 (en) * 2002-12-04 2008-03-04 Nintendo Co., Ltd. Method and apparatus for generating sounds in a video game
US7371175B2 (en) * 2003-01-13 2008-05-13 At&T Corp. Method and system for enhanced audio communications in an interactive environment
DE10305820B4 (de) * 2003-02-12 2006-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bestimmen einer Wiedergabeposition
US7606372B2 (en) * 2003-02-12 2009-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for determining a reproduction position
US7164423B1 (en) * 2003-04-30 2007-01-16 Apple Computer, Inc. Method and apparatus for providing an animated representation of a reorder operation
US20040219980A1 (en) * 2003-04-30 2004-11-04 Nintendo Co., Ltd. Method and apparatus for dynamically controlling camera parameters based on game play events
US20050173267A1 (en) * 2003-08-13 2005-08-11 Jitendran Muthuswamy Acoustic immunosensor for detecting neurotransmitter GABA
US7208669B2 (en) * 2003-08-25 2007-04-24 Blue Street Studios, Inc. Video game system and method
DE10355146A1 (de) * 2003-11-26 2005-07-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Tieftonkanals
US20050193145A1 (en) * 2004-02-26 2005-09-01 International Business Machines Corporation Providing a portion of an electronic mail message based upon digital rights
CN101006110A (zh) * 2004-04-05 2007-07-25 迈克尔·A.·韦塞利 水平透视交互式模拟器
US20050219240A1 (en) * 2004-04-05 2005-10-06 Vesely Michael A Horizontal perspective hands-on simulator
US20050248566A1 (en) * 2004-04-05 2005-11-10 Vesely Michael A Horizontal perspective hands-on simulator
JP4207832B2 (ja) * 2004-04-16 2009-01-14 船井電機株式会社 デジタルデータ再生装置
US20050233719A1 (en) * 2004-04-20 2005-10-20 Demoor Robert G Apparatus and method for improved performance in a digital radio
US7818077B2 (en) * 2004-05-06 2010-10-19 Valve Corporation Encoding spatial data in a multi-channel sound file for an object in a virtual environment
KR20070052260A (ko) * 2004-06-01 2007-05-21 마이클 에이 베슬리 수평 원근법 디스플레이
JP3827693B2 (ja) * 2004-09-22 2006-09-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置制御方法、ならびに、プログラム
KR20070070166A (ko) * 2004-10-21 2007-07-03 로무 가부시키가이샤 발음 방법, 음원 회로, 그것을 이용한 전자 회로 및 전자기기
US20060126927A1 (en) * 2004-11-30 2006-06-15 Vesely Michael A Horizontal perspective representation
WO2006121957A2 (en) * 2005-05-09 2006-11-16 Michael Vesely Three dimensional horizontal perspective workstation
US8717423B2 (en) 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
US20060252978A1 (en) * 2005-05-09 2006-11-09 Vesely Michael A Biofeedback eyewear system
US7875132B2 (en) * 2005-05-31 2011-01-25 United Technologies Corporation High temperature aluminum alloys
JP4802580B2 (ja) * 2005-07-08 2011-10-26 ヤマハ株式会社 オーディオ装置
WO2007022343A2 (en) * 2005-08-17 2007-02-22 Wms Gaming Inc. Wagering game system with independent volume control
US20070043466A1 (en) * 2005-08-18 2007-02-22 Vesely Michael A Stereoscopic display using polarized eyewear
US20070040905A1 (en) * 2005-08-18 2007-02-22 Vesely Michael A Stereoscopic display using polarized eyewear
US20090247298A1 (en) * 2005-09-09 2009-10-01 Kabushiki Kaisha Sega Game Device, Game System, and Game System Sound Effect Generation Method
EP1973488A1 (en) * 2006-01-25 2008-10-01 University College Cardiff Consultants, Ltd. Enclosure for surgical procedures
JP4905648B2 (ja) * 2006-02-21 2012-03-28 学校法人東京理科大学 車両用刺激提示装置及び刺激提示方法
US8037414B2 (en) * 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
JP5000989B2 (ja) * 2006-11-22 2012-08-15 シャープ株式会社 情報処理装置、情報処理方法およびプログラム
JP5050721B2 (ja) * 2007-08-06 2012-10-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20090253512A1 (en) * 2008-04-07 2009-10-08 Palo Alto Research Center Incorporated System And Method For Providing Adjustable Attenuation Of Location-Based Communication In An Online Game
US8616970B2 (en) * 2008-04-07 2013-12-31 Palo Alto Research Center Incorporated System and method for managing a multiplicity of text messages in an online game
US8265252B2 (en) * 2008-04-11 2012-09-11 Palo Alto Research Center Incorporated System and method for facilitating cognitive processing of simultaneous remote voice conversations
US20100098258A1 (en) * 2008-10-22 2010-04-22 Karl Ola Thorn System and method for generating multichannel audio with a portable electronic device
US8477970B2 (en) * 2009-04-14 2013-07-02 Strubwerks Llc Systems, methods, and apparatus for controlling sounds in a three-dimensional listening environment
CN101923554A (zh) * 2009-06-11 2010-12-22 鸿富锦精密工业（深圳）有限公司 网页查找方法
US8724834B2 (en) * 2010-01-06 2014-05-13 Honeywell International Inc. Acoustic user interface system and method for providing spatial location data
US8717360B2 (en) 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
CN102714708B (zh) * 2010-02-12 2016-06-01 汤姆森特许公司 用于同步内容播放的方法
KR101844511B1 (ko) * 2010-03-19 2018-05-18 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR101717787B1 (ko) * 2010-04-29 2017-03-17 엘지전자 주식회사 디스플레이장치 및 그의 음성신호 출력 방법
JP2011254967A (ja) * 2010-06-08 2011-12-22 Universal Entertainment Corp ゲーミングマシン
JP5555068B2 (ja) * 2010-06-16 2014-07-23 キヤノン株式会社 再生装置及びその制御方法及びプログラム
JP5573426B2 (ja) * 2010-06-30 2014-08-20 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
KR20120053587A (ko) * 2010-11-18 2012-05-29 삼성전자주식회사 디스플레이장치 및 그 사운드 제어방법
AR084091A1 (es) 2010-12-03 2013-04-17 Fraunhofer Ges Forschung Adquisicion de sonido mediante la extraccion de informacion geometrica de estimativos de direccion de llegada
CN103493513B (zh) 2011-04-18 2015-09-09 杜比实验室特许公司 用于将音频上混以便产生3d音频的方法和系统
US8786529B1 (en) 2011-05-18 2014-07-22 Zspace, Inc. Liquid crystal variable drive voltage
KR101901908B1 (ko) * 2011-07-29 2018-11-05 삼성전자주식회사 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치
JP5969200B2 (ja) 2011-11-11 2016-08-17 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2013102842A (ja) * 2011-11-11 2013-05-30 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
EP2706531A1 (en) * 2012-09-11 2014-03-12 Nokia Corporation An image enhancement apparatus
US9504919B2 (en) 2013-05-31 2016-11-29 Cadillac Jack, Inc. Vertical and horizontal perception audio for a gaming device
GB2523353B (en) * 2014-02-21 2017-03-01 Jaguar Land Rover Ltd System for use in a vehicle
CN104134226B (zh) * 2014-03-12 2015-08-19 腾讯科技（深圳）有限公司 一种虚拟场景中的声音模拟方法、装置及客户端设备
US11900734B2 (en) 2014-06-02 2024-02-13 Accesso Technology Group Plc Queuing system
GB201409764D0 (en) 2014-06-02 2014-07-16 Accesso Technology Group Plc Queuing system
JP5882403B2 (ja) * 2014-06-25 2016-03-09 株式会社カプコン 効果音加工プログラム及びゲーム装置
JP6390277B2 (ja) * 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US9749746B2 (en) * 2015-04-29 2017-08-29 Fortemedia, Inc. Devices and methods for reducing the processing time of the convergence of a spatial filter
CN105740029B (zh) * 2016-03-03 2019-07-05 腾讯科技（深圳）有限公司 一种内容呈现的方法、用户设备及系统
CN105959481B (zh) * 2016-06-16 2019-04-30 Oppo广东移动通信有限公司 一种场景音效的控制方法、及电子设备
CN106708268B (zh) * 2016-12-28 2019-08-30 深圳市中兴移动软件有限公司 一种实现应用交互处理的方法及装置
CN106843801B (zh) * 2017-01-10 2019-09-17 福建省天奕网络科技有限公司 音效的拟合方法及其系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4281833A (en) * 1978-03-20 1981-08-04 Sound Games, Inc. Audio racquet ball
US4281883A (en) * 1979-11-19 1981-08-04 Zacky Ralf G Panel molding support structure
JPS609397A (ja) * 1983-06-29 1985-01-18 Fuji Electric Co Ltd 誘導電動機用電力変換装置
JPS62155879A (ja) * 1985-12-27 1987-07-10 シャープ株式会社 パ−ソナルコンピユ−タ
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US4792974A (en) * 1987-08-26 1988-12-20 Chace Frederic I Automated stereo synthesizer for audiovisual programs
US5105462A (en) * 1989-08-28 1992-04-14 Qsound Ltd. Sound imaging method and apparatus
US5046097A (en) * 1988-09-02 1991-09-03 Qsound Ltd. Sound imaging process
FI111789B (fi) * 1989-01-10 2003-09-15 Nintendo Co Ltd Elektroninen pelilaite, jossa on mahdollisuus pseudostereofoniseen äänen kehittämiseen
GB8924334D0 (en) * 1989-10-28 1989-12-13 Hewlett Packard Co Audio system for a computer display
US5138660A (en) * 1989-12-07 1992-08-11 Q Sound Ltd. Sound imaging apparatus connected to a video game
US5052685A (en) * 1989-12-07 1991-10-01 Qsound Ltd. Sound processor for video game
JP3047185B2 (ja) * 1990-01-26 2000-05-29 任天堂株式会社 ディジタル音源装置、およびそれに用いられる外部メモリカートリッジ
US5212733A (en) * 1990-02-28 1993-05-18 Voyager Sound, Inc. Sound mixing device
US5095507A (en) * 1990-07-24 1992-03-10 Lowe Danny D Method and apparatus for generating incoherent multiples of a monaural input signal for sound image placement
US5666136A (en) * 1991-12-17 1997-09-09 Sony Corporation Audio equipment and method of displaying operation thereof
WO1993019525A1 (en) * 1992-03-23 1993-09-30 Euphonix, Inc. Visual dynamics management for audio instrument
JPH0679060A (ja) * 1992-09-03 1994-03-22 Funai Electric Co Ltd コンピュータ機器
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5633993A (en) * 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
GB9307934D0 (en) * 1993-04-16 1993-06-02 Solid State Logic Ltd Mixing audio signals
JP3578783B2 (ja) * 1993-09-24 2004-10-20 ヤマハ株式会社 電子楽器の音像定位装置
GB2294854B (en) * 1994-11-03 1999-06-30 Solid State Logic Ltd Audio signal processing
JP3528284B2 (ja) * 1994-11-18 2004-05-17 ヤマハ株式会社 ３次元サウンドシステム
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
US5798922A (en) * 1997-01-24 1998-08-25 Sony Corporation Method and apparatus for electronically embedding directional cues in two channels of sound for interactive applications

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100553372C (zh) * 2003-05-15 2009-10-21 弗兰霍菲尔运输应用研究公司 用于计算扬声器信号中成分的离散值的装置和方法
CN102314917A (zh) * 2010-07-01 2012-01-11 北京中星微电子有限公司 一种影音文件的播放方法及播放装置
CN104715753A (zh) * 2013-12-12 2015-06-17 联想(北京)有限公司 一种数据处理的方法及电子设备
CN104036789A (zh) * 2014-01-03 2014-09-10 北京智谷睿拓技术服务有限公司 多媒体处理方法及多媒体装置
CN105451139A (zh) * 2014-06-24 2016-03-30 索尼公司 声音信号处理方法、装置和移动终端
CN107885331A (zh) * 2017-11-09 2018-04-06 北京易讯理想科技有限公司 一种基于增强现实技术实现音频切换的交互方法

Also Published As

Publication number Publication date
JPH1063470A (ja) 1998-03-06
CA2185966C (en) 2006-04-25
CA2185966A1 (en) 1997-12-13
TW324807B (en) 1998-01-11
DE69636666T8 (de) 2008-06-26
AU6577396A (en) 1997-12-18
US5754660A (en) 1998-05-19
AU713367B2 (en) 1999-12-02
EP0813351A3 (en) 2004-03-17
EP0813351B1 (en) 2006-11-02
CN1118019C (zh) 2003-08-13
DE69636666T2 (de) 2007-10-04
EP0813351A2 (en) 1997-12-17
US5862229A (en) 1999-01-19
DE69636666D1 (de) 2006-12-14

Similar Documents

Publication Publication Date Title
CN1118019C (zh) 与图像显示同步的音响发生装置
US6766028B1 (en) Headtracked processing for headtracked playback of audio signals
EP1565035B1 (en) Dynamic sound source and listener position based audio rendering
US5521981A (en) Sound positioner
CN102395098B (zh) 生成3d声音的方法和设备
US7027600B1 (en) Audio signal processing device
US6643744B1 (en) Method and apparatus for pre-fetching audio data
CN1130664C (zh) 图象处理装置及方法
US5977471A (en) Midi localization alone and in conjunction with three dimensional audio rendering
US7563168B2 (en) Audio effect rendering based on graphic polygons
KR20170106063A (ko) 오디오 신호 처리 방법 및 장치
CN110377265A (zh) 声音播放方法及装置
CA2355794C (en) Method and apparatus for pre-caching data in audio memory
US6208346B1 (en) Attribute information presenting apparatus and multimedia system
US20220377489A1 (en) Apparatus and Method for Reproducing a Spatially Extended Sound Source or Apparatus and Method for Generating a Description for a Spatially Extended Sound Source Using Anchoring Information
US7369665B1 (en) Method and apparatus for mixing sound signals
US5812675A (en) Sound reproducing array processor system
US20040196983A1 (en) Reverberation apparatus controllable by positional information of sound source
JPH09160549A (ja) 三次元音響提示方法および装置
JPH11149565A (ja) 画像音響処理装置、画像音響処理方法および記録媒体
JP7458127B2 (ja) 処理システム、音響システム及びプログラム
JP2000505627A (ja) 音声再生アレイプロセッサシステム
JP2024057795A (ja) 音処理方法、音処理装置、および音処理プログラム
JP5055470B2 (ja) サウンドプロセッサ
Braasch et al. A" Tonmeister" approach to the positioning of sound sources in a multichannel audio system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20030813

Termination date: 20120612