CN107211216A - 用于提供虚拟音频再现的方法和装置 - Google Patents

用于提供虚拟音频再现的方法和装置 Download PDF

Info

Publication number
CN107211216A
CN107211216A CN201580074093.5A CN201580074093A CN107211216A CN 107211216 A CN107211216 A CN 107211216A CN 201580074093 A CN201580074093 A CN 201580074093A CN 107211216 A CN107211216 A CN 107211216A
Authority
CN
China
Prior art keywords
user
distance
predefined
audio
audibly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580074093.5A
Other languages
English (en)
Other versions
CN107211216B (zh
Inventor
L·卡凯南
A·韦泰克
M·雨希塔洛
M·昂卡拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN107211216A publication Critical patent/CN107211216A/zh
Application granted granted Critical
Publication of CN107211216B publication Critical patent/CN107211216B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • G10L21/034Automatic adjustment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

提供了一种方法、装置和计算机程序产品,以允许音频信号向用户提供与该音频信号的源的距离有关的附加信息,从而增加用户的情境意识。在该方法的上下文中,确定从用户到对象的距离和方向。该方法还缩放到对象的距离,以创建在用户周围的预定义声场区域内的修正距离。该方法还使得与该对象相关的音频提示被可听见地提供给用户。该音频提示使得该对象仿佛在离用户修正距离处和该方向上位于该预定义声场区域内。

Description

用于提供虚拟音频再现的方法和装置
技术领域
根据示例实施例提供了一种方法、装置和计算机程序产品,以便使至少一个与对象相关的音频提示被提供,更具体地,使至少一个音频提示被提供从而使得该对象仿佛位于用户周围的预定义声场区域内的标准化距离处。
背景技术
根据音频信号仿佛所源自的方向和音频信号仿佛所源自的距离,音频信号可以向用户提供关于该音频信号的源的信息。为了便于对音频信号的源的方向和距离进行识别,可以识别贡献于音频信号的主导声源并可以提取环境噪声。作为结果,用户听到的音频信号的较大百分比从该主导声源发出。
为了增强由音频信号提供的关于与音频信号源的距离的信息,可以修改音频信号的增益。例如,可以增加源自更靠近用户的源的音频信号的音量,而衰减源自距离用户较远的对象的音频信号。此外,可以修改音频信号的扩散性,以增强由音频信号提供的关于与音频信号源的距离的信息。例如,可以以不太扩散的方式再现源自更靠近用户的源的音频信号,而可以以更大的扩散性来再现源自离用户较远的源的音频信号。
然而,人类通常仅能够在几米的范围感知音频信号声源的距离中的差异,人类在较大距离检测音频信号声源的距离中的差异的精度会快速恶化。因此,即使基于音频信号源到用户的距离对音频信号的增益和扩散性进行修改,然而一旦源距离用户超过几米,人类可能仍然难以区分与由与用户相距不同距离处的源所产生的音频信号的距离。因此,音频信号可以有效地提供关于音频信号声源的方向的信息,但是可能受限于人类所识别的相对于到音频信号声源的距离的信息,从而限制了用户对其周围环境的感觉。
发明内容
根据示例实施例提供一种方法、装置和计算机程序产品,以允许音频信号向用户提供关于与该音频信号源的距离的附加信息,从而增加用户的情境意识。在这方面,示例实施例的方法、装置和计算机程序产品被配置为,即使在音频信号源远离用户的情况下,比如通过音频信号源与用户相距超过数米,也以允许用户以更容易地区分与用户相距不同距离处的音频信号源的方式来修改音频信号。示例实施例的方法、装置和计算机程序产品被配置为,使基于由声源产生的音频信号或人为创建的声音的音频提示被提供。在任一实例中,用户从该音频信号获得关于音频信号源的距离的附加信息,使得用户具有较大的情境意识。
在示例实施例中提供了一种方法,该方法包括确定从用户到对象的距离和方向。本示例实施例的方法还缩放到对象的距离,以创建在用户周围的预定义声场区域内的修正距离。本示例实施例的方法还使与该对象相关的音频提示被可听见地提供给用户。该音频提示使得该对象仿佛在该方向上并且在离用户修正距离远的地方位于预定义声场区域中。
在示例实施例中,该对象是声源。本示例实施例的方法还包括从该声源接收音频信号,通过使来自该声源的音频信号的表示被可听见地提供给该用户以使得音频信号仿佛从该声源的方向并且在修正距离处起源,来使至少一个音频提示被可听见地提供。在替代实施例中,该方法通过使表示该对象的人为创建的声音被可听见地提供给用户,使至少一个音频提示被可听见地提供给用户。示例实施例的方法通过用头部相关传递函数滤波器处理音频信号来创建至少一个音频提示,使至少一个音频提示被可听见地提供给用户。头部相关传递函数滤波器取决于从该用户到该对象的修正距离和方向二者。示例实施例的方法还确定用户的位置和头部方位(head bearing),并且基于用户的位置和头部方位来识别头部相关传递函数滤波器。在这方面,该方法通过基于用户的位置和头部方位确定从用户到对象的距离和方向,来确定从用户到对象的距离和方向。
在示例实施例中,预定义声场区域包括用户周围的预定义尺寸的体积。在本示例实施例中,该方法通过缩放表示对象的坐标以便位于预定义尺寸的体积内,来缩放到对象的距离以创建该修正距离。例如,预定义尺寸的体积可以是预定义半径的球体,本示例实施例的方法通过缩放表示对象的球面坐标以便位于预定义半径的球体内,来缩放表示对象的坐标。
在另一示例实施例中提供了一种装置,该装置包括至少一个处理器和至少一个存储器,至少一个存储器包括至少一个计算机程序代码,其中至少一个存储器和计算机程序代码被配置为与处理器一起使该装置至少确定从用户到对象的距离和方向。至少一个存储器和计算机程序代码还被配置为与处理器一起使示例实施例的装置:缩放到对象的距离,以创建在用户周围的预定义声场区域内的修正距离。至少一个存储器和计算机程序代码还被配置为与处理器一起使示例实施例的装置:使与该对象相关的至少一个音频提示被可听见地提供给用户,使得该对象仿佛在该方向上并且在离用户修正距离处位于预定义声场区域内。
在对象包括声源的实施例中,至少一个存储器和计算机程序代码还被配置为与处理器一起使该装置从声源接收音频信号并且通过使来自声源的音频信号的表示被提供以使得该音频信号仿佛从声源方向并且在修正距离处起源,来使至少一个音频提示被可听见地提供给用户。在替代实施例中,至少一个存储器和计算机程序代码被配置为与处理器一起使该装置:通过使表示对象的人为创建的声音被提供给用户,使至少一个音频提示被可听见地提供给用户。
至少一个存储器和计算机程序代码被配置为与处理器一起使示例实施例的装置:通过用头部相关传递函数滤波器处理音频信号来创建至少一个音频提示,使至少一个音频提示被可听见地提供给用户。头部相关传递函数滤波器取决于从用户到对象的修正距离和方向二者。在示例实施例中,至少一个存储器和计算机程序代码还被配置为与处理器一起使该装置:确定用户的位置和头部方位,并且基于用户的位置和头部方位来识别头部相关传递函数滤波器。在这方面,至少一个存储器和计算机程序代码被配置为与处理器一起使该装置:通过基于用户的位置和头部方位来确定从用户到对象的距离和方向,以确定从用户到对象的距离和方向。在预定义声场区域包括用户周围的预定义尺寸的体积的示例实施例中,至少一个存储器和计算机程序代码被配置为与处理器一起使装置:通过缩放表示对象的坐标以便位于预定义尺寸的体积内,来缩放到对象的距离以创建修正距离。示例实施例的体积可以是具有预定义半径的球体,其中,所述一个存储器和计算机程序代码被配置为与处理器一起使该装置:通过缩放表示对象的球体坐标以便位于预定义半径的球体内,来缩放表示对象的坐标。
在又一示例实施例中提供了一种计算机程序产品,其包括至少一种非暂时性计算机可读存储介质,非暂时性计算机可读存储介质中存储有计算机可执行程序代码部分,其中计算机可执行程序代码部分包括程序代码指令,该程序代码指令被配置为确定从用户到对象的距离和方向。本示例实施例的计算机可执行程序代码部分还包括该程序代码指令,该程序代码指令被配置为缩放到对象的距离以创建在用户周围的预定义声场区域内的修正距离。本示例实施例的计算机可执行程序代码部分还包括程序代码指令,该程序代码指令被配置为,使与对象相关的至少一个音频提示被可听见地提供给用户,使得该对象仿佛在该方向上并且在离用户修正距离处位于预定义声场内。
在对象包括声源的实施例中,计算机可执行程序代码部分还包括程序指令,该程序指令被配置为从声源接收音频信号。在本示例实施例中,被配置为使至少一个音频提示被可听见地提供给用户的程序代码指令包括被配置为使来自声源的音频信号的表示被可听见地提供给用户,以使得音频信号仿佛从声源方向并且在修正距离处起源的程序代码指令。在替代实施例中,被配置为使至少一个音频提示被可听见地提供的程序代码指令包括被配置为使表示该对象的人为创建的声音被可听见地提供给用户的程序代码指令。
在示例实施例中,被配置为使至少一个音频提示被可听见地提供给用户的程序代码指令包括被配置为用头部相关传递函数滤波器处理音频信号来创建至少一个音频提示的程序代码指令。头部相关传递函数滤波器取决于从用户到对象的标准化距离和方向这两者。在示例实施例中,计算机可执行程序代码部分还包括被配置为确定用户的位置和头部方位并且基于用户的位置和头部方位来识别头部相关传递函数滤波器的程序代码指令。在这方面,被配置为确定从用户到对象的距离和方向的程序代码指令包括被配置为基于用户的位置和头部方位来确定从用户到对象的距离和方向的程序代码指令。在预定义声场区域包括用户周围的预定义尺寸的体积的实施例中,被配置为缩放到对象的距离以创建修正距离的程序代码指令包括被配置为缩放表示对象的坐标以便位于预定义尺寸的体积内的程序代码指令。
在又一示例实施例中提供了一种装置,该装置包括用于确定从用户到对象的距离和方向的部件。本示例实施例的装置还包括用于缩放到对象的距离以创建在用户周围的预定义声场区域内的修正距离的部件。在本示例实施例中,该装置还包括使与对象相关的至少一个音频提示被可听见地提供给用户,以使得该对象仿佛在该方向上并且在离用户修正距离处位于预定义声场内的部件。
附图说明
因此已经概括地描述了本发明的某些示例实施例,在下文中将参考不一定按比例绘制的附图,并且其中:
图1是根据本发明的示例实施例的一对登山者的立体图,登山者可以受益于提供与从一个登山者到另一个登山者的距离有关的附加信息的音频提示;
图2是可以根据本发明的示例实施例来具体配置的装置的框图;
图3是图示了根据本发明的示例实施例的诸如由图2的装置来执行的操作的流程图;
图4是用户周围的预定义半径的球体内的球面坐标的图形表示;
图5a是用户周围多个点的立体图,头部相关传递函数在该多个点处被定义;
图5b是在20厘米远的距离处取得的图5a的头部相关传递函数滤波器的近场结果的图形表示;
图5c是近场头部相关传递函数与远场头部相关传递函数的幅度的图形表示;
图6是根据示例实施例来执行的操作的框图,其中,根据本发明的示例实施例从声源接收音频信号;
图7是根据示例实施例来执行的操作的框图,其中,根据本发明的示例实施例向用户提供表示对象上方的高度的人为创建的声音;以及
图8是根据本发明的示例实施例的向用户提供表示由计量表测量的参数的人为创建的声音的框图。
具体实施方式
现在将参照附图更全面地描述本发明的一些实施例,其中示出了本发明的一些但不是全部的实施例。实际上,本发明的各种实施例可以以许多不同的形式实施,并且不应被解释为限于本文所阐述的实施例;而是提供这些实施例以使得本公开将满足适用的法律要求。相同的附图标记始终表示相同的元件。如本文所使用的,根据本发明的实施例,术语“数据”、“内容”、“信息”和类似术语可以互换地用于指代能被发射、接收和/或存储的数据。因此,不应该使用任何这样的术语来限制本发明的实施例的精神和范围。
另外,如本文所使用的,术语“电路”是指(a)仅硬件电路实施(例如,模拟电路和/或数字电路中的实施);(b)电路和计算机程序产品的组合,所述计算机程序产品包括存储在一个或多个计算机可读存储器上的软件和/或固件指令,所述软件和/或固件指令一起工作以使装置执行本文所述的一个或多个功能;和(c)电路,比如例如微处理器或微处理器的一部分,即使软件或固件不是物理存在的,该电路也需要软件或固件以用于操作。“电路”的这一定义适用于此术语在这里的所有使用,包括在任何权利要求中。作为另一示例,本文所使用的术语“电路”还包括一种实施,该实施包括一个或多个处理器和/或其部分以及伴随的软件和/或固件。作为另一示例,本文所使用的术语“电路”还包括例如用于移动电话的应用处理器集成电路或基带集成电路,或者服务器、蜂窝网络设备、其他网络设备和/或其他计算设备中的类似的集成电路。
如本文所定义的,指代物理存储介质(例如,易失性或非易失性存储设备)的“计算机可读存储介质”可以与指代“电磁信号”的“计算机可读传输介质”有所区别。
根据示例实施例提供了一种方法、装置和计算机程序产品,以便向用户提供音频提示,该音频提示提供关于诸如声源之类的对象相对于用户的距离的附加信息。因此,用户不仅可以确定到对象的方向,还可以至少相对而言地确定到对象的距离。因此,通过基于从音频信号确定的到对象的距离来区分不同的对象,用户可以更多地意识到其空间环境并具有更大的情境意识。如下所述,示例实施例的方法、装置和计算机程序产品可以结合诸如声源之类的产生被用户听到的音频信号的对象以及不产生音频信号的对象来使用,但是对于不产生音频信号的对象来说,可以产生人为创建的声音,基于该人为创建的声音仿佛所源自的相对距离向用户传达信息。在任一情况下,用户都能够从音频提示中收集附加信息,以便更充分地了解其周围环境。
通过举例的方式而非限制,图1描绘了两个登山者正在分别攀登突出岩石的不同表面的场景。登山者相互分开足够的距离,该距离使得即使第一登山者听到第二登山者发出的声音,第一登山者可能能够确定第二登山者的方向,但可能也无法确定到第二登山者的距离,至少不能准确地确定距离。在这方面,人类能够在其周围的预定义声场区域内区分到各种声源的距离差异,比如在半径约二米的球面体积内。在声源与收听者分开较远的距离的情况下,比如距离收听者超过两米,即使收听者可以听到由声源产生的音频信号并且能够识别出声源的方向,收听者可能也难以准确地确定到声源的距离。因此,在图1中所描绘的场景中,登山者彼此相隔超过两米,因此每个登山者难以从另一登山者发出的声音来确定到另一登山者的距离。通过视觉表示的方式,描绘了每个登山者周围的区域10,相应的登山者可以在该区域内识别从声源到该登山者的距离中的差异,其中每个登山者在另一登山者可以在其内区分出到不同声源的距离中的差异的区域之外。因此,基于来自另一登山者的声音,至少在到另一登山者的距离方面,每个登山者具有比所期望的更加受限的情景意识。
为了促进增加的情境意识,包括识别到诸如音频信号的源之类的对象的距离的增强能力,根据示例实施例提供了装置20,该装置使音频提示被提供,收听者不仅可从该音频提示获得与诸如声源之类的对象有关的方向性信息,而且还可以至少相对而言从该音频提示获得关于到诸如声源之类的对象的距离的更准确的距离信息。该装置可以以各种方式实施,包括通过各种类型的计算设备来实施,诸如包括例如移动电话、智能电话、平板电脑、个人数字助理(PDA)等的移动终端,以及由如图1中所示的用户佩戴的耳机12和其他类型的音频回放和音频通信设备所实施的计算设备。如前述示例所图示的,该装置可以通过诸如立体声耳机之类的被配置为呈现针对用户的音频信号的设备来实施,或者通过被配置为处理音频信号并且然后向被配置为呈现针对用户的音频信号的另一音频回放设备提供经处理的信号的计算设备来实施。示例实施例的耳机或其他音频回放和音频通信设备包括至少两个通道,每个耳朵一个通道。
不管装置20的实施方式如何,示例实施例的装置在图2中被描绘,并且包括处理器22、存储器设备24、通信接口26和用户接口28,与处理器22、存储器设备24、通信接口26和用户接口28相关联或以其它方式与处理器22、存储器设备24、通信接口26和用户接口28通信。在一些实施例中,处理器(和/或协处理器,或者协助处理器或以其他方式与处理器相关联的任何其它处理电路)可以经由用于在装置的组件之间传递信息的总线与存储器设备通信。存储器设备可以是非暂时性的,并且可以包括例如一个或多个易失性和/或非易失性存储器。换句话说,例如,存储器设备可以是电子存储设备(例如,计算机可读存储介质),其包括被配置为存储可由机器(例如,如处理器一样的计算设备)检索的数据(例如,比特)的门。存储器设备可以被配置为存储用于使装置能够执行根据本发明示例实施例的各种功能的信息、数据、内容、应用、指令等。例如,存储器设备可被配置为对输入数据进行缓冲以供处理器处理。另外地或可替代地,存储器设备可以被配置为存储由处理器执行的指令。
如上所述,装置20可以由诸如一对耳机12之类的计算设备来实施。然而,在一些实施例中,该装置可以被实施为芯片或芯片组。换句话说,该装置可以包括一个或多个物理封装(例如芯片),其包括结构组装件(例如,电路板)上的材料、组件和/或导线。结构组装件可以为其上包括的组件电路提供物理强度、尺寸节省和/或电交互限制。因此,在一些情况下,该装置可以被配置为在单个芯片上或作为单个“片上系统”来实施本发明的实施例。因此,在一些情况下,芯片或芯片组可以构成用于执行一个或多个操作以提供本文所述功能的部件。
处理器22可以以多种不同的方式实施。例如,处理器可以被实施为各种硬件处理部件中的一个或多个,诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有伴随DSP的处理元件或者包括诸如例如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等的集成电路的各种其它处理电路。因此,在一些实施例中,处理器可以包括被配置为独立执行的一个或多个处理核心。多核处理器可以实现单个物理封装内的多处理。另外地或可替代地,处理器可以包括经由总线串联配置的一个或多个处理器,以实现指令、流水线和/或多线程的独立执行。
在示例实施例中,处理器22可以被配置为执行存储在存储器设备24中或者以其他方式可由处理器访问的指令。可替代地或另外地,处理器可以被配置为执行硬编码功能。因此,无论是通过硬件或软件或其二者的组合的方法进行配置,处理器都可以表示在被这样配置时能够执行根据本发明实施例的操作的实体(例如,在电路中物理实施)。因此,例如,当处理器被实施为ASIC、FPGA等时,处理器可以是用于进行本文描述的操作的具体配置的硬件。可替代地,作为另一示例,当处理器被实施为软件指令的执行器时,该指令可以具体地配置处理器以在执行该指令时执行本文所描述的算法和/或操作。然而,在一些情况下,处理器可以是被配置为通过由用于执行本文所述的算法和/或操作的指令对处理器的进一步配置来采用本发明实施例的特定设备(例如,计算设备)的处理器。除其他外,处理器还可以包括被配置为支持处理器的操作的时钟、算术逻辑单元(ALU)和逻辑门。
示例实施例的装置20还可以包括通信接口26,通信接口26可以是诸如以硬件或硬件和软件的组合实施的设备或电路的任何部件,其被配置为从与该装置通信的其他电子设备接收和/或向与该装置通信的其他电子设备发射数据,诸如通过被配置为从车载全球定位系统(GPS)、车载导航系统、个人导航设备(PND)、便携式导航设备或其他车载数据采集系统接收数据。在这方面,通信接口例如可以包括用于实现与无线通信网络的通信的天线(或多个天线)和支持硬件和/或软件。另外地或可替代地,通信接口可以包括电路,其用于与天线交互以使经由天线传输信号或者处理经由天线接收的信号的接收。在一些环境中,通信接口可以可替代地支持或者同样支持有线通信。
示例实施例的装置20还可以包括用户接口28,或者以其他方式与用户接口28通信。用户接口可以包括用于向用户提供输出的扬声器等。在一些实施例中,用户接口还可以包括触摸屏显示器、键盘、鼠标、操纵杆或其他输入/输出机制。在本示例实施例中,处理器22可以包括用户接口电路,该用户接口电路被配置为控制一个或多个输入/输出机制的至少一些功能和/或接收经由诸如可旋转拨盘轮之类的输入机构提供的用户输入。处理器和/或包括处理器的用户接口电路可以被配置为通过存储在处理器可访问的存储器(例如,存储器设备14等)上的计算机程序指令(例如,软件和/或固件)来控制一个或多个输入/输出机制的一个或多个功能。
现在参考图3,描绘了根据示例实施例的诸如由图2的装置20执行的操作,以便使至少一个音频提示被提供给用户,使得诸如声源之类的对象仿佛位于离用户标准化距离处,其中标准化距离是到对象的实际距离的缩放表示。如框30中所示,示例实施例的装置包括诸如处理器22等的用于确定从用户到对象的距离和方向的部件。在诸如图1中所描绘的示例实施例中,对象可以是产生音频信号的声源。在本实施例中,声源位于相对于用户的距离处和方向上,用户诸如是佩戴耳机12的人,该耳机体现了本发明的示例实施例的装置。可替代地,对象可以自身不产生音频信号,但是诸如与对象相关联的参数之类的与对象有关的信息可以被转换成对象与用户的距离并且由对象与用户的距离来表示。
不管对象的类型如何,诸如处理器22之类的装置20可以被配置为确定从用户到对象的方向。例如,诸如处理器之类的装置可以被配置为以各种不同的方式中的任一种来确定从用户到对象的方向,该方式包括由PCT专利申请公开号WO 2013/093565和美国专利申请公开号US 2012/0128174、US 2013/0044884和US 2013/0132845中所描述的那些方式。
关于到对象的距离,示例实施例的诸如处理器22之类的装置20被配置为确定用户的位置。可以以各种方式来确定用户的位置。例如,该装置可以包括全球定位系统(GPS)或其他位置跟踪系统,或者以其他方式与全球定位系统(GPS)或其他位置跟踪系统进行通信,这些系统跟踪用户位置并且提供与用户位置有关的信息,诸如用户的坐标位置。为了确定到对象的距离,诸如处理器之类的装置还被配置为至少相对而言相对于其他对象来确定对象的位置。在对象是提供音频信号的声源的实施例中,示例实施例的诸如处理器之类的装置被配置为基于由与声源相关联的诸如GPS之类的定位单元提供的信息来确定声源的位置。可替代地,诸如处理器之类的装置可以被配置为通过分析低功耗蓝牙(BTLE)接收的信号强度来确定到声源的距离,通过分析接收信号强度指示符(RSSI),或通过依赖于由诸如Quuppa Oy之类的定位系统来确定声源的位置。一旦已经识别了对象的位置,则诸如处理器之类的装置就被配置为基于对象和用户的相应位置中的差异来确定到对象的距离。
可替代地,如下所述,在对象不产生音频信号的情况下,示例实施例的诸如处理器22之类的装置20被配置为接收关于与对象相关联的一个或多个参数的信息,并且然后诸如通过将一个或多个参数值转换成相应的距离值,基于与对象相关联的一个或多个参数来确定到对象的距离。在这点上,可以将与对象相关联的一个或多个参数映射到与对象的相应距离或以其他方式与对象的相应距离关联起来。例如,到对象的距离可以相对于与对象相关联的一个或多个参数直接或间接地变化。附加地或可替代地,距离可以相对于与对象相关联的一个或多个参数成比例地或不成比例地变化。然而,在示例实施例中,针对其产生人为创建的声音的对象的距离被配置为以直接并且与对象相关联的参数成比例的方式变化。
如图3的框32中所示,装置20还包括诸如处理器22等的用于缩放到对象的距离以创建在用户周围的预定义声场区域内的修正距离的部件。在这方面,到对象的距离被缩放,使得从对象到用户的距离中的相对差异得以保持。示例实施例的预定义声场区域是用户周围的预定义尺寸的体积。这样,本示例实施例的诸如处理器之类的装置被配置为,通过缩放定义对象的位置的坐标以便位于预定义尺寸的体积内,来缩放到对象的距离以创建修正距离,比如标准化距离。如上所述,对于收听者周围的预定义声场区域内的声源,人类通常仅能够基于到声源的距离来区分声源,预定义声场区域诸如半径约两米的球体,而对于位于离收听者两米的该球体外的声源,人类基于到声源的距离远远不能区分声源。因此,在其中缩放到对象的距离的用户周围的体积可以是预定义半径的球体,诸如图1中的区域14所示的半径为2米的球体。因此,本示例实施例的诸如处理器之类的装置被配置为,通过缩放表示对象位置的球面坐标以便位于预定义半径的球体内,来缩放表示对象的坐标。在图4中描绘了被指定为1的位置的球面坐标(r11,)的示例。
然而,对表示对象的坐标进行缩放,使得从不同对象到用户的距离中的相对差异得以保持。因此,随着到不同对象的距离基于用户周围的预定义声场区域而被标准化,修正距离在下文中将被描述为标准化距离。因此,在特定音频场景中,例如通过被缩放以便位于离用户两米远的标准化距离处,距离用户最远的声源被缩放以使得到该声源的标准化距离位于或接近预定义声场区域的外围。然后,同一音频场景中的其他声源可以由诸如处理器22之类的装置20进行缩放,以便位于用户周围的同一预定义声场区域内的其他标准化距离处。在这方面,可以相对于到距离用户最远的声源的距离,基于到其他声源的距离来缩放到其他声源的距离。
通过举例的方式,其中,用户周围的预定义声场区域是两米半径的球体,并且其中,来自距离用户最远的音频场景的第一声源被缩放为位于离用户两米远的标准化距离处,可以缩放相对于第一声源与用户相距一半距离的第二声源以便位于离用户距离一米远的标准化距离处。类似地,相对于第一声源与用户相距四分之一距离的第三声源可以被缩放为位于距离用户0.5米远的标准化距离处。还进一步地,位于距离是第一声源相对于用户距离的75%的第四声源可以被缩放为位于距离用户1.5米远的标准化距离处。因此,诸如处理器22之类的装置20被配置为,诸如通过相对于音频场景内离用户最远的声源的距离对距离进行标准化,使得到所有声源的标准化距离都在用户周围的预定义声场区域内,在该预定义声场区域内可更容易地区分到各个声源的距离,从而来缩放到音频场景内的不同对象的距离以创建标准化距离。
在对象不产生音频信号并且到对象的距离是与对象相关联的参数的表示的实施例中,诸如处理器22之类的装置20也被配置为,缩放与对象相关联的距离以创建在用户周围的预定义声场区域内的标准化距离。如上面关于声源所描述的,到对象的距离被缩放成使得从对象到用户的距离中的相对差异得以保持(并且因此保持了与对象相关联的参数中的相对差异)。
如图3的框34中所示,示例实施例的装置20还包括诸如处理器22、用户接口28等的用于使与该对象有关的至少一个音频提示被可听见地提供给用户的部件。音频提示被可听见地提供使得该对象仿佛在离用户标准化距离处位于预定义声场区域内。此外,可听见地提供相同或不同的音频提示,以使得对象仿佛位于与用户的各个方向上,即位于对象相对于用户物理定位的同一方向上。因此,保持方向性信息并且缩放距离信息,使得至少一个音频提示使对象仿佛位于离用户标准化距离处,该标准化距离是预定义声场区域内的距离,用户在该预定义声场区域内能够更容易地区分位于离用户不同距离处的声源。
在对象是声源的情况下,示例实施例的装置20包括用于从声源接收音频信号的部件,诸如用户接口28、通信接口26、处理器22等。在本示例实施例中,诸如处理器、用户接口等的装置可以被配置为通过使来自声源的相同音频信号的表示被提供给用户并随后对该音频信号进行处理,从而使音频提示被可听见地提供,以使得声源仿佛位于离声源标准化距离处。因此,尽管如上所述地对声源仿佛相对于用户所处的距离进行了缩放,但是用户还是经由耳机12接收相同音频信号的表示。在图1中描绘的示例中,可以处理由第一登山者发出的声音,使得第一登山者仿佛所处的距离被缩放,以便创建在第二登山者周围的诸如两米之类的预定义半径的球体14内的标准化距离。因此,听到以第一登山者产生的声音的修正表示的形式的音频提示的第二登山者可以更容易地区分出声音仿佛所源自的距离中的差异。因此,随着第一登山者进一步远离或接近第二登山者,第二登山者能够更好地基于第二登山者周围的预定义半径的球体内的标准化距离来辨别与第一登山者的相对距离,由此增加第二登山者的情境意识。
在对象不产生音频信号并且到对象的距离表示与对象相关联的参数值的实施例中,另一示例实施例的诸如处理器22、用户接口28等的装置20被配置为通过将表示对象的人为创建的声音提供给用户来使音频提示被提供给用户。在本示例实施例中,人为创建的声音表示到对象的标准化距离,并且相应地表示与对象相关联的一个或多个参数。因此,用户不仅可以基于人为创建的声音来确定对象的方向,而且还可以基于对象的感知距离来获取关于与对象相关联的一个或多个参数的信息,该感知距离表示与对象相关联的一个或多个其他参数。例如,音频提示可以使具有较大参数值的对象仿佛更远离用户,而使具有较小参数值的对象仿佛更接近用户。
在预定义声场区域是用户周围的预定义尺寸的体积的实施例中,诸如处理器22的装置20被配置为通过缩放表示对象的坐标以便位于预定义尺寸的体积内,来缩放到对象的距离以创建标准化距离。例如,在该体积是预定义半径的球体的情况下,诸如处理器之类的装置被配置为通过缩放表示该对象的球面坐标以便位于该预定义半径的球体内,来缩放表示该对象的坐标。通过举例的方式,图4描绘了标识对象位置的球面坐标(r11,),并且该球面坐标相对于音频场景中最远的对象以诸如直接和按比例的方式被缩放,使得表示对象的球面坐标的缩放表示位于该预定义半径的球体内。
示例实施例的诸如处理器22之类的装置20被配置为,通过用头部相关传递函数滤波器处理音频信号来创建音频提示,来向用户提供至少一个音频提示,使得所得到的音频提示使对象仿佛位于该方向上并且与用户相距标准化距离。头部相关传递函数滤波器可以由诸如处理器、存储器24等进行存储,并且可以是各种各样的不同功能中的任何一种,何种功能取决于到对象的标准化距离以及到对象的方向。通过用头部相关传递函数滤波器处理音频信号,诸如从声源接收的音频信号或人为创建的声音之类的音频信号用取决于到对象的标准化距离和到对象的方向的头部相关传递函数滤波器进行卷积来创建音频提示。
为了更准确地确定从用户到对象的方向以便允许头部相关传递函数滤波器创建更具代表性的音频提示,示例实施例的诸如处理器22之类的装置20被配置为确定用户的头部方位。在这方面,诸如处理器之类的装置被配置为接收可以从中确定用户头部方位的信息。例如,用户可以携带头部跟踪器或以其他方式与头部跟踪器相关联,该头部跟踪器包括例如提供关于用户头部角度的信息的惯性测量单元。因此,本示例实施例的诸如处理器之类的装置被配置为在确定到对象的方向时考虑用户的头部方位,使得头部相关传递函数滤波器被配置为部分地基于到对象的方向,在考虑到用户的头部方位之后确定音频提示。
通过举例的方式,图5a描绘了用户和用户周围的多个点,示例实施例的诸如处理器之类的装置被配置为在该多个点处基于头部相关传递函数滤波器来确定音频提示的幅度。头部相关传递函数滤波器可以不同地定义相对于远场的近场中的幅度,并且可以以取决于相对于用户的角度,比如用户的鼻子指向0°,以及还取决于音频信号的频率的方式来定义幅度。在这方面,在图5b中以不同的频率示出了在距离用户20厘米的距离处(如图5a中用户周围的点的环36所示),在相对于用户的不同角度处的幅度。此外,图5c示出了由头部相关传递函数以不同角度和不同频率确定的近场与远场的关系。不管头部相关传递函数滤波器的类型如何,示例实施例的诸如处理器之类的装置被配置为利用头部相关传递函数滤波器来处理音频信号,使得所产生的音频提示取决于标准化距离和到对象的方向这两者。
在图6所描绘的诸如图1的登山者的对象是产生音频信号的声源的示例实施例中,示例实施例的装置20被配置为与诸如其他移动终端、耳机12等等之类的一个或多个其他计算设备通信。在这方面,通信接口26可以包括通信单元44以与其他计算设备48通信。本示例实施例的诸如处理器之类的装置还被配置为从诸如GPS的定位单元46接收定义用户位置的信息。本示例实施例的装置还被配置为接收音频信号,诸如由一个或多个麦克风40接收并且然后如42所指示的被压缩的音频信号。如52所指示的,诸如处理器之类的装置被配置为确定音频信号所源自的位置。此外,诸如处理器的装置可以被配置为诸如从例如包括惯性测量单元的头部跟踪器50接收关于头部角度的信息,使得头部方位是可确定的。
一旦接收到音频信号,本示例实施例的诸如处理器22之类的装置20就比如基于用户的位置、用户的头部方位、对象的位置等来确定到对象的距离和到对象的方向。参见框54。在一些实施例中,诸如处理器之类的装置通过近似计算头部运动速度并同时考虑包括头部角度的当前头部位置来提供延迟补偿,以在将向用户提供音频提示的时间预测头部的位置。参见框56。然后,诸如通过缩放表示对象相对于用户的位置的球面坐标以便位于预定义半径的球体内,诸如处理器22之类的装置缩放到对象的距离以创建标准化距离。参见框58。然后,本示例实施例的诸如处理器之类的装置使得表示对象的至少一个音频提示被提供给用户。例如,诸如处理器的装置可以基于表示对象的经缩放的球面坐标用头部相关传递函数滤波器60处理音频提示,使得所得到的音频提示使对象在62处诸如经由耳机扬声器62对音频场景进行呈现时,仿佛位于离用户标准化距离处并且位于对象的方向上。
在图7所描绘的替代实施例中,对象不产生音频信号,而是与可通过音频提示表示为与对象的距离的一个或多个参数相关联。例如,对象可以是地球表面、海底等上的各种位置,其具有与该对象相关联的参数,该参数是与相应位置相关联的高度或海拔高度值。在本示例实施例中,为了向飞机驾驶员或轮船或其他船舶的船长提供关于各种位置的海拔的信息,海拔数据诸如可以由存储器24存储或者可以以其他方式经由通信接口26被接收。在图7的示例实施例中,在66处提供海拔数据,并且如52处所示,可以由处理器22确定各个位置的定位。另外,用户的头部方位,比如由诸如惯性测量单元之类的头部跟踪器50所确定的,可以被提供给诸如处理器的装置,使得处理器能够确定如54处所示的用户的头部位置和方向。通过确定头部位置和方向,即使收听者正在移动他/她的头部,也可以以一致的方向对音频提示进行呈现。例如,如果音频信号来自侧面,但头部转向了该侧,那么所使用的头部相关传递函数滤波器将具有正面方位。
在本示例实施例中,诸如处理器22之类的装置20被配置为确定到对象的距离,诸如地球表面上或海底的相应位置。在这方面,比如通过将海拔转换或映射成相应的距离值,基于与该对象相关联的参数值来确定距离,诸如地球表面上或海底的相应位置的海拔。此外,通过近似计算头部运动的速度并同时考虑包括头部角度的当前头部位置,示例实施例的诸如处理器之类的装置提供延迟补偿,以预测在音频提示将被提供给用户时头部的位置。参见框56。如58处所示,本示例实施例的诸如处理器之类的装置然后缩放到对象的距离(其表示各个位置的海拔),以创建在用户周围的预定义声场区域内的标准化距离,同时保持从对象到用户的距离中的相对差异。对于航空公司飞行员,具有最大高度的位置可以由最小的标准化距离来表示以便仿佛最接近于用户,而具有较低或较小高度的位置可以由仿佛离用户较远的标准化距离来表示。通过使人造声源68提供对象的提示音频,比如以声纳型ping的形式提供,比如通过使用头部相关传递函数滤波器60,比如通过经由耳机扬声器64呈现如在62处所示的音频场景,音频提示使对象仿佛位于离用户标准化距离处,在本示例实施例中,该距离表示相应位置的海拔。因此,飞行员可以通过其挡风玻璃查看周围环境,同时收听反映下层地形的海拔或者至少反映下层地形内的某些兴趣点的海拔的音频场景,其中海拔由声源仿佛所处的标准化距离表示。因此,飞机飞行员可以以直观的方式获得关于其周围环境的更多信息。
参考图8提供了另一个示例,其中提供了表示参数值的人为创建的声音,参数值由各种计量表中的任何一个或多个提供,各种计量表比如是速度表、燃料表、每分钟转数(RPM)表等。在本示例实施例中,如70处所示,由相应的计量表测量的参数由诸如处理器22的装置20接收,并且如52处所示地确定相应的距离。例如,该距离代表参数值,并且例如可以以与参数值成正比的方式变化。由于每个测量表相对于用户位于预定义的位置,比如相对于车辆驾驶员在仪表板内的预定义位置,本示例实施例的诸如处理器的装置不需要跟踪用户的头部的位置,而是可以预定义到每个计量表的方向。
如在另一示例实施例中,诸如处理器22之类的装置20被配置为缩放到对象的距离,如58处所示,即缩放表示由计量表测量的参数的距离,以创建在用户周围的预定义声场区域内的标准化距离。因此,基于由计量表测量的参数值的可能范围,可以将表示参数值的距离缩放到标准化距离。然后,诸如处理器之类的装置被配置为使得表示计量表的音频提示被提供给用户,其中该音频提示使计量表仿佛位于离用户标准化距离处并且位于预定义的方向上,其中该距离表示由计量表测量的参数。如上所述,人造声源68可以响应于来自头部相关传递函数滤波器60的输出来产生音频提示,因此该音频提示使得计量表仿佛位于离用户标准化距离处。通过举例的方式,其中计量表是速度表,音频提示可以使计量表在车辆以速度的更大速率行进的情况下仿佛位于离用户近得多的标准化距离处,并且可以使得计量表在车辆以慢得多的速度行进的情况下仿佛位于离用户远得多的标准化距离处。因此,车辆驾驶员可以以直观的方式获得关于由计量表测量的各种参数的附加信息,而不必看计量表,并且反而可以通过挡风玻璃继续观察其周围环境,从而成为更了解他们目前的情况。
尽管上文结合各种位置的海拔以及由各种计量表测量的参数进行了描述,然而其他示例实施例的方法、装置20和计算机程序产品可以产生人为创建的声音,其使对象仿佛在某个方向上位于离用户标准化距离处,以便提供关于与其他类型的对象相关联的各种各样的其他参数的信息。例如,在医生观察由一个或多个照相机获得的图像的机器人辅助/机器人手术中,医生可以将注意力继续集中在图像上,但是基于静脉或器官仿佛位于针对手术部位的标准化距离处和某一方向上的音频提示,可以向医生提供关于邻近静脉或不同器官的距离的信息。此外,在涉及多个玩家的游戏中,与其他玩家的距离和方向可以由提供给玩家的音频提示来表示,其中该音频提示使其他玩家仿佛位于标准化距离处和特定方向上。即使在其他玩家不能被物理上看见的情况下,比如在墙壁的另一侧或以其他方式隐藏起来,也可以提供方向和距离信息。
作为音频场景表示周围交通的另一示例,示例实施例的方法、装置20和计算机程序产品在标准化距离处并且从其他车辆或各种危险的方向上提供音频提示,其定义了在用户附近的交通。此外,另一示例实施例的方法、装置和计算机程序产品提供了仿佛源自标准化距离处和特定方向上的音频提示,以便向技术人员提供关于加工操作的信息,比如技术员已经钻探的深度。
在又一示例实施例中,装置20被配置为在交互式视频内容中呈现声音,使得该声音遵循查看位置。在已经用多个麦克风记录了视频音轨的本示例实施例中,诸如处理器22之类的装置被配置为在视频被放大或缩小、视频被摇摄、视频中的有利位置被改变时,处理音频信号,使得音频信号以与视频相同的方向和相同的距离表示。
通过举例的方式,可以使用空间音频捕获(SPAC)来捕获音频信号,使得音频信号所源自的方向也被记录下来。本示例实施例的诸如处理器22之类的装置20被配置为对来自至少三个麦克风的音频信号进行三角测量以确定到相应波形的距离,相应波形比如是主导波形或其旁边的波形。在这方面,处理器可以被配置为利用诸如独立分量分析(ICA)的源分离方法将主导波形与其他波形分离。利用到相应波形的已确定距离,诸如处理器之类的装置将该距离缩放为标准化距离,并且然后修改该音频信号以创建音频提示,该音频提示以将人造声源靠近用户放置的方式来呈现,使得用户的心理声学能力能够更好地区分在不同距离处的声源。上述过程可以应用于先前记录的音频信号或实时捕获的音频信号。
如上所述,图3图示了根据本发明的示例实施例的装置30、方法和计算机程序产品的流程图。应当理解,流程图的每个框和流程图中的框的组合可以通过诸如硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其他通信设备的各种部件来实施。例如,上述过程中的一个或多个可以通过计算机程序指令来实施。在这方面,实施上述过程的计算机程序指令可以由采用本发明实施例的装置的存储器设备24来存储,并且由该装置的处理器22来执行。如将理解的,任何这样的计算机程序指令可以被加载到计算机或其他可编程装置(例如,硬件)上以产生机器,使得所得到的计算机或其他可编程装置实施流程图中指定的功能。这些计算机程序指令还可以存储在计算机可读存储器中,计算机可读存储器可引导计算机或其他可编程装置以特定方式工作,使得存储在计算机可读存储器中的指令产生制造品,该制造品的执行实施流程图中指定的功能。计算机程序指令还可以被加载到计算机或其他可编程装置上,以使得在计算机或其他可编程装置上执行一系列操作以产生计算机实施的过程,使得在计算机或其他可编程装置上执行的指令提供用于实施流程图中指定的功能的操作。
因此,流程图的框支持用于执行指定功能的部件的组合,并且支持用于执行指定功能的操作的组合。还将理解,流程图中的一个或多个框以及流程图中的框的组合可以由执行指定功能的基于专用硬件的计算机系统或专用硬件和计算机指令的组合来实施。
在一些实施例中,上述操作中的某些操作可以被修改或进一步扩增。此外,在一些实施例中,可以包括附加的可选操作,其中一些已经在上面被描述并且以虚线轮廓图示。上述对操作的修改、添加或扩增可以以任何顺序和任何组合进行。
受益于上述描述和相关附图中呈现的教导的本发明所属领域的技术人员会想到本文阐述的本发明的许多修改和其它实施例。因此,应当理解,本发明不限于所公开的具体实施例,并且修改和其它实施例旨在被包括在所附权利要求的范围内。此外,尽管上述描述和相关附图在元件和/或功能的某些示例组合的上下文中描述了示例实施例,但是应当理解,可以通过替代实施例来提供元件和/或功能的不同组合而不脱离所附权利要求的范围。在这方面,例如,也预想与那些在上文中明确描述的不同的元件和/或功能的组合,如可以在所附权利要求的一些权利要求中阐述的那样。尽管这里采用了具体的术语,但它们仅在通用和描述性的意义上使用,而不是为了限制的目的。

Claims (25)

1.一种方法,包括:
确定从用户到对象的距离和方向;
缩放到所述对象的所述距离,以创建在所述用户周围的预定义声场区域内的修正距离;以及
使与所述对象相关的至少一个音频提示被可听见地提供给所述用户,使得所述对象仿佛在所述方向上并且在离所述用户所述修正距离处位于所述预定义声场区域内。
2.根据权利要求1所述的方法,其中所述对象包括声源,其中所述方法还包括从所述声源接收音频信号,并且其中使至少一个音频提示被可听见地提供给所述用户包括使来自所述声源的所述音频信号的表示被可听见地提供给所述用户,使得所述音频信号仿佛从所述声源的所述方向并且在所述修正距离处起源。
3.根据权利要求1或2中任一项所述的方法,其中,使至少一个音频提示被可听见地提供给所述用户包括使表示所述对象的人为创建的声音被可听见地提供给所述用户。
4.根据权利要求1至3中任一项所述的方法,其中,使至少一个音频提示被可听见地提供给所述用户包括:用头部相关传递函数滤波器来处理音频信号以创建所述至少一个音频提示,所述头部相关传递函数滤波器取决于从所述用户到所述对象的所述修正距离和所述方向二者。
5.根据权利要求4所述的方法,还包括确定所述用户的位置和头部方位并且基于所述用户的所述位置和所述头部方位来识别所述头部相关传递函数滤波器,其中确定从用户到对象的距离和方向包括基于所述用户的所述位置和所述头部方位来确定从所述用户到所述对象的所述距离和所述方向。
6.根据权利要求1至5中任一项所述的方法,其中所述预定义声场区域包括所述用户周围的预定义尺寸的体积,并且其中缩放到所述对象的所述距离以创建修正距离包括缩放表示所述对象的坐标以便位于所述预定义尺寸的体积内。
7.根据权利要求6所述的方法,其中所述体积包括预定义半径的球体,并且其中缩放表示所述对象的坐标包括缩放表示所述对象的球面坐标以便位于所述预定义半径的球体内。
8.一种装置,包括至少一个处理器和包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码被配置为与所述处理器一起使所述装置至少:
确定从用户到对象的距离和方向;
缩放到所述对象的所述距离以创建在所述用户周围的预定义声场区域内的修正距离;以及
使与所述对象相关的至少一个音频提示被可听见地提供给所述用户,使得所述对象仿佛在所述方向上并且在离所述用户所述修正距离处位于所述预定义声场区域内。
9.根据权利要求8所述的装置,其中所述对象包括声源,其中所述至少一个存储器和计算机程序代码进一步被配置为与所述处理器一起使所述装置:从所述声源接收音频信号,并且其中所述至少一个存储器和计算机程序代码被配置为与所述处理器一起使所述装置:通过使来自所述声源的所述音频信号的表示被可听见地提供以使得所述音频信号仿佛从所述声源的所述方向并且在所述修正距离处起源,来使至少一个音频提示被可听见地提供给所述用户。
10.根据权利要求8或9中任一项所述的装置,其中,所述至少一个存储器和计算机程序代码被配置为与所述处理器一起使所述装置:通过使表示所述对象的人为创建的声音被可听见地提供给所述用户,来使至少一个音频提示被可听见地提供给所述用户。
11.根据权利要求8至10中任一项所述的装置,其中,所述至少一个存储器和计算机程序代码被配置为与所述处理器一起使所述装置:通过用头部相关传递函数滤波器处理至少一个音频提示,来使所述至少一个音频提示被可听见地提供给所述用户,所述头部相关传递函数滤波器取决于从所述用户到所述对象的所述修正距离和所述方向二者以创建所述至少一个音频提示。
12.根据权利要求11所述的装置,其中所述至少一个存储器和计算机程序代码还被配置为与所述处理器一起使所述装置:确定所述用户的位置和头部方位并且基于所述用户的所述位置和所述头部方位来识别所述头部相关传递函数滤波器,其中所述至少一个存储器和计算机程序代码被配置为与所述处理器一起使所述装置:通过基于所述用户的所述位置和所述头部方位确定从用户到对象的距离和方向,来确定从所述用户到所述对象的所述距离和所述方向。
13.根据权利要求8至12中任一项所述的装置,其中所述预定义声场区域包括所述用户周围的预定义尺寸的体积,并且其中所述至少一个存储器和计算机程序代码被配置为与所述处理器一起使所述装置:通过缩放表示所述对象的坐标以便位于所述预定义尺寸的体积内,来缩放到所述对象的所述距离以创建修正距离。
14.根据权利要求13所述的装置,其中所述体积包括预定义半径的球体,并且其中所述至少一个存储器和计算机程序代码被配置为与所述处理器一起使所述装置:通过缩放表示所述对象的球面坐标以便位于所述预定义半径的球体内,来缩放到所述对象的坐标。
15.一种装置,包括:
用于确定从用户到对象的距离和方向的部件;
用于缩放到所述对象的所述距离以创建在所述用户周围的预定义声场区域内的修正距离的部件;以及
用于使与所述对象相关的至少一个音频提示被可听见地提供给所述用户的部件,使得所述对象仿佛在所述方向上并且在离所述用户所述修正距离处位于所述预定义声场区域内。
16.根据权利要求15所述的装置,其中所述对象包括声源,其中所述装置还包括用于从所述声源接收音频信号的部件,并且其中所述用于使至少一个音频提示被可听见地提供给所述用户的部件包括用于使来自所述声源的所述音频信号的表示被可听见地提供以使得所述音频信号仿佛从所述声源的所述方向并且在所述修正距离处起源的部件。
17.根据权利要求15或16中任一项所述的装置,其中,所述用于使至少一个音频提示被可听见地提供给所述用户的部件包括用于用头部相关传递函数滤波器来处理所述至少一个音频提示的部件,所述头部相关传递函数滤波器取决于从所述用户到所述对象的所述修正距离和所述方向二者以创建所述至少一个音频提示。
18.根据权利要求15至17中任一项所述的装置,其中所述预定义声场区域包括所述用户周围的预定义尺寸的体积,并且其中所述用于缩放到所述对象的所述距离以创建修正距离的部件包括用于缩放表示所述对象的坐标以便位于所述预定义尺寸的体积内的部件。
19.一种计算机程序产品,包括其中存储有计算机可执行程序代码部分的至少一个非暂时性计算机可读存储介质,所述计算机可执行程序代码部分包括程序代码指令,所述程序代码指令被配置为:
确定从用户到对象的距离和方向;
缩放到所述对象的所述距离,以创建在所述用户周围的预定义声场区域内的修正距离;以及
使与所述对象相关的至少一个音频提示被可听见地提供给所述用户,使得所述对象仿佛在所述方向上并且在离所述用户所述修正距离处位于所述预定义声场区域内。
20.根据权利要求19所述的计算机程序产品,其中所述对象包括声源,其中所述计算机可执行程序代码部分还包括被配置为从所述声源接收音频信号的程序代码指令,并且其中所述被配置为使至少一个音频提示被可听见地提供给所述用户的程序代码指令包括被配置为使来自所述声源的所述音频信号的表示被可听见地提供给所述用户以使得所述音频信号仿佛从所述声源的所述方向并且在所述修正距离处起源的程序代码指令。
21.根据权利要求19或20中任一项所述的计算机程序产品,其中所述被配置为使至少一个音频提示被可听见地提供的程序代码指令包括被配置为使表示所述对象的人为创建的声音被可听见地提供给所述用户的程序代码指令。
22.根据权利要求19至21中任一项所述的计算机程序产品,其中所述被配置为使至少一个音频提示被可听见地提供给所述用户的程序代码指令包括被配置为用头部相关传递函数滤波器来处理所述至少一个音频提示的程序代码指令,所述头部相关传递函数滤波器取决于从所述用户到所述对象的所述修正距离和所述方向二者以创建所述至少一个音频提示。
23.根据权利要求22所述的计算机程序产品,其中所述计算机可执行程序代码部分还包括被配置为确定所述用户的位置和头部方位并且基于所述用户的所述位置和头部方位来识别所述头部相关传递函数滤波器的程序代码指令,其中所述被配置为确定从用户到对象的距离和方向的程序代码指令包括被配置成基于所述用户的所述位置和所述头部方位来确定从所述用户到所述对象的所述距离和所述方向的程序代码指令。
24.根据权利要求19至23中任一项所述的计算机程序产品,其中所述预定义声场区域包括所述用户周围的预定义尺寸的体积,并且其中被配置为将到所述对象的所述距离缩放到标准化距离的程序代码指令包括被配置为缩放表示所述对象的坐标以便位于所述预定义尺寸的体积内的程序代码指令。
25.根据权利要求24所述的计算机程序产品,其中所述体积包括预定义半径的球体,并且其中所述被配置为缩放到所述对象的坐标的程序代码指令包括被配置为缩放表示所述对象的球面坐标以便位于所述预定义半径的球体内的程序代码指令。
CN201580074093.5A 2014-12-19 2015-12-11 用于提供虚拟音频再现的方法和装置 Expired - Fee Related CN107211216B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/578,218 US9602946B2 (en) 2014-12-19 2014-12-19 Method and apparatus for providing virtual audio reproduction
US14/578,218 2014-12-19
PCT/FI2015/050874 WO2016097477A1 (en) 2014-12-19 2015-12-11 Method and apparatus for providing virtual audio reproduction

Publications (2)

Publication Number Publication Date
CN107211216A true CN107211216A (zh) 2017-09-26
CN107211216B CN107211216B (zh) 2019-07-16

Family

ID=56125991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580074093.5A Expired - Fee Related CN107211216B (zh) 2014-12-19 2015-12-11 用于提供虚拟音频再现的方法和装置

Country Status (4)

Country Link
US (1) US9602946B2 (zh)
EP (1) EP3235264A4 (zh)
CN (1) CN107211216B (zh)
WO (1) WO2016097477A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107608519A (zh) * 2017-09-26 2018-01-19 深圳传音通讯有限公司 一种声音调整方法及虚拟现实设备
CN107632704A (zh) * 2017-09-01 2018-01-26 广州励丰文化科技股份有限公司 一种基于光学定位的混合现实音频控制方法及服务设备
CN109640242A (zh) * 2018-12-11 2019-04-16 电子科技大学 音频源分量及环境分量提取方法
CN110972033A (zh) * 2018-09-28 2020-04-07 硅实验室公司 基于一个或多个射频(rf)信号接收和/或传输特性来修改音频数据信息的系统和方法
CN111630878A (zh) * 2018-01-19 2020-09-04 诺基亚技术有限公司 相关联的空间音频播放
CN111630879A (zh) * 2018-01-19 2020-09-04 诺基亚技术有限公司 相关联的空间音频播放
CN112073891A (zh) * 2019-06-10 2020-12-11 珍尼雷克公司 用于生成头部相关传递函数的系统和方法
CN114286277A (zh) * 2017-09-29 2022-04-05 苹果公司 使用体积音频渲染和脚本化音频细节级别的3d音频渲染

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
GB2540199A (en) * 2015-07-09 2017-01-11 Nokia Technologies Oy An apparatus, method and computer program for providing sound reproduction
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10371543B1 (en) * 2016-01-05 2019-08-06 Open Invention Network Llc Navigation application providing supplemental navigation information
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10848899B2 (en) * 2016-10-13 2020-11-24 Philip Scott Lyren Binaural sound in visual entertainment media
GB2557218A (en) * 2016-11-30 2018-06-20 Nokia Technologies Oy Distributed audio capture and mixing
US10158963B2 (en) * 2017-01-30 2018-12-18 Google Llc Ambisonic audio with non-head tracked stereo based on head position and time
US10242486B2 (en) * 2017-04-17 2019-03-26 Intel Corporation Augmented reality and virtual reality feedback enhancement system, apparatus and method
CN106993249B (zh) * 2017-04-26 2020-04-14 深圳创维-Rgb电子有限公司 一种声场的音频数据的处理方法及装置
WO2018203579A1 (ko) * 2017-05-02 2018-11-08 하수호 입체음향 생성장치 및 그를 위한 컴퓨터 프로그램
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11659322B1 (en) 2017-06-26 2023-05-23 Wing Aviation Llc Audio based aircraft detection
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
CN111768771B (zh) * 2019-05-30 2023-08-04 北京京东尚科信息技术有限公司 用于唤醒电子设备的方法和装置
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11290834B2 (en) * 2020-03-04 2022-03-29 Apple Inc. Determining head pose based on room reverberation
US11164550B1 (en) * 2020-04-23 2021-11-02 Hisep Technology Ltd. System and method for creating and outputting music
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450057A (en) * 1991-10-30 1995-09-12 Nissan Motor Co., Ltd. Stereophonic warning apparatus
US5647016A (en) * 1995-08-07 1997-07-08 Takeyama; Motonari Man-machine interface in aerospace craft that produces a localized sound in response to the direction of a target relative to the facial direction of a crew
WO2002067007A1 (en) * 2001-02-23 2002-08-29 Lake Technology Limited Sonic terrain and audio communicator
EP1296155A1 (en) * 2001-09-25 2003-03-26 Symbol Technologies, Inc. Three dimensional object locator system using a sound beacon, and corresponding method
US20100329082A1 (en) * 1999-05-07 2010-12-30 Round Rock Research, Llc Range finding audio system
CN102790931A (zh) * 2011-05-20 2012-11-21 中国科学院声学研究所 一种三维声场合成中的距离感合成方法
US8718301B1 (en) * 2004-10-25 2014-05-06 Hewlett-Packard Development Company, L.P. Telescopic spatial radio system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097315A (en) * 1996-02-15 2000-08-01 Minter; Jerry B. Multi-indicator aviation pilot collision alert
US5809149A (en) * 1996-09-25 1998-09-15 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis
ATE271748T1 (de) 1998-12-31 2004-08-15 Arkamys Verfahren und vorrichtung zur tonaufnahme und wiedergabe mit natürlichen gefühl von schallfeld
US6956955B1 (en) * 2001-08-06 2005-10-18 The United States Of America As Represented By The Secretary Of The Air Force Speech-based auditory distance display
US7649444B1 (en) 2005-12-13 2010-01-19 Nvidia Corporation Positional audio cues for an vehicle indicator system
CN101690269A (zh) 2007-06-26 2010-03-31 皇家飞利浦电子股份有限公司 双耳的面向对象的音频解码器
US8073125B2 (en) 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
US8509454B2 (en) 2007-11-01 2013-08-13 Nokia Corporation Focusing on a portion of an audio scene for an audio signal
KR100927637B1 (ko) 2008-02-22 2009-11-20 한국과학기술원 거리측정을 통한 가상음장 구현방법 및 그 기록매체
US9445193B2 (en) 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
EP2346028A1 (en) 2009-12-17 2011-07-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
US9185509B2 (en) 2009-12-23 2015-11-10 Nokia Technologies Oy Apparatus for processing of audio signals
US9456289B2 (en) 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
US9313599B2 (en) 2010-11-19 2016-04-12 Nokia Technologies Oy Apparatus and method for multi-channel signal playback
US20120262536A1 (en) 2011-04-14 2012-10-18 Microsoft Corporation Stereophonic teleconferencing using a microphone array
US9285452B2 (en) 2011-11-17 2016-03-15 Nokia Technologies Oy Spatial visual effect creation and display such as for a screensaver
EP2795931B1 (en) 2011-12-21 2018-10-31 Nokia Technologies Oy An audio lens
WO2013093565A1 (en) 2011-12-22 2013-06-27 Nokia Corporation Spatial audio processing apparatus
EP2923502A4 (en) 2012-11-20 2016-06-15 Nokia Technologies Oy DEVICE FOR ROOM ENHANCEMENT
CN104010265A (zh) 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450057A (en) * 1991-10-30 1995-09-12 Nissan Motor Co., Ltd. Stereophonic warning apparatus
US5647016A (en) * 1995-08-07 1997-07-08 Takeyama; Motonari Man-machine interface in aerospace craft that produces a localized sound in response to the direction of a target relative to the facial direction of a crew
US20100329082A1 (en) * 1999-05-07 2010-12-30 Round Rock Research, Llc Range finding audio system
WO2002067007A1 (en) * 2001-02-23 2002-08-29 Lake Technology Limited Sonic terrain and audio communicator
EP1296155A1 (en) * 2001-09-25 2003-03-26 Symbol Technologies, Inc. Three dimensional object locator system using a sound beacon, and corresponding method
US8718301B1 (en) * 2004-10-25 2014-05-06 Hewlett-Packard Development Company, L.P. Telescopic spatial radio system
CN102790931A (zh) * 2011-05-20 2012-11-21 中国科学院声学研究所 一种三维声场合成中的距离感合成方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632704B (zh) * 2017-09-01 2020-05-15 广州励丰文化科技股份有限公司 一种基于光学定位的混合现实音频控制方法及服务设备
CN107632704A (zh) * 2017-09-01 2018-01-26 广州励丰文化科技股份有限公司 一种基于光学定位的混合现实音频控制方法及服务设备
CN107608519A (zh) * 2017-09-26 2018-01-19 深圳传音通讯有限公司 一种声音调整方法及虚拟现实设备
CN114286277A (zh) * 2017-09-29 2022-04-05 苹果公司 使用体积音频渲染和脚本化音频细节级别的3d音频渲染
CN111630878B (zh) * 2018-01-19 2022-05-31 诺基亚技术有限公司 用于虚拟现实/增强现实音频播放的装置和方法
CN111630878A (zh) * 2018-01-19 2020-09-04 诺基亚技术有限公司 相关联的空间音频播放
CN111630879A (zh) * 2018-01-19 2020-09-04 诺基亚技术有限公司 相关联的空间音频播放
US11363401B2 (en) 2018-01-19 2022-06-14 Nokia Technologies Oy Associated spatial audio playback
US11570569B2 (en) 2018-01-19 2023-01-31 Nokia Technologies Oy Associated spatial audio playback
CN110972033A (zh) * 2018-09-28 2020-04-07 硅实验室公司 基于一个或多个射频(rf)信号接收和/或传输特性来修改音频数据信息的系统和方法
CN110972033B (zh) * 2018-09-28 2023-08-22 硅实验室公司 修改音频数据的系统和方法
US11906642B2 (en) 2018-09-28 2024-02-20 Silicon Laboratories Inc. Systems and methods for modifying information of audio data based on one or more radio frequency (RF) signal reception and/or transmission characteristics
CN109640242A (zh) * 2018-12-11 2019-04-16 电子科技大学 音频源分量及环境分量提取方法
CN112073891A (zh) * 2019-06-10 2020-12-11 珍尼雷克公司 用于生成头部相关传递函数的系统和方法

Also Published As

Publication number Publication date
CN107211216B (zh) 2019-07-16
EP3235264A1 (en) 2017-10-25
EP3235264A4 (en) 2018-05-02
WO2016097477A1 (en) 2016-06-23
US20160183024A1 (en) 2016-06-23
US9602946B2 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
CN107211216B (zh) 用于提供虚拟音频再现的方法和装置
US10085108B2 (en) Method for visualizing the directional sound activity of a multichannel audio signal
CN110651248B (zh) 用于三维数据集的空间音频
KR102609668B1 (ko) 가상, 증강, 및 혼합 현실
US8620009B2 (en) Virtual sound source positioning
CN108156575B (zh) 音频信号的处理方法、装置及终端
US11482237B2 (en) Method and terminal for reconstructing speech signal, and computer storage medium
CN116156411A (zh) 用于交互式音频环境的空间音频
US7526378B2 (en) Mobile information system and device
US8724834B2 (en) Acoustic user interface system and method for providing spatial location data
CN105101027A (zh) 声学环境的实时控制
US20170193704A1 (en) Causing provision of virtual reality content
CN107241672B (zh) 一种获得空间音频定向向量的方法、装置及设备
CN107608519A (zh) 一种声音调整方法及虚拟现实设备
CN109582273A (zh) 音频输出方法、电子设备以及音频输出装置
CN103916734B (zh) 一种声音信号处理方法及终端
EP4287595A1 (en) Sound recording method and related device
CN107079219A (zh) 面向用户体验的音频信号处理
CN107347173A (zh) 基于手机的多通路环绕声动态双耳重放系统的实现方法
US10667073B1 (en) Audio navigation to a point of interest
JP6651231B2 (ja) 携帯情報端末、情報処理装置、及びプログラム
CN112927718B (zh) 感知周围环境的方法、装置、终端和存储介质
Singhani et al. Real-time spatial 3d audio synthesis on fpgas for blind sailing
EP3661233A1 (en) Wearable beamforming speaker array
Cater et al. An investigation into the use of spatialised sound in locative games

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190716

Termination date: 20201211

CF01 Termination of patent right due to non-payment of annual fee