WO2007058130A1 - 遠隔会議装置及び放収音装置 - Google Patents

遠隔会議装置及び放収音装置 Download PDF

Info

Publication number
WO2007058130A1
WO2007058130A1 PCT/JP2006/322488 JP2006322488W WO2007058130A1 WO 2007058130 A1 WO2007058130 A1 WO 2007058130A1 JP 2006322488 W JP2006322488 W JP 2006322488W WO 2007058130 A1 WO2007058130 A1 WO 2007058130A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
signal
sound collection
speaker
collecting
Prior art date
Application number
PCT/JP2006/322488
Other languages
English (en)
French (fr)
Inventor
Toshiaki Ishibashi
Satoshi Suzuki
Ryo Tanaka
Satoshi Ukai
Original Assignee
Yamaha Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2005330730A external-priority patent/JP4929685B2/ja
Priority claimed from JP2006074848A external-priority patent/JP5028833B2/ja
Application filed by Yamaha Corporation filed Critical Yamaha Corporation
Priority to CN2006800423457A priority Critical patent/CN101310558B/zh
Priority to EP06823310A priority patent/EP1971183A1/en
Priority to CA2629801A priority patent/CA2629801C/en
Priority to US12/093,849 priority patent/US8135143B2/en
Publication of WO2007058130A1 publication Critical patent/WO2007058130A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Definitions

  • the present invention relates to a device that includes a microphone array and a speaker array and reproduces the received voice and its sound field, and particularly relates to a microphone array force that also specifies the position of a speaker or a sound source.
  • Patent Documents 1 to 3 Conventionally, means for receiving sound on the transmission side and reproducing the sound field of the sound on the transmission side has been proposed (see Patent Documents 1 to 3;).
  • sound signals collected from a plurality of microphones or the like are transmitted, and on the receiving side, a plurality of speakers are used to reproduce the sound field on the transmitting side.
  • This has the advantage that the position of the speaker can be specified by voice.
  • Patent Document 1 a method of creating stereoscopic audio information that reproduces a sound field of a transmission source by transmitting audio information received by a plurality of microphone arrays and outputting the audio information by the same number of speaker arrays. Is disclosed.
  • Patent Document 1 According to the method of Patent Document 1, it is possible to transmit the sound field itself of the transmission source without fail, and it is possible to specify the position of the speaker by voice, but a lot of line resources are used. However, there are disclosed means for identifying and transmitting speaker location information (see, for example, Patent Document 2).
  • Patent Document 2 a speaker's voice is captured by a microphone, speaker position information is generated based on speaker information that also provides microphone power, and this speaker position information is multiplexed with the voice information and transmitted.
  • an apparatus is disclosed that switches the position of the speaker to be ringed according to the speaker position information sent and reproduces the voice and position of the speaker on the receiving side.
  • Patent Document 3 since it is not realistic for each speaker to have a microphone in a multi-person conference system, a microphone control unit is used to control the audio signal input to each microphone.
  • a conference system that identifies speakers by synthesizing by shifting the phase.
  • the phase shift pattern corresponding to the seat position of the speaker is changed to determine the phase pattern that maximizes the voice, and the speaker position is identified from the determined phase shift pattern.
  • the audio conference device (sound emitting and collecting device) of Patent Document 4 emits an audio signal input via a network from a speaker arranged on the top surface, and passes through a plurality of different directions arranged on the side surface. The audio signal collected by each microphone in the front direction of is transmitted to the outside via the network.
  • the in-speech loudspeaker (sound emitting and collecting device) of Patent Document 5 detects the speaker direction by performing delay processing on the collected sound signals from the microphones of the microphone array, and Recently, the sound output from the speaker is reduced.
  • Patent Document 1 JP-A-2-114799
  • Patent Document 2 Japanese Patent Laid-Open No. 9-261351
  • Patent Document 3 Japanese Patent Laid-Open No. 10-145763
  • Patent Document 4 Japanese Patent Laid-Open No. 8-298696
  • Patent Document 5 Japanese Patent Laid-Open No. 11-55784
  • Patent Document 1 has a problem of using a lot of line resources.
  • Patent Documents 2 and 3 it is possible to generate speaker position information based on speaker information obtained by microphone power. There was a problem that position detection was disturbed, and the microphone array (camera in Patent Document 3) was pointed at the sound source when it was misunderstood that the sound source was in a direction different from the actual direction.
  • the collected sound signal of each microphone includes a lot of wraparound sound from the speaker. For this reason, when the speaker direction is specified based on the collected sound signal of each microphone and the collected sound signal corresponding to the direction is selected, the speaker direction may be erroneously detected by the wraparound sound. .
  • the present invention can estimate a true sound source in a teleconference device even when the sound emitted from the speaker that outputs the sound transmitted by the partner device wraps around the microphone and is collected. The purpose is to do so.
  • a further object of the present invention is to provide a sound emission and collection device capable of accurately detecting the direction of a speaker by removing the influence of wraparound speech.
  • the present invention provides a speaker force array that also has a plurality of speaker forces that output sound upward or downward, and a first sound source that is provided so as to collect sound on both sides in the longitudinal direction of the speaker array.
  • the second microphone array and the audio signals picked up by the respective microphones of the first microphone array are synthesized by subjecting the audio signals to delay processing and synthesizing them with a predetermined delay amount.
  • First beam generating means for generating a plurality of first sound collection beams focused on a plurality of predetermined first sound collection areas on the microphone array side of the microphone array, and each microphone of the second microphone array picked up sound By focusing the audio signal on the plurality of predetermined second sound pickup areas on the second microphone array side by delaying the audio signal and synthesizing the audio signal with a predetermined delay amount.
  • Difference signal calculation means for calculating a difference signal of the sound collection beam corresponding to each sound area pair
  • first sound source position estimation means for selecting a sound collection area pair having a high signal intensity of the difference signal, and the first If the sound collection area with the higher intensity of the sound collection beam corresponding to the sound collection area is selected from the sound collection area pairs selected by the sound source position estimation means, and the sound source position is in this sound collection area
  • second sound source position estimating means for estimating.
  • Each of the first beam generating means and the second beam generating means sets a symmetric position as a sound collection area, and focuses the sound collection area to generate the first and second sound collection beams. ing.
  • the sound transmitted from the counterpart device and output from the speaker array is output approximately symmetrically on either side of each of the pair of microphone arrays. Therefore, it is considered that the sound output from the speaker array is input approximately equally to the first and second collected sound beams. Since the difference signal calculation means calculates the difference signals of the first and second sound collecting beams, the sound output from the speech force array can be canceled. In addition, even if the difference between the effective values of the collected sound beam is calculated, it is considered that the sound output from the speaker array is input almost equally to the focal point of the collected sound beam. You can cancel the output sound.
  • the sound other than the sound output from the speaker array input to the microphone array does not disappear.
  • a speaker speaks only to one microphone array side and a sound collecting beam directed toward the speaker is generated, one sound collecting beam includes the sound collecting beam. Since the voice of the speaker enters and no voice is input to the opposite side, the voice of the speaker or the voice of the opposite phase remains in the calculation of the difference. Even if there are sound sources on both sides, the sound is different, so in most cases, the sound input to a pair of microphone arrays is asymmetric. Therefore, even if such a difference is taken, the speaker's voice remains. Further, even if the effective value is calculated, the presence of the speaker's voice can be similarly extracted.
  • the first sound source position estimating means estimates that the sound source position exists in one of the sound collection area pairs having a large difference signal.
  • the second sound source position estimating means compares the sound signals picked up by each of the sound pickup area pairs and estimates which sound source position exists.
  • the position of the sound source (including the voice of the speaker; the same shall apply hereinafter) is correctly estimated even if the sound output from the speaker may be collected by the microphone. It can be done.
  • the effective value of the audio signal is obtained by calculating in real time the time average of the square of the peak value of a specific time.
  • the signal strength of the differential signal is compared by the time average of the square of the peak value at a predetermined time, the sum of squares of a plurality of predetermined frequency gains of the FFT-converted gain, or the like.
  • the signal strength of the rms difference signal can be calculated using the time average of the rms difference signal or the square of the time of the difference signal using data for a predetermined time longer than the calculation of the rms value. it can. The same applies hereinafter.
  • a plurality of the first beam generating means and the second beam generating means are further included in a sound collection area selected by the second sound source position estimating means.
  • Narrow A function is provided for setting a sound collection area and generating a plurality of narrow sound collection beams each focused on the plurality of narrow sound collection areas, and among the sound collection beams corresponding to the plurality of narrow sound collection areas.
  • the present invention is characterized by comprising third sound source position estimating means for estimating that the sound source position is in the area of the sound collecting beam having a high signal intensity.
  • a plurality of narrow sound collection areas are further set in the sound collection area where the second sound source position estimation means is estimated to have a sound source position, and a narrow sound collection beam is generated in each of the sound collection areas.
  • the third sound source position estimation means selects the area where the signal strength is high from the narrow sound collection areas, and narrows down the sound source position step by step and then estimates the sound source position in a short period of time rather than starting from the beginning. Can be estimated.
  • the present invention provides a plurality of speaker force arrays having a plurality of speaker forces that output sound upward or downward, and symmetrically on both sides of the longitudinal center line of the speaker array.
  • the first and second microphone arrays configured by arranging the microphones and the audio signals collected by the microphones of the first and second microphone arrays are differentiated for each pair of microphones at symmetrical positions.
  • the difference signal calculation means for calculating the difference signal and the difference signal are combined with each other by adjusting their delay amounts to generate a plurality of first sound collecting beams focused on a plurality of predetermined positions.
  • a first beam generating means for selecting a sound collection area pair having a high signal intensity of the differential signal among the plurality of sound collection area pairs; and the first and second microphone arrays.
  • Second and third beam forming means for forming sound collecting beams for collecting sound signals of the sound collecting areas of the sound collecting area pair selected by the first sound source position estimating means; Second sound source position estimation that selects the sound collection area with the higher signal intensity from the sound signals collected by the beam forming means and estimates that the sound source position is in this sound collection area. And means.
  • a difference signal is calculated by subtracting the audio signals picked up by each pair of microphones at the symmetrical positions of the microphone arrays on both sides, and the difference signal is used to determine in advance. Generate beams in multiple directions. Since the microphone arrays on both sides are arranged symmetrically with respect to the speaker array, this difference signal is obtained by canceling the sound that has already circulated from the speaker array.
  • the fourth sound source position estimating means Estimate the sound source position. In this estimation, the sound source position that has to be selected from the plurality of formed sound collecting beams having a high signal intensity is a pair of the sound collecting beams formed by the first and second microphone arrays. It is estimated that either one of the focal positions.
  • the sound emission and collection device of the present invention includes a speaker that emits sound in directions symmetrical to a predetermined reference plane, and a first sound that collects sound on one side of the predetermined reference plane.
  • the microphone array and the second microphone array that picks up the sound on the other side, the first sound collection beam signal that picks up each of the first sound pickup areas based on the sound pickup signals of the first microphone array, and the first sound pickup beam signal 2
  • the first sound collection area and the second sound collection beam signal that collects the multiple second sound collection areas at the target position with respect to the predetermined reference plane are generated.
  • a voice collecting beam signal selection means for selecting the sound collection beam signal as comprising the, Ru.
  • the wraparound sound component between the sound collection beam signals having a plane symmetry relationship is It becomes the same size with respect to the direction perpendicular to the reference plane. For this reason, these wraparound sound components are canceled out, and the wraparound sound component included in the differential signal is suppressed.
  • the signal level of the difference signal due to the set of collected sound beam signals that are not in the direction of the sound source (speaker) is substantially 0, and the difference due to the set of collected sound beam signals that is one of the sound source directions.
  • the signal level of the minute signal is high.
  • the sound source position parallel to the reference plane and along the microphone array direction of the microphone array is detected.
  • the sound source position in the direction perpendicular to the reference plane is detected by comparing the signal levels of the two collected sound beam signals that are the basis of the detected difference signal.
  • the influence of the sneak sound from the speaker is removed. This is because a high bandwidth is limited in a general communication network to which the sound emission and collection device is connected, and the high frequency component of the sound collection beam signal is formed only by the voice of the speaker.
  • the sound collection beam signal selection means of the sound emission and collection device of the present invention detects the difference signal having the highest signal level by subtracting the sound collection beam signals that are symmetrical to each other.
  • a high-pass filter that includes a detection means and a high-pass filter that passes only the high-frequency components of the two collected beam signals that are the source of the differential signal detected by the differential signal detection means;
  • High-frequency component signal extraction means for detecting a high-frequency component signal having a higher signal level among the high-frequency component signals, and a sound collection beam corresponding to the high-frequency component signal detected by the high-frequency component signal extraction means
  • a selection means for selecting and outputting the signal.
  • a differential signal detection unit detects a high-level differential signal by subtracting symmetrically collected sound beam signals.
  • the high-frequency component signal extracting means detects a high-frequency component signal having a higher signal level from a high-frequency component signal obtained by high-pass processing of the collected beam signal that is the basis of the detected difference signal.
  • the selection means selects and outputs a sound collecting beam signal corresponding to the detected high frequency component signal from the two sound collecting beam signals that are the basis of the detected differential signal.
  • the first microphone array and the second microphone array each have a plurality of microphones arranged in a straight line along a predetermined reference plane. It consists of an array.
  • the sound emission and collection device of the present invention is characterized in that the speaker is constituted by a plurality of single speakers arranged in a straight line along a predetermined reference plane.
  • the sound emission and collection device of the present invention includes an input sound signal and a sound collection beam signal selection unit. According to the present invention, there is provided a regression sound removal means for controlling so that the sound emitted from the speaker is not included in the output sound signal based on the selected sound collecting beam signal.
  • the wraparound sound component is further removed from the collected sound beam signal output from the collected sound beam signal selection means.
  • FIG. 1A A view showing an external perspective view of the remote conference device according to the first embodiment of the present invention.
  • FIG. 1B A bottom view of the remote conference device.
  • FIG. 1C A diagram showing how the remote conference device is used
  • FIG. 2A Diagram explaining the audio beam of the teleconference device
  • FIG. 2B Diagram explaining the sound collection beam of the teleconference device
  • FIG.3 A diagram explaining the sound collection area set in the microphone array of the remote conference device
  • FIG. 7 is a block diagram of the transmission unit of the remote conference apparatus according to the second embodiment of the present invention.
  • FIG. 8 is a block diagram of a transmission unit of a remote conference device according to a third embodiment of the present invention.
  • FIG. 9A is a plan view showing the microphone and speaker arrangement of the sound emission and collection device according to the present embodiment.
  • FIG. 9B is a diagram showing a sound collection beam area formed by the sound emission and collection device.
  • FIG. 10 is a functional block diagram of the sound emission and collection device of the present embodiment.
  • FIG. 11 is a block diagram showing a configuration of a sound collection beam selection unit 19 shown in FIG.
  • FIG. 12A is a diagram showing a situation where the sound emitting and collecting apparatus 1 of the present embodiment is placed on a desk C and two conference persons A and B are having a meeting.
  • FIG. 12A is a diagram showing a situation where the sound emitting and collecting apparatus 1 of the present embodiment is placed on a desk C and two conference persons A and B are having a meeting.
  • FIG. 12B This is a diagram showing the situation where Conference B is speaking.
  • FIG. 12C This is a diagram showing the situation when both the participants A and B speak.
  • the remote conference device reproduces and outputs the voice transmitted from the partner device by reproducing the position of the speaker on the partner device side using the speaker array, and also uses the microphone array. Is a device that detects the speaker's position and transmits the collected voice and position information to the partner device.
  • FIG. 1A-1C shows the external view and usage of this remote conference device.
  • Fig. 1A is an external perspective view of the remote conference device.
  • Fig. 1B is a bottom view of the remote conference device.
  • FIG. 1C is a diagram showing a usage form of the remote conference device.
  • the remote conference device 1 includes a rectangular parallelepiped device body and a leg 111.
  • the main body of the teleconference device 1 is supported by the legs 111 with buoyancy above the installation surface force by a predetermined interval.
  • a speaker array SPA in which a plurality of speakers SP1 to SP4 are linearly arranged in the longitudinal direction of the device body which is a rectangular parallelepiped is provided downward.
  • audio is output downward from the bottom of the remote conference device 1, and this audio is reflected by the installation surface of the conference desk or the like to reach the conference participants (see Fig. 1C).
  • both side surfaces in the longitudinal direction of the apparatus main body (hereinafter, both side surfaces are referred to as a right side surface (upper side in FIG. 1B) and a left side surface (lower side in FIG. 1B).)
  • a microphone array in which microphones are arranged linearly. That is, the microphone array MR composed of microphones MR1 to MR4 is provided on the right side surface of the apparatus main body, and the microphone array ML composed of microphones ML1 to ML4 is provided on the left side surface of the apparatus main body.
  • the remote conference device 1 picks up the voice of the conference participant who is a speaker and detects the position of the speaker.
  • the power not shown in Fig. 1A is processed inside the remote conference device 1 by processing the voice collected from the microphone arrays MR and ML, and the position of the speaker (if only human voice is used) It is also possible to use the sound emitted from the object.The same applies to the following), and the transmitter 2 (see Fig. 4) that multiplexes and transmits this position and the sound collected from the microphone arrays MR and ML, and It is equipped with a receiver 3 (see Fig. 6) that outputs the sound received from the partner device as beams from speakers SP1 to SP4.
  • the microphone arrays MR and ML are provided at symmetrical positions with respect to the center line 101 of the speaker array SPA.
  • the apparatus according to the first embodiment does not necessarily have to be provided symmetrically. Even if the microphone arrays MR and ML are asymmetrical, if the signal processing is performed at the transmitter (see Fig. 4), the left and right sound collection areas (see Fig. 3) are formed symmetrically. Good.
  • the remote conference device 1 is usually used by being placed in the center of the conference desk 100. Speakers 998 and / or speakers 999 are seated on the left and right sides or one side of the conference desk 100.
  • the sound output from the speaker array SPA is reflected by the conference desk 100 and reaches the left and right speakers.
  • the speaker array SPA converts the sound into a beam and outputs it to the left and right speakers. It can be localized at a specific position. The details of the sound beam processing by the speaker array SPA will be described later.
  • the microphone arrays MR and ML pick up the voice of the speaker.
  • the signal processing unit (transmitting unit) connected to the microphone arrays MR and ML determines the position of the speaker based on the timing difference of the voices input to the microphone units MR1 to MR4 and ML1 to ML4. To detect.
  • the number of speakers and the number of microphones are four for ease of illustration, but the number of speakers is not limited to four in order to use the apparatus of the first embodiment.
  • One or many speakers and microphones may be provided.
  • FIG. 2A is a diagram for explaining an audio beam.
  • the signal processing unit (receiving unit) that supplies audio signals to the speaker units SP1 to SPN of the speaker array SPA delays the audio signals received from the counterpart device by the delay times DS1 to DSN as shown in the figure.
  • Each speaker Supply to units SP1 to SPN In this figure, the speakers closest to the virtual sound source position (focal point FS) emit sound without a delay time, and the sound is emitted through a delay time corresponding to that distance as the distance from the virtual sound source position increases. A delay pattern is given. Due to this delay pattern, the sound output from each of the speaker units SP1 to SPN spreads to form a wavefront similar to the sound emitted from the virtual sound source in FIG. The person can hear the voice as if the other party's speaker is at the position of the virtual sound source.
  • FIG. 2B is a diagram illustrating a sound collecting beam.
  • the audio signals input to the microphone units MR1 to MRN are synthesized after being delayed by delay times DM1 to DMN, respectively, as shown in the figure.
  • the audio signal picked up by each microphone is input to the adder without delay and the sound picked up by the microphone farthest from the sound pickup area (Focus FM).
  • a delay pattern is provided that is input to the adder after a time delay corresponding to the approached distance.
  • each sound signal is equidistant from the sound collection area (focus FM) in sound wave propagation, and each synthesized sound signal emphasizes the sound signal of this sound collection area in the same phase, The audio signals in other areas are canceled out of phase.
  • synthesizing the sound input to a plurality of microphones by delaying them so as to be equidistant in a certain sound collection area force wave propagation, it is possible to collect only the sound in the sound collection area. .
  • each microphone array MR, ML forms a sound collecting beam simultaneously with respect to a plurality (four in FIG. 3) of sound collecting areas.
  • the voice can be picked up wherever the speaker power collecting area is, and the position of the speaker can be detected from the sound collecting area where the voice is picked up.
  • FIG. 3 is a plan view of the teleconferencing device and the speaker looking down from above, that is, a view taken along arrow B-B in FIG. 1C, and is a diagram for explaining a mode of sound collection beam formation by the microphone array.
  • the transmission unit 2 (see FIG. 4) of the teleconference device 1 forms a sound collection beam that focuses on the four areas of the sound collection areas 411 to 414 by the above delay synthesis. These multiple sound collection areas are determined on the assumption that there is a possibility that a speaker attending the conference using the remote conference device 1 may exist.
  • the sound collection areas 411R to 414R it is considered that a speaker (sound source) exists in the area where the level of the collected sound signal is the highest! / Area.
  • a speaker sound source
  • the sound collection area 414R is also picked up compared to the sound signals picked up by the other sound collection areas 411R to 413R. The level of the audio signal is increased.
  • the microphone array ML on the left side four sound collecting beams are formed almost symmetrically with the right side, and the level of the collected sound signal is the highest in the sound collecting areas 411L to 414L. Also detect large areas.
  • the line symmetry line is formed so as to substantially coincide with the axis of the speaker array SPA.
  • the sound signal supplied to each speaker of the speaker array SPA has a pattern as shown in FIG. 2A so as to form the same wavefront as when sound comes from the virtual sound source position set behind the speaker array. The delay is given.
  • the audio signal picked up by the microphone array MR is synthesized after being delayed by a pattern as shown in FIG. 2B so that the timing of the audio signal arriving at a predetermined sound pickup area force matches.
  • the virtual sound source position force of the speaker array SPA If any of the plurality of sound pickup areas of the microphone array MR coincides with each other, each speaker SP1 to SP of the speaker array SPA The delay pattern given to N and the delay pattern given to the sound collection area for the sound signal picked up by the microphone array MR are just reversed, and the speaker array SP A force is emitted and wraps around the microphone array MR. The audio signal picked up by is synthesized at a large level.
  • the demon sound source is generated symmetrically in the same manner in the right microphone array MR and the left microphone array ML because the sound beam is reflected by the conference desk 100 and is radiated symmetrically.
  • the sound signal level of the left microphone array ML 411L to 414L and the sound signal areas 411R to 414R of the right microphone array MR are collected. Compare the collected audio signal levels, eliminate pairs with almost the same level in the left and right sound collection areas, and if the left and right sound collection areas differ greatly, the sound source will be in the larger sound collection area. Judging that it exists.
  • FIG. 4 is a block diagram illustrating a configuration of the transmission unit 2 of the remote conference device 1.
  • a thick arrow indicates that a plurality of audio signals are transmitted
  • a thin arrow indicates that one audio signal is transmitted.
  • a broken arrow indicates that an instruction input is being transmitted.
  • the first beam generation unit 231 and the second beam generation unit 232 in the figure each have four sound collection beams focusing on the left and right sound collection areas 411R to 414R and 411L to 414L shown in FIG. A signal processing unit to be formed.
  • the first beam generation unit 231 receives an audio signal picked up by each microphone unit MR1 to MRN of the right microphone array MR via the AZD converter 211.
  • the second beam generation unit 232 receives an audio signal collected by each of the microphones ML 1 to MLN of the left microphone array ML via the AZD converter 212.
  • the first beam generation unit 231 and the second beam generation unit 232 form four sound collection beams, respectively, and collect sound from the four sound collection areas 411R to 414R and 411L to 414L.
  • the sound signal is output to the difference value calculation circuit 22 and the selectors 271, 272.
  • FIG. 5 is a diagram showing a detailed configuration of the first beam forming unit 231.
  • Each delay processing unit 43 ⁇ 4 generates a sound collection beam output MBj having a focus on each sound collection area 41j, and delays the sound signal for each microphone output based on the delay pattern data 40j.
  • Each of the sound collection beam outputs MBj is a sound collection beam focused on the sound collection area 41j shown in FIG. And each delay process
  • the collected sound beam output MBj calculated by the processing unit 45j is output to the difference value calculation circuit 22 and the like.
  • the force described for the first beam forming unit 231 and the second beam forming unit 232 are also provided.
  • the difference value calculation circuit 22 compares the volume levels of the sound signals collected in the sound collection areas in the left-right symmetrical position among the sound signals collected in the sound collection areas, Calculate the difference value. That is, if the signal level of the sound collection area A is represented by P (A), the difference value calculation circuit 22
  • the difference value calculation circuit 22 may be configured to output the difference value signal by directly subtracting the signal waveform of the sound signal collected in the left and right sound collection areas. A value obtained by subtracting the volume level value obtained by integrating the effective value of the collected audio signal for a certain period of time may be output at each certain period of time.
  • the BPF 241 is inserted between the difference value calculation circuit 22 and the first estimation unit 251 in order to facilitate the estimation of the first estimation unit 251. do it.
  • the BPF 241 is set so as to pass through the frequency band around lk to 2 kHz where the directivity control can be satisfactorily performed by the collected sound beam in the frequency range of the conversational sound from the difference value signal.
  • the loudspeaker array SPA is obtained by subtracting the sound volume levels of the sound collecting signals in the left and right sound collecting areas at symmetrical positions with the center line of the speaker array SPA as the symmetry axis.
  • the audio components that sneak symmetrically from the SPA to the left and right microphone arrays MR and ML are canceled, and the wraparound audio signal is not recognized as a daemon sound source.
  • the first estimation unit 251 calculates the maximum difference value input from the difference value calculation circuit 22. Select a pair of sound collection areas for which the maximum difference value has been calculated.
  • the first estimation unit 251 that inputs the sound collection area to the second estimation unit 252 outputs a selection signal for outputting the sound signal in the sound collection area to the second estimation unit 252 to the selectors 271 and 272.
  • the selector 271 selects the second sound collection area signal selected by the first estimation unit 251 from the four sound collection area signals collected by the right beam generation section 231.
  • a signal is selected to be supplied to the estimation unit 252 and the signal selection unit 26.
  • the selector 272 selects, based on the selection signal, the signal of the sound collection area selected by the first estimation unit 251 among the four sound collection area signals collected by the left beam generation unit 232. 2 Select a signal to be supplied to the estimation unit 252 and the signal selection unit 26.
  • the second estimation unit 252 inputs the sound signal of the sound collection area estimated by the first estimation unit 251 and selectively output from the selectors 271 and 272.
  • the second estimation unit 252 compares the input audio signals of the left and right sound collection areas, and determines that the level is the true sound source audio signal.
  • the second estimation unit 252 outputs information indicating the direction and distance of the sound collection area where the true sound source exists as position information 2522 to the multiplexing unit 28 and also outputs the audio signal of the true sound source to the signal selection unit 26. Is selectively input to the multiplexing unit 28.
  • the multiplexing unit 28 multiplexes the position information 2522 input from the second estimation unit 252 and the audio signal 261 of the true sound source for which the signal selection unit 26 force is also selected, and the multiplexed signal is transmitted to the other party. Send to device '81?>
  • these estimation units 251 and 252 repeatedly perform sound source position estimation at regular intervals. For example, repeat every 0.5 seconds. In this case, the signal waveform or amplitude rms value for 0.5 seconds should be compared. As described above, if the sound source position is repeatedly estimated for each predetermined period and the sound collection area is switched, sound collection corresponding to the movement of the speaker can be performed.
  • a difference signal obtained by subtracting the left and right signal waveforms may be output to the counterpart device as a sound collection signal.
  • the difference signal has the power to cancel only the demon sound source waveform and save the signal waveform of the true sound source.
  • the first estimator 251 Two sound collection areas are selected in descending order, and the intensity ratio is output.
  • the second estimation unit 252 compares the maximum pair or two pairs of signal strengths to estimate which side the true sound source is on.
  • the signal selection unit 26 synthesizes the two audio signals on one side selected by the first estimation unit 251 and the second estimation unit 252 by applying the weight of the instructed intensity ratio, and outputs the resultant as an output signal 261. To do. In this way, if the voices at two positions are always synthesized with the weight of the signal intensity ratio, the same crossfade as described above is always applied to the movement of the speaker, and the sound image localization moves naturally. .
  • the receiving unit 3 receives the audio signal from the partner device and also determines the audio signal from the audio signal receiving unit 31 that separates the position information from the subcode of the audio signal and the position information separated by the audio signal receiving unit 31.
  • a parameter calculation unit 32 that calculates a directivity control parameter for locating the sound image at the position, and the directivity of the received audio signal based on the parameters input from the parameter calculation unit 32
  • Directivity control unit 33 that controls the directivity
  • the audio signal receiving unit 31 is a functional unit that communicates with the counterpart device via the Internet, a public telephone line, or the like, and includes a communication interface, a buffer memory, and the like.
  • the audio signal receiving unit 31 receives the audio signal 30 including the position information 2522 as a subcode as well as the partner apparatus power.
  • the position information is separated from the subcode of the received audio signal and input to the parameter calculation unit 32, and the audio signal is input to the directivity control unit 33.
  • the parameter calculation unit 32 is a calculation unit that calculates parameters used in the directivity control unit 33.
  • the parameter calculation unit 32 generates a focal point at a position based on the received positional information, and this focal force is applied to an audio signal. Calculates the amount of delay to be given to the audio signal supplied to each speaker unit in order to give the directivity as if it is being emitted.
  • the directivity control unit 33 performs sound generation based on the parameters set by the parameter calculation unit 32.
  • the digital audio signal is converted into an analog signal and output.
  • the receiving unit 3 described above is installed on the bottom surface of the apparatus main body in order to reproduce the positional relationship of the sound source in the partner apparatus with the sound signal received from the partner apparatus! Based on the positional information, the SPA generates a sound signal that is converted into a beam and outputs it, and performs processing to reproduce the directivity as if a virtual sound source position force sound was output.
  • FIG. 4 This embodiment is an application of the first embodiment shown in FIG. 4, and the same portions are denoted by the same reference numerals and the description is applied mutatis mutandis. Reference is also made to FIG. 3 in the description of the sound collecting beam.
  • the second estimation unit 252 estimates that the true sound source 999 is present in the sound collection area 414R as shown in FIG. 3, the second estimation unit 252 sends the estimation result to the first beam generation unit 231. Notify As described above, since the second estimation unit 252 estimates which side of the microphone array MR or ML has a true sound source, only one of the estimation result notifications 2523 and 2524 is input. If it is estimated that a true sound source is present in the left area, the second estimation unit 252 notifies the second beam generation unit 232 of the estimation result. Based on this notification, the first beam generation unit 231 operates the detailed position search beam generation function 23 13 to generate a narrow beam focusing on the narrow sound collection areas 431 to 434 in FIG. Search the location of the sound source 999 in more detail.
  • the apparatus of the second embodiment includes a third estimation unit 253 and a fourth estimation unit 254.
  • the two beam pick-up powers 2313 and 2323 for this detailed position search are also selected in descending order of signal strength. However, of the estimation units 253 and 254, only the side estimated by the second estimation unit 252 operates.
  • the sound signal is collected from the sound collection beam directed to the narrow sound collection areas 431 to 434, and the true sound source 999 extends over the sound collection area 434 and the sound collection area 433. It exists in a pointed position.
  • the third estimation unit 253 selects the sound signals collected from the sound collection areas 434 and 433 in descending order of signal strength.
  • the third estimation unit 253 estimates and outputs the speaker position by proportionally allocating the focal position of the selected sound collection area according to the signal strengths of the two selected audio signals, and outputs the selected two Audio signals are weighted and synthesized and output as audio signals.
  • the detailed position search function of the apparatus of the second embodiment described above may not be able to catch up when the speaker moves frequently. Therefore, it can be considered that this function is activated only when the position of the speaker output from the second estimation unit 252 remains for a certain period of time. In this case, if the position of the speaker output from the second estimation unit 252 moves within a certain time, even if the configuration shown in FIG. 7 is provided, the first embodiment shown in FIG. Do the same thing as!
  • estimation units 253 and 254 that perform the narrowing estimation correspond to the “third sound source position estimation unit” of the present invention.
  • FIG. 8 is a block diagram of this transmission unit.
  • the transmission unit 2 of the apparatus of this embodiment is configured such that the input of the difference value calculation circuit 22 is the output of the AZD converters 211 and 212, and a third sound generation beam is generated using the output signal of the difference value calculation circuit 22.
  • the difference is that the beam generation unit 237 is provided, the fourth beam generation unit 238 and the fifth beam generation unit 239 are provided, and the selectors 271 and 272 are not provided.
  • the other parts are denoted by the same reference numerals, and the above description is applied mutatis mutandis. Only the differences and important points of the apparatus of this embodiment will be described below.
  • the outputs of the AZD converters 211 and 212 are directly input to the difference value calculation circuit 22. Therefore, in the apparatus according to the second embodiment, the number N of the microphones MRi and the number of the microphones MLi are the same and are provided at symmetrical positions.
  • each of the microphones MRi and MLi needs to be substantially symmetrical with respect to the center line in the longitudinal direction of the speaker array SPA. This is because the difference value calculation circuit 22 cancels the wraparound sound between the microphones. Note that the difference value calculation circuit 22 performs a constant clock calculation while the microphone arrays MR and ML of the remote conference device 1 are activated.
  • the third beam generation unit 237 is based on the bundle of output signals from the difference value calculation circuit 22 and, like the first beam generation unit 231 and the second beam generation unit 232, Outputs a sound collection beam focused on the sound collection area.
  • This virtual sound collection area corresponds to the sound collection area pairs (411R and 411L, 412R and 412L, 413R and 413L, 414R and 414L: see Fig. 3) set symmetrically with respect to the center line 101 of the speaker array SPA.
  • the audio signal output by the third beam generating unit 237 is the same as the differential signals D (411), D (412), D (413), and D (414) in the first embodiment.
  • the sound source position can be estimated in the same manner as the first estimation unit 251 of the apparatus shown in FIG.
  • the estimation results 2511 and 2512 are output to the fourth beam generation unit 238 and the fifth beam generation unit 239.
  • the fourth beam generation unit 238 and the fifth beam generation unit 239 in FIG. 8 will be described.
  • 4th beam Digital audio signals output from the AZD converters 211 and 212 are directly input to the generation unit 238 and the fifth beam generation unit 239.
  • a sound collection beam focusing on the sound collection area indicated by the estimation results 2511 and 2512 input from the first estimation unit 251 is generated, and the sound signal in the sound collection area is extracted. That is, the sound collecting beams generated by the fourth beam generating unit 238 and the fifth beam generating unit 239 correspond to the sound collecting beams selected by the selectors 271, 272 in the first embodiment.
  • the fourth beam generation unit 238 and the fifth beam generation unit 239 output only one system of audio output collected by the designated sound collection beam.
  • the sound signals collected by the fourth beam generation unit 238 and the fifth beam generation unit 239 from the sound collection area that is the focus of each sound collection beam are input to the second estimation unit 252.
  • the second estimation unit 252 compares the two audio signals and determines that a sound source exists in the sound collection area with the higher level.
  • the second estimation unit 252 outputs information indicating the direction and distance of the sound collection area where the true sound source exists to the multiplexing unit 28 as position information 2522 and also outputs the true sound source to the signal selection unit 26.
  • the multiplexing unit 28 multiplexes the position information 2522 input from the second estimation unit 252 and the audio signal 261 of the true sound source selected from the signal selection unit 26, and the multiplexed signal is transmitted to the partner device. Send to.
  • the estimation may be performed in multiple stages, and the sound source position may be initially widened and narrowed down again. It is possible.
  • second estimation unit 252 outputs instruction inputs 2523 and 2524 for instructing to search for a narrower range to fourth and fifth beam generation units 238 and 239. This operation is output only to the beam generator on the side where the sound source exists.
  • the beam generator Upon receiving this instruction input, the beam generator reads the delay pattern corresponding to the narrower and narrower range when receiving this instruction input, and rewrites the delay pattern data 40j from the ROM.
  • the first estimation unit 251 selects one sound collection area (41jR, 41jL) from each of the left and right sound collection areas 411R to 414R and 411L to 414L. Then, the second estimation unit 252 estimates whether a true sound source exists in 41jR or 41jL. However, it is not always necessary to provide the second estimation unit.
  • FIG. 9A is a plan view showing the microphone and speaker arrangement of the sound emitting and collecting apparatus 700 according to the fourth embodiment
  • FIG. 9B is a diagram showing the sound collecting beam area formed by the sound emitting and collecting apparatus 700 shown in FIG. 9A. It is.
  • FIG. 10 is a functional block diagram of the sound emission and collection device 700 of the present embodiment.
  • FIG. 11 is a block diagram showing a configuration of the collected sound beam selection unit 19 shown in FIG.
  • the sound emission and collection device 700 of the present embodiment includes a housing 101 provided with a plurality of speakers SP1 to SP3, a plurality of microphones MIC11 to MIC17, and MIC21 to MIC27, and a functional unit shown in FIG.
  • the case 101 also has a substantially rectangular parallelepiped force that is long in one direction, and the installation surface force is also separated by a predetermined distance from the lower surface of the case 101 at both ends of the long side (surface) of the case 101.
  • a leg (not shown) with a predetermined height is installed.
  • the long surface is referred to as a long surface
  • the short surface is referred to as a short surface.
  • non-directional single speakers SP1 to SP3 having the same shape force are installed.
  • These single speakers SP1 to SP3 are installed in a straight line at regular intervals along the length direction, and the straight line connecting the centers of the single speakers SP1 to SP3 is along the long surface of the casing 101. It is installed so that the horizontal axis coincides with the central axis 800 that connects the centers of the short surfaces. That is, a straight line connecting the centers of the speakers SP1 to SP3 is arranged on a vertical reference plane including the central axis 800.
  • the speaker array SPA10 is configured by arranging the single speakers SP1 to SP3 in an array.
  • the speaker When sound that is not subjected to relative delay control is emitted from each single speaker SP1 to SP3 of the array SPA10, the emitted sound is equally transmitted to the two long surfaces. At this time, the sound emission propagating to the two long surfaces facing each other travels in symmetric directions perpendicular to the reference surface.
  • the same (spec) microphones MIC11 to MIC17 are installed on one long surface of the casing 101. These microphones MIC 11 to MIC 17 are installed in a straight line at regular intervals along the lengthwise direction, thereby forming a microphone array MA10.
  • the same (spec) microphones MIC21 to MIC27 are also installed on the other long surface of the casing 101. These microphones MIC21 to MIC27 are also installed in a straight line at regular intervals along the longitudinal direction, thereby forming a microphone array MA20.
  • the microphone array MA10 and the microphone array MA20 are arranged so that the vertical positions of the arrangement axes thereof coincide with each other.
  • the microphones MIC11 to MIC17 of the microphone array MA10 and the microphones MIC21 to MIC27 of the microphone array MA20 are arranged at symmetrical positions with respect to the reference plane. Specifically, for example, the microphone MIC11 and the microphone MIC21 are symmetrical with respect to the reference plane, and the microphone MIC17 and the microphone MIC27 are similarly symmetrical.
  • the number of speakers in the speaker array SPA10 is three, and the number of microphones in each microphone array MA10, MA20 is seven.
  • the present invention is not limited to this.
  • the number of microphones may be set as appropriate.
  • the distance between the speakers in the speaker array and the distance between the microphones in the microphone array may not be constant.For example, they are densely arranged at the center along the longitudinal direction and sparsely arranged toward both ends. Such a mode may be used.
  • the sound emitting and collecting apparatus 700 of the present embodiment is functionally composed of an input / output connector 11, an input / output IZF 12, a sound emitting directivity control unit 13, a DZA converter 14, Sound emission amplifier 15, speaker array SPA10 (speakers SP1 to SP3), microphone array MA10, MA20 (microphones MIC11 to MIC17, MIC21 to MIC27), sound pickup amplifier 16, A ZD converter 17, Sound beam generation units 181, 182, a sound collection beam selection unit 19, and an echo cancellation unit 20 are provided.
  • the input / output IZF 12 receives signals from other sound emission and collection devices that are input via the input / output connector 11.
  • the input audio signal is converted from a data format (protocol) corresponding to the network, and is provided to the sound output directivity control unit 13 via the echo cancellation unit 20.
  • the input / output IZF 12 converts the output audio signal generated by the echo cancellation unit 20 into a data format (protocol) corresponding to the network, and transmits it to the network via the input / output connector 11. At this time, the input / output IZF 12 transmits an audio signal obtained by band-limiting the output audio signal to the network.
  • the sound emission directivity control unit 13 performs delay processing, amplitude processing, and the like specific to each speaker SP1 to SP3 of the speaker array SPA 10 on the input audio signal based on the designated sound emission directivity. To generate individual sound emission signals.
  • the sound emission directivity control unit 13 outputs these individual sound emission signals to the DZA converter 14 installed for each of the speakers SP1 to SP3.
  • Each DZA converter 14 converts the individual sound emission signal into an analog format and outputs it to each sound emission amplifier 15, and each sound emission amplifier 15 amplifies the individual sound emission signal and applies it to the speakers SP 1 to SP 3.
  • the speakers SP1 to SP3 convert the given individual sound emission signals into sound and emit them to the outside. At this time, since the speakers SP1 to SP3 are installed on the lower surface of the housing 101, the sound emitted is reflected on the installation surface of the desk on which the sound emitting and collecting device 700 is installed, and the device where the conference person is located. Lateral force is propagated with an upward force.
  • the microphones MIC11 to MIC17 and MIC21 to MIC27 of the microphone arrays MA10 and MA20 may be omnidirectional or directional, but it is desirable to be directional.
  • the sound from the outside of the device 700 is picked up and converted into an electric signal, and the picked-up signal is outputted to each sound collecting amplifier 16.
  • Each of the sound collecting amplifiers 16 amplifies the collected sound signal and applies it to the AZD comparator 17, and the AZD converter 17 converts the collected sound signal into a digital signal and outputs it to the collected sound beam generation units 181 and 182.
  • the sound collection beam generator 181 is installed on one long surface.
  • the sound collection signals from the microphones MIC11 to MIC17 of the microphone array MA10 are input, and the sound collection beam generator 182 collects the signals from the microphones MIC21 to MIC27 of the microphone array MA20 installed on the other long surface. A sound signal is input.
  • the collected sound beam generation unit 181 performs predetermined delay processing or the like on the collected signals of the microphones MIC11 to MIC17 to generate the collected sound beam signals MB11 to MB14. As shown in FIG. 9B, the sound collecting beam signals MB11 to MB14 are provided with areas having predetermined widths in the sound collecting beam area along the long surface where the microphones MIC11 to MIC17 are installed. It has been determined.
  • the collected sound beam generation unit 182 performs predetermined delay processing or the like on the collected signals of the microphones MIC21 to MIC27 to generate the collected sound beam signals MB21 to MB24. As shown in FIG. 9B, the sound collecting beam signals MB21 to MB24 are provided in the sound collecting beam region with areas having different predetermined widths along the long surface on which the microphones MIC21 to MIC27 are installed. It has been determined.
  • the collected sound beam signal MB11 and the collected sound beam signal MB21 are formed as beams symmetric with respect to a vertical plane (reference plane) having the central axis 800.
  • the sound collecting beam signal MB12 and the sound collecting beam signal MB22, the sound collecting beam signal MB13 and the sound collecting beam signal MB 23, the sound collecting beam signal MB 14 and the sound collecting beam signal MB24 are also symmetrical with respect to the reference plane. Formed as a beam.
  • the sound collection beam selection unit 19 selects the optimum sound collection beam signal MB from the input sound collection beam signals MB11 to MB14 and MB21 to MB24, and outputs the selected signal to the echo cancellation unit 20.
  • FIG. 11 is a block diagram showing the main configuration of the collected sound beam selector 19.
  • the collected sound beam selector 19 includes a signal difference circuit 191, a BPF (bandpass filter) 192, full-wave rectifier circuits 193 A and 193 B, peak detection circuits 194 A and 194 B, level comparators 195 A and 1 95 B, and signal selection circuits 196 and 198.
  • HPF Noise Pass Filter
  • the signal difference circuit 191 calculates a difference between the collected sound beam signals symmetric to the reference plane from the collected sound beam signals MB11 to MB14 and MB21 to MB24. Specifically, a difference signal MS 1 is generated by calculating a difference between the collected sound beam signals MB 11 and MB21, and the collected sound beam signal MB 1 The difference signal MS2 is generated by calculating the difference between 2 and MB22. Further, a difference signal MS3 is generated by calculating a difference between the collected sound beam signals MB13 and MB23, and a difference signal MS4 is generated by calculating a difference between the collected sound beam signals MB14 and MB24.
  • the original collected beam signals are symmetric with respect to the axis of the speaker array on the reference plane, so that the wraparound sound components included in each other are canceled out. Therefore, the sneak sound component of the speech power is a suppressed signal.
  • the BPF192 is a bandpass filter whose passband is a band mainly having beam characteristics and a main component band of human speech, and performs full-wave rectification by performing a bandpass filter process on the differential signals MS1 to MS4.
  • Output to circuit 193A Full-wave rectification circuit 193A performs full-wave rectification (absolute value) on differential signals MS1 to MS4, and peak detection circuit 194A performs peak detection on differential signals MS1 to MS4 that have undergone full-wave rectification.
  • the level comparator 195A compares the peak value data Psl to Ps4 and provides selection instruction data for selecting the differential signal MS corresponding to the peak value data Ps of the highest level to the signal selection circuit 196. This utilizes the fact that the signal level of the collected sound beam signal corresponding to the sound collection region where the speaker is present is higher than the signal level of the collected sound beam signal corresponding to the other region.
  • FIGS. 12A to 12C are diagrams showing a situation in which the sound emitting and collecting apparatus 700 of the present embodiment is arranged on the desk C and two conference persons A and B are having a meeting.
  • 12A shows the situation where Conference A is speaking
  • Fig. 12B shows the situation where Conference B is speaking
  • Fig. 12C shows the situation where neither Conference A or B is speaking.
  • the signal level of the sound collecting beam signal MB 13 is set to the other sound collecting beam signals MB 11, MB12. , MB14, MB21 ⁇ MB24 signal level is higher.
  • the signal level of the difference signal MS3 obtained by subtracting the sound collection beam signal MB23 from the sound collection beam signal MB13 is higher than the signal level of the difference signals MS1, MS2, and MS4.
  • the peak value data Ps3 of the differential signal MS3 becomes higher than the other peak value data Psl, Ps2, Ps4, and the level comparator 195A selects the differential signal MS3 by detecting the peak value data Ps3.
  • the instruction data is supplied to the signal selection circuit 196.
  • the level comparator 195A detects the peak value data Psl and gives selection instruction data for selecting the differential signal MS1 to the signal selection circuit 196.
  • the level comparator 195A indicates that all of the peak value data Ps 1 to Ps4 have reached a predetermined threshold value! / When it is detected, the previous selection instruction data is supplied to the signal selection circuit 196.
  • the HPF 197 performs a filtering process that allows only the high-frequency components of the selected sound-collecting beam signals MBlx and MB2x to pass, and outputs them to the full-wave rectifier circuit 193B.
  • high-frequency component passing processing in other words, attenuation processing other than the high-frequency component, it is possible to remove the input audio signal without the high-frequency component, that is, the wraparound audio component as described above.
  • a high-pass processing signal including only the voice of the conference apparatus on the own device side is formed.
  • the full-wave rectifier circuit 193B performs full-wave rectification (absolute value) on the high-pass processing signals corresponding to the collected sound beam signals ⁇ 1 ⁇ and MB2x, detects the peak with the peak detection circuit 194B, and generates peak value data Pbl, Pb2 is output.
  • the level comparator 195B detects the peak value data Pb2 and selects the collected sound beam signal MB21. Selection instruction data to be supplied is supplied to the signal selection circuit 198. As shown in FIG. 12C, the level comparator 195B, if there is no speaker and the peak value data Pbl and Pb2 of the two collected beam signals MBlx and MB2x are equal to or lower than a predetermined threshold, The signal selection circuit 198 is given.
  • the signal selection circuit 198 selects the higher one of the signal levels according to the selection instruction data of the sound pickup beam signal MBlx, MB2x force selected by the signal selection circuit 196 and the level comparator 195B. Output to the echo cancellation unit 20 as a signal MB.
  • the sound collection beam signal MB13 is selected and output from the sound collection beam signal MB13 and the sound collection beam signal MB23 according to the selection instruction data.
  • the sound collection beam signal MB21 is selected and output from the sound collection beam signal MB11 and the sound collection beam signal MB21 according to the selection instruction data.
  • the collected beam signal MB13 is output, and the immediately preceding collected beam signal is the collected beam signal MB21. If so, the collected sound beam signal MB21 is output.
  • the echo cancellation unit 20 includes an adaptive filter 201 and a post processor 202.
  • the adaptive filter 201 generates a pseudo regression sound signal based on the sound collection directivity of the selected sound collection beam signal MB with respect to the input sound signal.
  • the post processor 202 subtracts the pseudo-regression sound signal from the sound collection beam signal MB output from the sound collection beam selection unit 19 and outputs the result to the input / output IZF 12 as an output sound signal.
  • appropriate echo cancellation is performed, and only the speaker's voice is transmitted to the network as an output voice signal.
  • Sound can be collected at the N ratio and transmitted to the other party sound emission and collection device.

Abstract

　スピーカアレイとその両側にマイクアレイを備え、話者の位置として複数の焦点を、マイクアレイそれぞれの前方に、スピーカアレイの中心線に関して対称に設定し、その焦点に向けた収音ビームの束を出力する。中心線に関して互いに対称の焦点に向けた収音ビーム同士の差分値を計算して、スピーカアレイＳＰＡからマイクに回り込んだ音声成分をキャンセルする。さらに、前記差分値の波高値の２乗の特定時間分の合計から前記設定した焦点のいずれに近いか推定し、さらに前記した互いに対称の焦点に向けた収音ビーム同士の波高値の２乗の合計を比較して、話者の位置を判定する。

Description

明 細 書
遠隔会議装置及び放収音装置
技術分野
[0001] マイクアレイと、スピーカアレイを備え、受信した音声とその音場を再現する装置に 関し、特に、マイクアレイ力も話者または音源の位置を特定することに関する。
背景技術
[0002] 従来、送信側の音声を受信して、送信側の音声の音場を再現する手段が提案され ている（特許文献 1〜3参照。；)。このような装置では、複数のマイク等より収音した音 声信号等を送信して、受信側では複数のスピーカを用いて、送信側の音場を再現す るものである。このようにすれば話者の位置を音声で特定できる利点がある。
[0003] 特許文献 1では、複数のマイクアレイで受け取った音声情報を送信して、これと同 数のスピーカアレイで出力することにより、送信元の音場を再現する立体音声情報の 創出方法等が開示されている。
[0004] この特許文献 1の方法によれば、確かに送信元の音場そのものを伝送可能であり、 話者の位置を音声で特定することが可能であるが、回線リソースを多く使用する等の 問題があり、話者の位置情報を特定し、伝送する手段等が開示されている (例えば、 特許文献 2参照。）。
[0005] 特許文献 2では、マイクによって話者の音声をとらえ、マイク力も得られる話者情報 によって話者位置情報を生成し、この話者位置情報を音声情報と共に多重化して伝 送させる。受信側では送られて来る話者位置情報により鳴動させるスピーカの位置を 切り替え、話者の声と位置を受信側で再現する装置が開示されている。
[0006] 特許文献 3では、多人数の会議システムで、各話者にマイクをすベて持たせること が現実的でないことから、マイク制御部を用いて、各マイクに入力された音声信号の 位相をシフトさせて合成することにより話者を特定する会議システムについての記載 がある。特許文献 3では、話者の座席位置に対応した位相シフトのパターンを変化さ せて、音声が最大となる位相パターンを決定し、この決定された位相シフトのパター ンより話者の位置を特定して 、る。 [0007] 特許文献 4の音声会議装置 (放収音装置）は、ネットワークを介して入力される音声 信号を天面に配置されたスピーカから放音し、側面に配置された異なる複数方向を それぞれの正面方向とする各マイクで収音した音声信号を、ネットワークを介して外 部に送信する。
[0008] また、特許文献 5の場内拡声装置 (放収音装置）は、マイクロホンアレイの各マイク からの収音信号に対して遅延処理を行うことで発話者方向を検出し、当該発話者に 近 、スピーカからの放音量を低減させる。
特許文献 1 :特開平 2— 114799号公報
特許文献 2：特開平 9 - 261351号公報
特許文献 3 :特開平 10— 145763号公報
特許文献 4：特開平 8— 298696号公報
特許文献 5：特開平 11― 55784号公報
発明の開示
発明が解決しょうとする課題
[0009] し力しながら、以上の特許文献では、以下の問題があった。
[0010] 特許文献 1の方法では前述のとおり、回線リソースを多く使用する等の問題があつ た。
[0011] 特許文献 2、 3の方法では、マイク力 得られる話者情報によって話者位置情報を 生成することが可能であるが、相手装置力 送信される音声を出力するスピーカの音 声によってこの位置検出が力べ乱され、実際とは異なる方向に音源があると誤認して 、マイクアレイ (特許文献 3ではカメラ)を指向させてしまう問題があった。
[0012] 特許文献 4の装置では、マイクとスピーカとが近接することで、各マイクの収音信号 にスピーカからの回り込み音声が多く含まれる。このため、各マイクの収音信号に基 づいて発話者方向を特定し、当該方向に対応する収音信号を選択する場合に、回り 込み音声によって発話者方向を誤検出してしまうことがある。
[0013] 特許文献 5の装置では、回り込み音声を含む収音信号に遅延処理を行って発話者 方向を検出するため、特許文献 1と同様に回り込み音声による影響を除去できず、誤 検知してしまうことがある。 [0014] そこで、本発明は、遠隔会議装置において、相手装置力 送信される音声を出力 するスピーカから放音された音声がマイクに回り込んで収音されても、真の音源を推 定できるようにすることを目的とする。この発明の更なる目的は、回り込み音声の影響 を除去して発話者方向を正確に検出することができる放収音装置を提供することに ある。
課題を解決するための手段
[0015] 本発明は、上述の課題を解決するための手段を以下のように構成している。
[0016] (1)本発明は、上方向、または下方向に音声を出力する複数のスピーカ力もなるス ピー力アレイと、前記スピーカアレイの長手方向の両側を収音するように設けた第 1、 第 2のマイクアレイと、前記第 1のマイクアレイの各マイクが収音した音声信号に対し 予め定められたディレイ量で該音声信号にディレイ処理をして合成することにより、前 記第 1のマイクアレイ側の予め定めた複数の第 1収音エリアに焦点を当てた複数の第 1収音ビームを生成する第 1ビーム生成手段と、前記第 2のマイクアレイの各マイクが 収音した音声信号に対し予め定められたディレイ量で該音声信号にディレイ処理を して合成することにより、前記第 2のマイクアレイ側の予め定めた複数の第 2収音エリ ァにそれぞれ焦点を当てた第 2収音ビームを複数生成する第 2ビーム生成手段と、 前記複数の第 1収音エリア、複数の第 2収音エリアに向けて生成した収音ビームのう ち、前記スピーカアレイの長手方向の中心線に関し互いに対称な位置の収音エリア 対に対応する収音ビームの差分信号をそれぞれ計算する差分信号計算手段と、前 記差分信号の信号強度が大きい収音エリア対を選択する第 1の音源位置推定手段 と、前記第 1の音源位置推定手段が選択した収音エリア対のうち、該収音エリアに対 応する収音ビームの強度の大きい方の収音エリアを選択し、この収音エリアに音源位 置があると推定する第 2の音源位置推定手段と、を備えたことを特徴とする。
[0017] 第 1ビーム生成手段と、第 2ビーム生成手段は、それぞれ、対称となる位置を収音 エリアとし、その収音エリアに焦点を当てて第 1、第 2の収音ビームを生成している。ま た、相手装置から送信され、スピーカアレイから出力される音声は、前記 1対のマイク アレイそれぞれのいずれの側にも略対称に音声が出力される。したがって、第 1、第 2 の収音ビームには、スピーカアレイから出力される音声が略等しく入力されると考えら れ、差分信号計算手段が第 1、第 2の収音ビームの差分信号を計算しているので、ス ピー力アレイから出力される音声をキャンセルできる。また、収音ビームの実効値の差 分を計算しても、収音ビームが当てている焦点には、スピーカアレイから出力される 音声が略等しく入力されると考えられ、同様にスピーカアレイから出力される音声をキ ヤンセノレできる。
[0018] また、このマイクアレイに対して入力されるスピーカアレイから出力される音声以外 の音声は、このような差分を取ったとしても、消えてなくなることがない。例えば、典型 的には、片側のマイクアレイ側にのみ話者が話した場合であってその話者の方向に 向けた収音ビームを生成した場合には、一方の収音ビームには、その話者の音声が 入り、逆側には音声が入力されないから、前記差分の計算には、その話者の音声そ のものまたはその逆相の音声が残る。また、両側に音源があつたとしても、音声が異 なるので、ほとんどの場合、 1対のマイクアレイに入力される音声は非対称となる。し たがって、このような差分を取ったとしても、話者の音声が残る。また、前記実効値を 計算しても、同様に、話者の音声の存在を抽出できる。
[0019] 第 1の音源位置推定手段は、上記差分信号の大きい収音エリア対のどちらかに音 源位置が存在すると推定する。第 2の音源位置推定手段は、収音エリア対のそれぞ れで収音した音声信号を比較し、どちらに音源位置が存在するかを推定する。このよ うに、この発明によればスピーカから出力される音声がマイクに回り込んで収音される 可能性があっても、音源 (話者の音声を含む。以下同じ。）の位置を正しく推定するこ とがでさる。
[0020] なお、音声信号の実効値は、特定時間の波高値の 2乗の時間平均をリアルタイム で計算することで得られる。差分信号の信号強度は、所定の時間の波高値の 2乗の 時間平均や FFT変換したゲインの予め定めた複数の周波数ゲインの 2乗和等で比 較する。実効値の差分信号の信号強度は、実効値の計算よりも長い所定時間分の データを用いて、実効値の差分信号の時間平均、またはこの差分信号の 2乗の時間 平均で計算することができる。以下同じである。
[0021] (2)本発明は、（1)の発明において、前記第 1ビーム生成手段および第 2ビーム生 成手段は、前記第 2の音源位置推定手段が選択した収音エリア内にさらに複数の狭 収音エリアを設定して、この複数の狭収音エリアにそれぞれ焦点を当てた複数の狭 収音ビームを生成する機能を備えるとともに、前記複数の狭収音エリアに対応する収 音ビームのうち、信号の強度が大きい収音ビームのエリアに音源位置があると推定す る第 3の音源位置推定手段を備えたことを特徴として 、る。
[0022] この発明では、第 2の音源位置推定手段により音源位置があると推定された収音ェ リア内にさらに複数の狭収音エリアを設定し、そのそれぞれに狭収音ビームを生成す る。第 3の音源位置推定手段は、狭収音エリアのうち信号強度が大きいエリアを選択 することにより、段階的に音源の位置を絞り込んで最初から細かく推定するよりも、短 期間に音源の位置を推定することができる。
[0023] (3)本発明は、上方向、または下方向に音声を出力する複数のスピーカ力もなるス ピー力アレイと、前記スピーカアレイの長手方向の中心線の両側に、互いに対称に複 数のマイクを配置して構成された第 1,第 2のマイクアレイと、前記第 1,第 2のマイクァ レイの各マイクが収音した音声信号を、互いに対称位置にあるマイク対ごとに差分し て差分信号を計算する差分信号計算手段と、前記差分信号を互いにそのディレイ量 を調整して合成することにより、予め定めた複数の位置に焦点を当てた第 1収音ビー ムを複数生成する第 1ビーム生成手段と、前記複数の収音エリア対のうち、前記差分 信号の信号強度が大きい収音エリア対を選択する第 1の音源位置推定手段と、前記 第 1,第 2のマイクアレイの各マイクが収音した音声信号に基づき、前記第 1の音源位 置推定手段が選択した収音エリア対の各収音エリアの音声信号を収音する収音ビー ムを形成する第 2,第 3ビーム形成手段と、第 2,第 3ビーム形成手段が形成した収音 ビームで収音した音声信号のうち、その信号強度の大きい方の収音エリアを選択し、 この収音エリアに音源位置があると推定する第 2の音源位置推定手段と、を備えたこ とを特徴とする。
[0024] 本発明は、まず先に両側のマイクアレイの対称位置にある各マイク対が収音した音 声信号を差分して差分信号を計算した上で、この差分信号を用いて予め定めた複数 方向にビームを生成する。両側のマイクアレイは、スピーカアレイに対して左右対称 に配置されているため、この差分信号は、既にスピーカアレイから回り込んだ音声が キャンセルされたものである。第 4の音源位置推定手段は、この差分信号に基づいて 音源位置を推定する。この推定は、形成された複数の収音ビームのうち信号強度の 大きいものを選択すればよぐ音源位置は、前記第 1,第 2のマイクアレイでそれぞれ 該収音ビームを形成した場合の一対の焦点位置のどちらかと推定される。
[0025] 本発明によれば、遠隔会議装置においてスピーカから出力される音声がマイクに 回り込んで収音される可能性があっても、音源の位置を正しく推定することができる。
[0026] (4)この発明の放収音装置は、所定基準面に対して対称となる方向にそれぞれ音 声を放音するスピーカと、所定基準面の一方側の音声を収音する第 1マイクアレイお よび他方側の音声を収音する第 2マイクアレイと、第 1マイクアレイの収音信号に基づ き複数の第 1収音エリアをそれぞれ収音する第 1収音ビーム信号と第 2マイクアレイの 収音信号に基づき第 1の収音エリアと前記所定基準面に対して対象の位置である複 数の第 2収音エリアをそれぞれ収音する第 2収音ビーム信号とを生成する収音ビーム 信号生成手段と、前記所定基準面に対して互いに対称となる収音ビーム信号同士を 差分して信号レベルが最も高い差分信号を構成する 2つの収音ビーム信号の高域 成分のみを抽出し、信号レベルが高い方の高域成分信号を検出して対応する収音 ビーム信号を選択する収音ビーム信号選択手段と、を備えたことを特徴として 、る。
[0027] この構成では、第 1収音ビーム信号と、第 2収音ビーム信号とが基準面に対して対 称であるので、面対称の関係にある収音ビーム信号同士の回り込み音声成分は基 準面に垂直な方向に対して同じ大きさになる。このため、これら回り込み音声成分同 士が相殺し、差分信号に含まれる回り込み音声成分が抑圧される。また、前記の面 対称の関係から、ともに音源 (発話者)方向でない収音ビーム信号の組による差分信 号の信号レベルは略 0となり、一方が音源方向である収音ビーム信号の組による差 分信号の信号レベルは高レベルとなる。したがって、高レベルの差分信号を選択す ることで、基準面に平行でマイクアレイのマイク配列方向に沿った音源位置が検出さ れる。次に、この検出した差分信号の元となる 2つの収音ビーム信号の信号レベルを 比較することで、基準面の直交する方向の音源位置が検出される。この際、高域成 分のみを用いることで、スピーカからの回り込み音声の影響が除去される。これは、当 該放収音装置が接続する一般的な通信ネットワークでは高い帯域が制限されている ことによるものであり、収音ビーム信号の高域成分は発話者力 の音声でのみ形成さ れるカゝらである。
[0028] (5)また、この発明の放収音装置の収音ビーム信号選択手段は、互いに対称となる 収音ビーム信号同士を差分して信号レベルが最も高い差分信号を検出する差分信 号検出手段と、該差分信号検出手段で検出された差分信号の元となる 2つの収音ビ ーム信号の高域成分のみを通過させる高域通過フィルタを備えて高域通過フィルタ を通過した高域成分信号同士のうちで信号レベルが高い方の高域成分信号を検出 する高域成分信号抽出手段と、該高域成分信号抽出手段で検出された高域成分信 号に対応する収音ビーム信号を選択して出力する選択手段と、を備えたことを特徴と している。
[0029] この構成では、前述の収音ビーム信号選択手段の具体的な構成として、差分信号 検出手段、高域通過フィルタを備えた高域成分信号抽出手段、および選択手段を有 する。差分信号検出手段は、対称となる収音ビーム信号同士を差分して、高レベル の差分信号を検出する。高域成分信号抽出手段は、検出した差分信号の元となる収 音ビーム信号の高域通過処理による高域成分信号から、信号レベルの高 、方の高 域成分信号を検出する。選択手段は、検出した差分信号の元となる 2つの収音ビー ム信号から、検出した高域成分信号に対応する収音ビーム信号を選択して出力する
[0030] (6)また、この発明の放収音装置は、第 1マイクアレイと第 2マイクアレイとを、それぞ れに複数のマイクが所定基準面に沿って一直線状に配列されたマイクアレイで構成 することを特徴としている。
[0031] この構成では、所定基準面に沿ってマイクアレイを構成することで、各マイクの収音 信号に基づ!、て収音ビーム信号を生成する場合に、各収音信号に対して遅延処理 等の簡素な信号処理を行うだけでょ 、。
[0032] (7)また、この発明の放収音装置は、スピーカを、所定基準面に沿って一直線状に 配列された複数の単体スピーカにより構成することを特徴としている。
[0033] この構成では、複数の単体スピーカを所定基準面に沿って配置することで、所定基 準面に対して、放音音声がさらに対称になりやすい。
[0034] (8)また、この発明の放収音装置は、入力音声信号と収音ビーム信号選択手段で 選択された収音ビーム信号とに基づいて、スピーカから放音された音声が出力音声 信号に含まれな 、ように制御する回帰音除去手段を備えたことを特徴として 、る。
[0035] この構成では、収音ビーム信号選択手段から出力された収音ビーム信号から回り 込み音声成分がさらに除去される。
[0036] この発明によれば、放音信号によることなぐ正確に発話者等の音源方向を検出し 、当該方向からの音声を効果的に収音する放収音装置を構成することができる。 図面の簡単な説明
[0037] [図 1A]この発明の第 1の実施形態に係る遠隔会議装置の外観斜視図を示す図 [図 1B]同遠隔会議装置の底面図 A— A矢視図を示す図
[図 1C]同遠隔会議装置の使用形態を示す図
[図 2A]同遠隔会議装置の音声ビームを説明する図
[図 2B]同遠隔会議装置の収音ビームを説明する図
[図 3]同遠隔会議装置のマイクアレイに設定される収音エリアを説明する図
[図 4]同遠隔会議装置の送信部のブロック図
[図 5]同遠隔会議装置の第 1ビーム生成部の構成図
[図 6]同遠隔会議装置の受信部のブロック図
[図 7]この発明の第 2の実施形態の遠隔会議装置の送信部のブロック図
[図 8]この発明の第 3の実施形態の遠隔会議装置の送信部のブロック図
[図 9A]本実施形態に係る放収音装置のマイク、スピーカ配置を示す平面図
[図 9B]放収音装置により形成される収音ビーム領域を示す図である。
[図 10]本実施形態の放収音装置の機能ブロック図である。
[図 11]図 10に示す収音ビーム選択部 19の構成を示すブロック図である。
[図 12A]本実施形態の放収音装置 1を机 C上に配置し、二人の会議者 A, Bが会議を 行っている状況を示した図であり、会議者 Aが発言している状況を示した図である。
[図 12B]会議者 Bが発言している状況を示した図である。
[図 12C]会議者 A, Bともに発言して ヽな 、状況を示した図である。
発明を実施するための最良の形態
[0038] <第 1の実施形態 > 図 1A乃至 1Cを用いて、本願発明の第 1の実施形態である遠隔会議装置の構成と 使用形態について説明する。この第 1の実施形態の遠隔会議装置は、相手装置から 送信された音声をスピーカアレイを用いて相手装置側における話者の位置を再現し て出力するとともに、マイクアレイを用いて話者の音声を収音するとともにその話者の 位置を検出し、収音した音声および位置情報を相手装置に送信する装置である。
[0039] 図 1A— 1Cは、この遠隔会議装置の外観図と使用形態を示しており、図 1Aは、遠隔 会議装置の外観斜視図、図 1Bは遠隔会議装置の底面図 A— A矢視図である。また 図 1Cは遠隔会議装置の使用形態を示す図である。
[0040] 図 1Aに示すように、遠隔会議装置 1は、長直方体の装置本体と脚 111とを備えて いる。遠隔会議装置 1の本体は、脚 111により設置面力 所定間隔上方に浮力せて 支えられている。遠隔会議装置 1の底面には、複数のスピーカ SP1〜SP4を、長直 方体である装置本体の長手方向に直線状に配置したスピーカアレイ SPAが下向き に設けられている。このスピーカアレイ SPAにより、遠隔会議装置 1の底面から下向き に音声が出力され、この音声が会議机等の設置面で反射して会議参加者に到達す る（図 1C参照。）。
[0041] また、図 1A, 1Bに示すように、装置本体の長手方向の両側面（以下、この両側面 を右側面（図 1Bの上辺）および左側面（図 1Bの下辺）と呼ぶ。）には、マイクを直線 状に配置したマイクアレイが設けられている。すなわち、装置本体の右側面には、マ イク MR1〜MR4からなるマイクアレイ MRが設けられ、装置本体の左側面には、マイ ク ML1〜ML4からなるマイクアレイ MLが設けられている。遠隔会議装置 1は、これ らのマイクアレイ MR, MLを用いて、話者である会議参加者の話し声を収音するとと もに、その話者の位置を検出する。
[0042] なお、図 1 Aでは図示を省略している力 遠隔会議装置 1の内部には、マイクアレイ MR、 MLから収音した音声を加工して、話者の位置（人間の声のみならず、物体か ら出る音声でも良い。以下同じ、）を推定して、この位置とマイクアレイ MR、 MLから 収音した音声とを多重化して送信する送信部 2 (図 4参照）、および、相手装置から受 信した音声をスピーカ SP1〜SP4からビーム化して出力する受信部 3 (図 6参照）を 備えている。 [0043] なお、図 IBではマイクアレイ MR、 MLをスピーカアレイ SPAの中心線 101に関し て対称位置に設けているが、第 1の実施形態の装置では、必ずしも対称に設ける必 要はない。マイクアレイ MR、 MLが左右非対称であっても、左右の収音エリア（図 3 参照）が左右対称に形成されるように、送信部（図 4参照)で信号処理を行うようにす ればよい。
[0044] 次に、図 1Cを用いて遠隔会議装置 1の使用形態を説明する。遠隔会議装置 1は、 通常、会議机 100の中央に置いて使用される。会議机 100の左右両側または片側に は話者 998または/および話者 999が着席する。スピーカアレイ SPAが出力した音 声は、会議机 100で反射して左右の話者に到達するが、スピーカアレイ SPAが音声 をビーム化して出力することにより、左右の話者に対してその音声を特定位置に定位 させることができる。スピーカアレイ SPAによる音声のビーム化処理につ!、ての詳細 は後述する。
[0045] また、マイクアレイ MR, MLは、話者の音声を収音する。マイクアレイ MR, MLに接 続されている信号処理部（送信部）は、各マイクユニット MR1〜4, ML1〜4に入力さ れる音声のタイミングの違 、に基づ 、て話者の位置を検出する。
[0046] また、図 1A乃至 1Cでは、図示の容易のため、スピーカの数、マイクの数を 4つとし たが、第 1の実施形態の装置を使用するためには 4つに限らず、 1つまたは多数のス ピー力、マイクを設けても良ぐまたマイクアレイ MR、 ML、スピーカアレイ SPAは、 1 列でなく複数列設けても良い。そこで、以下の説明では、例えば、スピーカ SP1〜SP Nを SPi (i= 1〜N)、マイク ML1〜MLNを MLi (i= 1〜N)と!、う風に添え字 iを用い てスピーカアレイ、マイクアレイのそれぞれのスピーカおよびマイクを表現することに する。例えば、 SPi(i= l〜N)で、 i= lについては SP1に対応する。
[0047] ここで、図 2A、 2Bを参照して、スピーカアレイ SPAによる音声のビーム化処理、す なわち音声ビーム、および、マイクアレイ ML, MRが形成する収音ビームについて説 明する。
[0048] 図 2Aは音声ビームを説明する図である。スピーカアレイ SPAの各スピーカユニット SP1〜SPNに音声信号を供給する信号処理部 (受信部）は、相手側装置から受信し た音声信号を、同図に示すような遅延時間 DS1〜DSNだけ遅延させて各スピーカ ユニット SP1〜SPNに供給する。この図では、各スピーカは、仮想音源位置 (焦点 F S)に最も近いスピーカは遅延時間なしで音声を放音し、仮想音源位置から遠くなる ほどその距離に応じた遅延時間を経て音声を放音するような遅延パターンが与えら れる。この遅延パターンにより、各スピーカユニット SP1〜SPNから出力される音声は 、同図の仮想音源カゝら発せられた音声と同じような波面を形成して広がってゆき、ュ 一ザである会議出席者に対して、あた力も相手側の話者が仮想音源の位置に居るか のように音声を聴かせることができる。
[0049] 図 2Bは、収音ビームを説明する図である。各マイクユニット MR1〜MRNに入力さ れた音声信号を図示のようにそれぞれ遅延時間 DM 1〜DMNだけ遅延させたのち 合成する。この図では、各マイクが収音した音声信号は、収音エリア (焦点 FM)に最 も遠いマイクが収音した音声は遅延時間なしで加算部に入力され、収音エリアから近 くなるほどその近づいた距離に応じた時間遅延させたのち加算部に入力されるような 遅延パターンが与えられる。この遅延パターンにより、各音声信号は、収音エリア (焦 点 FM)から音波伝搬において等距離になり、合成した各音声信号は、この収音エリ ァの音声信号を同位相で強調するとともに、他のエリアの音声信号を位相ずれで相 殺したものになっている。このように、複数のマイクに入力された音声をある収音エリ ァ力 音波伝搬上等距離になるように遅延させて合成することにより、その収音エリア の音声のみを収音することができる。
[0050] 本実施形態の遠隔会議装置では、各マイクアレイ MR, MLがそれぞれ複数（図 3 では 4つ）の収音エリアに対して同時に収音ビームを形成している。これにより、話者 力 の収音エリアのどこにいてもその音声を収音することができるとともに、その音声 が収音された収音エリアにより、その話者の位置を検出することができる。
[0051] 次に図 3を参照しつつ、前記収音ビームによる音源位置の検出およびその音源位 置力 の収音動作について説明する。図 3は、遠隔会議装置および話者を上方から 見下ろした平面図、すなわち図 1Cの B— B矢視図であり、マイクアレイによる収音ビ ーム形成の態様を説明する図である。
[0052] «デーモン音源を排除した音源位置検出'収音方式の説明》
まず、この遠隔会議装置の音源位置検出および収音方式の原理について説明す る。この説明では、スピーカアレイ SPAから音声ビームが出力されていないものとす る。
[0053] ここでは、右側面のマイクアレイ MRの収音信号に対する処理について説明する。
遠隔会議装置 1の送信部 2 (図 4参照）は、上述の遅延合成により収音エリア 411〜4 14の 4つのエリアを焦点とする収音ビームを形成する。これら複数の収音エリアは、 遠隔会議装置 1を用いた会議に出席する話者が存在する可能性のある位置を想定 して決定されている。
[0054] この、収音エリア 411R〜414Rのうち、収音した音声信号のレベルが最も大き!/ヽェ リアに話者 (音源）が存在すると考えられる。たとえば、図 3に示すように音源 999が収 音エリア 414Rに存在する場合には、他の収音エリア 411R〜413Rカも収音した音 声信号に比べて、収音エリア 414Rカも収音した音声信号のレベルが大きくなる。
[0055] 左側面のマイクアレイ MLについても同様に、右側面とほぼ線対称に 4系統の収音 ビームを形成して、収音エリア 411L〜414Lのうち、収音した音声信号のレベルが最 も大きいエリアを検出する。なお、上記線対称の対称線は、スピーカアレイ SPAの軸 とほぼ一致するように形成する。
[0056] 以上が、本実施形態の遠隔会議装置の音源位置検出および収音方式の原理であ る。
[0057] スピーカアレイ SPAから音声が出力されず、マイクアレイ MR、 MLが回り込み音を 収音しない状態では、この原理どおりで正しい音源位置検出と収音をすることができ るが、遠隔会議装置は双方向に音声信号を送受信し、マイクアレイ MR、 MLによる 収音と並行してスピーカアレイ SPAから音声が放音される。
[0058] スピーカアレイ SPAの各スピーカに供給される音声信号は、スピーカアレイ後方に 設定された仮想音源位置カゝら音声が到来した場合と同じ波面を形成するよう、図 2A に示すようなパターンの遅延が与えられている。一方、マイクアレイ MRが収音した音 声信号は、所定の収音エリア力 到来する音声信号のタイミングが一致するように、 図 2Bに示すようなパターンで遅延させたのち合成される。
[0059] ここで、スピーカアレイ SPAの仮想音源位置力 マイクアレイ MRの複数の収音エリ ァのうちいずれ力と一致した場合には、スピーカアレイ SPAの各スピーカ SP1〜SP Nに付与される遅延パターンとマイクアレイ MRが収音した音声信号に対してその収 音エリアについて付与される遅延パターンがちょうど裏返しになり、スピーカアレイ SP A力 放音されマイクアレイ MRに回り込んで収音された音声信号が大きなレベルで 合成されてしまう。
[0060] 上に述べた一般の音源位置検出方式で処理した場合、この大きなレベルで合成さ れた回り込み音声信号が、本来はな！、音源 (デーモン音源）として誤認識されてしま うという問題点がある。
[0061] したがって、このデーモン音源をキャンセルしなければ、相手装置から到来した音 声信号をそのまま返信してしまいエコーの原因になるとともに、本来の音源 (話者)の 音声を検出および収音することができなくなる。
[0062] 以上はマイクアレイ MRにつ!/、ての説明であるが、マイクアレイ MLにつ!/ヽても（左 右対称であるため）、全く同様である。
[0063] すなわち、デーモン音源は、音声ビームが、会議机 100で反射して左右対称に放 射されることから、右側マイクアレイ MR,左側マイクアレイ MLに同様に、左右対称に 生じる。
[0064] そこで、左側収音エリア 411L〜414Lと右側収音エリア 411R〜414Rの音量を比 較し、音量レベルが大きぐ音源が存在すると推定されても、左右の対応するエリアで 同じように音量レベルが大きい場合には、これは、スピーカアレイ SPAの音声ビーム が回り込んだデーモン音源であるとして、これを収音対象から外すことで、真の音源 の音声の検出および収音を可能にするとともに、回り込み音声によるエコーを防止す るようにしている。
[0065] このため、この遠隔会議装置の送信部では、左側マイクアレイ MLの収音エリア 41 1L〜414Lカも収音した音声信号レベルと、右側マイクアレイ MRの収音エリア 411 R〜414Rから収音した音声信号レベルとを比較し、左右の収音エリアでレベルがほ ぼ同じ対を排除し、左右の収音エリアでレベルが大きく異なる場合に、その大きい方 の収音エリアに音源が存在すると判断するようにしている。
[0066] そして相手装置には、その大きい方の音声信号のみを送信するとともに、その信号
(デジタル信号)のサブコード等にその音声信号を検出した収音エリアの位置を表す 位置情報を付加する。
[0067] 以下、上記のデーモン音源排除処理を実行する信号処理部 (送信部）の構成につ いて説明する。なお、図 3の狭収音ビーム 431〜434については、図 7の第 2実施形 態の説明で参照して説明する。
[0068] 《収音ビームを形成する送信部の構成〉〉
図 4は、遠隔会議装置 1の送信部 2の構成を示すブロック図である。ここで、太い矢 印は、複数系統の音声信号が伝送されていることを示し、細い矢印は、 1つの音声信 号が伝送されていることを示している。また、破線の矢印は指示入力が伝送されてい ることを示して ヽる。
[0069] 図中の第 1ビーム生成部 231および第 2ビーム生成部 232は、図 3に示した左右の 収音エリア 411R〜414R、 411L〜414Lを焦点とするそれぞれ 4系統の収音ビーム を形成する信号処理部である。
[0070] 第 1ビーム生成部 231には、 AZD変換器 211を介して右側マイクアレイ MRの各 マイクユニット MR1〜MRNが収音した音声信号が入力される。また、同様に、第 2ビ ーム生成部 232には、 AZD変換器 212を介して左側マイクアレイ MLの各マイクュ -ット ML 1〜MLNが収音した音声信号が入力される。
[0071] 第 1ビーム生成部 231,第 2ビーム生成部 232は、それぞれ 4つの収音ビームを形 成して 4つの収音エリア 411R〜414R、 411L〜414Lから音声を収音し、この収音 した音声信号を差分値計算回路 22およびセレクタ 271, 272に出力する。
[0072] 図 5は、第 1ビーム形成部 231の詳細構成を示す図である。第 1ビーム生成部 231 では、各収音エリア 41j (j = l〜K)に対応する複数の遅延処理部 4¾を有している。 各遅延処理部 4¾では、各収音エリア 41jに焦点を持つ収音ビーム出力 MBjを生成 するため、ディレイパターンのデータ 40jに基づき、各マイク出力毎に音声信号を遅 延させる。各遅延処理部 45jは、 ROM上に記憶したディレイパターンのデータ 40jを 入力して、ディレィ46 0 = 1〜 、 i= l〜N)にディレイ量を設定する。
[0073] そして、加算部 47jは、これらディレイがかけられたディジタル音声信号を加算して、 マイクビーム出力 MBj (j = l〜K)として出力する。この収音ビーム出力 MBjは、それ ぞれ、図 3に示す収音エリア 41jへ焦点を結ぶ収音ビームとなる。そして、各遅延処 理部 45jが演算した収音ビーム出力 MBjは、それぞれ差分値計算回路 22等に出力 される。
[0074] また、図 5では第 1ビーム形成部 231について説明した力 第 2ビーム形成部 232も
、これと同様の構成である。
[0075] 図 4において、差分値計算回路 22は、各収音エリアで収音した音声信号のうち左 右対称の位置にある収音エリアで収音したもの同士の音量レベルを比較し、その差 分値を算出する。すなわち、収音エリア Aの信号レベルを P(A)で表すとすると、差分 値計算回路 22は、
D(411)= I P(411R)-P(411L) |
D(412)= I P(412R)-P(412L) |
D(413)= I P(413R)-P(413L) |
D(414)= I P(414R)-P(414L) |
を計算する。この計算した差分値 D(411)〜D(414)を第 1推定部 251に出力する
[0076] なお、差分値計算回路 22は、左右の収音エリアで収音した音声信号の信号波形を そのまま引き算して差分値信号を出力するよう構成してもよぐ左右の収音エリアで収 音した音声信号の実効値を一定時間積分した音量レベル値を引き算した値を前記 一定時間毎に出力するよう構成してもよい。
[0077] 差分値計算回路 22が差分値信号を出力する場合には、第 1推定部 251の推定を 容易にするため、差分値計算回路 22と第 1推定部 251との間に BPF241を挿入す ればよい。 BPF241は、差分値信号から、会話音声の周波数領域のなかで、収音ビ ームによって指向性制御を良好に行うことができる lk〜2kHz周辺の周波数帯域を 通過させるように設定される。
[0078] このように、スピーカアレイ SPAの中心線を対称軸として左右対称の位置にある左 右の収音エリアの収音信号の音量レベル同士を差分することにより、スピーカアレイ
SPAから左右のマイクアレイ MR、 MLへ左右対称に回り込んだ音声成分がキャンセ ルされ、回り込みの音声信号をデーモン音源として誤認識してしまうことがな 、。
[0079] 第 1推定部 251は、差分値計算回路 22から入力された差分値のうち最大のものを 選択し、その最大の差分値が計算された収音エリアのペアを選択する。この収音エリ ァを第 2推定部 252に入力すベぐ第 1推定部 251は、この収音エリアの音声信号を 第 2推定部 252に出力する選択信号をセレクタ 271, 272に出力する。
[0080] セレクタ 271は、この選択信号に基づき、右側ビーム生成部 231がビーム化して収 音した 4つの収音エリアの信号のうち第 1推定部 251が選択した収音エリアの信号を 第 2推定部 252および信号選択部 26に供給すべく信号を選択する。また、セレクタ 2 72は、前記選択信号に基づき、左側ビーム生成部 232がビーム化して収音した 4つ の収音エリアの信号のうち第 1推定部 251が選択した収音エリアの信号を第 2推定部 252および信号選択部 26に供給すべく信号を選択する。
[0081] 第 2推定部 252は、第 1推定部 251で推定され、セレクタ 271, 272から選択的に出 力された収音エリアの音声信号を入力する。第 2推定部 252は入力された左右の収 音エリアの音声信号を比較し、そのレベルの大き 、方を真の音源の音声信号である と判断する。第 2推定部 252は、この真の音源が存在する収音エリアの方向，距離を 示す情報を位置情報 2522として多重化部 28に出力するとともに、信号選択部 26に この真の音源の音声信号を選択的に多重化部 28に入力するように指示する。
[0082] 多重化部 28は、第 2推定部 252から入力された位置情報 2522と、信号選択部 26 力も選択された真の音源の音声信号 261とを多重化し、この多重化した信号を相手 装置に対して送信 '81?〉キる。
[0083] なお、これらの推定部 251、 252は、音源位置の推定を一定期間ごとに繰り返して 行う。例えば 0. 5秒ごとに繰り返す。この場合、 0. 5秒分の信号波形または振幅実効 値を比較すればよい。このように所定期間ごとに繰り返し音源位置を推定して収音ェ リアを切り換えるようにすれば、話者の移動に対応した収音をすることができる。
[0084] なお、真の音源位置と回り込みによるデーモン音源位置が重なった場合には、左 右の信号波形を差分した差分信号を収音信号として相手装置に出力するようにして もよ 、。差分信号はデーモン音源波形のみキャンセルして真の音源の信号波形を保 存している力もである。
[0085] また、話者が 2つの収音エリアに跨がって存在している場合や話者が移動した場合 に対応するため、以下のような別形態も考えられる。第 1推定部 251が差分信号の強 度が大きい順に 2つの収音エリアを選択するとともに、その強度比を出力する。第 2推 定部 252はこの信号強度の最大のペアまたは 2つのペアを比較して真の音源がどち ら側にあるかを推定する。信号選択部 26は、第 1推定部 251および第 2推定部 252 によって選択された一方の側の 2つの音声信号を、この指示された強度比の重みを かけて合成し、出力信号 261として出力する。このように信号強度比の重みつきで常 に 2つの位置の音声を合成すれば、話者の移動に対して、常に上述と同様のクロス フェードがかかることになり、音像定位が自然に移動する。
[0086] «音声ビームを形成する受信部 3の構成 »
次に図 6を用いて、受信部 3の内部構成について説明する。受信部 3は、相手装置 から音声信号を受信するとともに、音声信号のサブコードから位置情報を分離する音 声信号受信部 31と、音声信号受信部 31が分離した位置情報からこの音声信号を定 位させる位置を決定し、その位置に音像を定位させるための指向性制御パラメータを 算出するパラメータ算出部 32と、パラメータ算出部 32から入力されたパラメータに基 づいて、受信した音声信号の指向性を制御する指向性制御部 33と、指向性が制御
Figure imgf000019_0001
〜N)とを備えている。アンプ 35iが出力したアナログの音声信号は、図 1A乃至 1Cで 示した外部のスピーカ SPi(i= 1〜N)に供給される。
[0087] 音声信号受信部 31は、インターネットや公衆電話回線等を介して相手装置と通信 をする機能部であり、通信インタフェースやバッファメモリ等を備えている。音声信号 受信部 31は、相手装置力も位置情報 2522をサブコードとして含む音声信号 30を受 信する。受信した音声信号のサブコードから位置情報を分離してパラメータ算出部 3 2に入力するとともに、音声信号を指向性制御部 33に入力する。
[0088] パラメータ算出部 32は、指向性制御部 33で用いるパラメータを算出する計算部で あり、パラメータ算出部 32は、受信した位置情報に基づく位置に焦点を生成し、音声 信号にこの焦点力 放音されているような指向性を持たせるための、各スピーカュ- ットに供給する音声信号に与えるディレイ量を算出する。
[0089] 指向性制御部 33は、パラメータ算出部 32で設定されたパラメータに基づいて、音 声信号受信部 31で受信した音声信号を、スピーカ SPi (i= l〜N)の出力系統ごとに 処理する。即ち、スピーカ SPi (i= l〜N)の各々に対応する複数の処理部をパラレ ルに設ける。各処理部は、パラメータ算出部 32が算出したパラメータ (ディレイ量パラ メータ等）に基づいて、音声信号に対してディレイ量等を設定して DZA変換器 34i (i = 1〜N)にそれぞれ出力する。
[0090]
Figure imgf000020_0001
のデジタル音声信号をアナログ信号に変換して出力する。アンプ 35i (i= l〜N)は、 DZA変 34i (i= l〜N)力も出力されたアナログの音声信号をそれぞれ増幅し て、スピーカ SPi (i= l〜N)に出力する。
[0091] 以上説明した受信部 3が、相手装置から受信した音声信号を、相手装置における 音源の位置関係を自装置で再現するために、装置本体底面に設置されて!、るスピ 一力アレイ SPAから音声信号を位置情報に基づ 、てビーム化して出力し、仮想的な 音源位置力 音声が出力されたような指向性を再現する処理を行う。
[0092] <第 2の実施形態 >
次に、図 7を参照して、第 2の実施形態の遠隔会議装置について説明する。この実 施形態は図 4で示した第 1の実施形態の応用であって、同一部分は、同じ符号を付 して説明を準用する。また、図 3を収音ビームの説明において、補助的に参照する。
[0093] 第 1実施形態では、差分信号が大きい収音エリアのペアのどちらかに真の音源が 存在するとし、第 2推定部 252がどちらに真の音源が存在するかを推定しているが、 この実施形態では、さらに、第 2推定部 252が推定した真の音源が存在する収音エリ ァをさらに詳細に探索して、音源位置を正確に検出するための詳細位置探索用ビー ム（狭ビーム）生成機能 2313、 2323を備えている。
[0094] 第 2推定部 252が、図 3に図示するように、真の音源 999が収音エリア 414Rに存在 すると推定すると、第 2推定部 252は、この推定結果を第 1ビーム生成部 231に通知 する。このように、第 2推定部 252では、マイクアレイ MR、 MLのどちら側に真の音源 があるのか推定しているので、推定結果の通知 2523、 2524は、いずれか一方にし か入力されない。もし、左側エリアに真の音源が存在すると推定した場合には、第 2 推定部 252は、第 2ビーム生成部 232にその推定結果を通知する。 [0095] 第 1ビーム生成部 231は、この通知に基づき、詳細位置探索用ビーム生成機能 23 13を動作させて、図 3の狭収音エリア 431〜434を焦点とする狭ビームを生成して、 さらに詳細に音源 999の位置を探索する。
[0096] また、第 2の実施形態の装置では、第 3推定部 253、第 4推定部 254を備えて 、る。
この詳細位置探索用ビーム生成機能 2313、 2323の収音ビーム力も信号強度の高 い順に 2つ選択する。ただし、推定部 253、 254のうちで動作するのは、第 2推定部 2 52が推定した側のみである。
[0097] 図 3の例では、狭収音エリア 431〜434へ指向させた収音ビームから音声信号を収 音しており、真の音源 999は、収音エリア 434と収音エリア 433に跨がった位置に存 在している。この場合、第 3推定部 253は、信号強度の大きい順に収音エリア 434、 4 33から収音した音声信号を選択する。第 3推定部 253は、選択した 2つの音声信号 の信号強度に応じて、この選択した収音エリアの焦点位置を比例配分して話者の位 置を推定'出力するとともに、選択した 2つの音声信号を重みづけ合成して音声信号 として出力する。
[0098] 以上は、右側エリアの第 1ビーム生成部 231 (詳細位置探索用ビーム生成機能 231 3)および第 3推定部 253について説明した力 左側エリアの第 2ビーム形成部 232 ( 詳細位置探索用ビーム生成機能 2323)および第 4推定部 254についても同様の構 成であるとともに同様の処理動作を実行する。
[0099] なお、以上で示した第 2の実施形態の装置の詳細位置探索の機能は、話者が頻繁 に移動する場合には、処理が追いつかない場合もある。そこで、第 2推定部 252から 出力される話者の位置が一定時間留まっている場合にのみ、この機能を働かせるこ とも考えられる。この場合、第 2推定部 252から出力される話者の位置が一定時間以 内に移動する場合には、図 7に示した構成を備えていても、図 4に示した第 1実施形 態と同様の動作を行うようにすればよ!、。
[0100] なお、この絞込み推定を行う推定部 253、 254は、本発明の「第 3の音源位置推定 手段」に相当する。
[0101] <第 3の実施形態 >
次に、図 8を用いて、この発明の第 3の実施形態の遠隔会議装置の送信部につい て説明する。図 8は、この送信部のブロック図である。この実施形態の装置の送信部 2は、差分値計算回路 22の入力が AZD変換器 211、 212の出力である点、差分値 計算回路 22の出力信号を用いて収音ビームを生成する第 3ビーム生成部 237を設 けている点、第 4ビーム生成部 238、第 5ビーム生成部 239を設けている点、セレクタ 271、 272がない点が異なる。その他の部分は、同様の符号を付して、以上の説明を 準用する。以下、この実施形態の装置の相違点、重要点のみ説明する。
[0102] 図 8に示すように、差分値計算回路 22には、直接、 AZD変換器 211、 212の出力 を入力する。そのため、第 2の実施形態の装置では、マイク MRiとマイク MLiの数 N は同数として、互いに対称の位置に設ける。差分値計算回路 22は、「(マイク MRiの 音声信号） - (マイク MLiの音声信号)」（i= l〜N)をそれぞれ計算する。これにより 、図 4で示した実施形態の装置と同様、スピーカアレイ SPAから回り込んだ音声がマ イクアレイ MR、 MLに入力される分をキャンセルできる。
[0103] ここで、この第 3の実施形態の装置では、それぞれのマイク MRi、 MLiは、スピーカ アレイ SPAの長手方向の中心線に関して略左右対称である必要がある。差分値計 算回路 22で各マイク同士で回り込み音声をキャンセルするためである。なお、この差 分値計算回路 22は、遠隔会議装置 1のマイクアレイ MR、 MLの起動中は、常時計 算を行う。
[0104] 第 3ビーム生成部 237は、差分値計算回路 22の出力信号の束を基にして、第 1ビ ーム生成部 231、第 2ビーム生成部 232と同様に、仮想的な 4つの収音エリアを焦点 とする収音ビームを出力する。この仮想的な収音エリアは、スピーカアレイ SPAの中 心線 101に関して左右対称に設定した収音エリア対 (411Rと 411L、412Rと 412L 、 413Rと 413L、 414Rと 414L :図 3参照）に対応し、第 3ビーム生成部 237が出力 する音声信号は、第 1の実施形態における差分信号 D (411)、 D (412)、 D (413)、 D (414)と同様のものである。この差分信号を、 BPF241を通して第 1推定部 251に 出力すれば、図 4で示した装置の第 1推定部 251と同様に音源位置の推定を行うこと ができる。この推定結果 2511、 2512は、第 4ビーム生成部 238、第 5ビーム生成部 2 39に出力される。
[0105] 図 8の第 4ビーム生成部 238、第 5ビーム生成部 239について説明する。第 4ビーム 生成部 238、第 5ビーム生成部 239には、 AZD変換器 211、 212が出力するデジタ ル音声信号が直接入力されている。このデジタル音声信号に基づいて、第 1推定部 251から入力された推定結果 2511, 2512が指示する収音エリアを焦点とする収音 ビームを生成し、その収音エリアの音声信号を取り出す。すなわち、この第 4ビーム生 成部 238、第 5ビーム生成部 239が生成する収音ビームが、第 1実施形態において、 セレクタ 271, 272が選択した収音ビームに対応する。
[0106] このように、この第 4ビーム生成部 238、第 5ビーム生成部 239は、第 1推定部 251 力 指示された収音ビームで収音した 1系統の音声出力のみを出力する。この第 4ビ ーム生成部 238、第 5ビーム生成部 239が、各収音ビームの焦点である収音エリアか ら収音した音声信号は、第 2推定部 252に入力される。
[0107] 以下の動作は、第 1の実施形態と同様である。第 2推定部 252は、 2つの音声信号 を比較し、そのレベルの大きい方の収音エリアに音源が存在すると判定する。第 2推 定部 252は、この真の音源が存在する収音エリアの方向，距離を示す情報を位置情 報 2522として多重化部 28に出力するとともに、信号選択部 26にこの真の音源の音 声信号を選択的に多重化部 28に入力するように指示する。多重化部 28は、第 2推 定部 252から入力された位置情報 2522と、信号選択部 26から選択された真の音源 の音声信号 261とを多重化し、この多重化した信号を相手装置に対して送信する。
[0108] なお、図 8に示した第 3の実施形態においても、第 2の実施形態と同様、多段階に 推定を行って、音源の位置を最初は広ぐ再度狭く絞り込んで探索することも可能で ある。その場合には、第 2推定部 252は、 1回の探索が終了すると、さらに狭い範囲を 探索するよう指示する指示入力 2523、 2524を第 4,第 5ビーム生成部 238、 239に 出力する。この動作は音源が存在する側のビーム生成部のみに対して出力する。こ の指示入力を受けたビーム生成部は、この指示入力を受けると内部のさらに狭 、範 囲に対応するディレイパターンを読み出し、 ROMからディレイパターンのデータ 40j を書き換える。
[0109] なお、第 1,第 3の実施形態では、第 1推定部 251が、左右の収音エリア 411R〜4 14R、 411L〜414Lからそれぞれ 1つずつの収音エリア（41jR、 41jL)を選択し、さ らに、第 2推定部 252が、 41jR、 41jLのどちらに真の音源が存在するかを推定して いるが、必ずしも第 2推定部を設ける必要はない。
[0110] たとえば、遠隔会議装置を右側または左側片方のみで使用している場合など、真 の音源の反対側に雑音源がない場合には、収音エリア 41jR、 41jLの両方の音声の 合成信号 (または差分信号)をそのまま収音信号として相手装置に出力しても問題な いからである。
[0111] また、これらの実施形態で示した数値等は、本発明を限定するものではない。また、 以上の図で、機能を発揮するブロックの構成間に信号のやり取りがある場合には、こ れらのブロックの機能の一部が他方のブロックで処理する構成でも、以上で示した実 施形態と同様の効果を奏する場合がありうる。
[0112] <第 4の実施形態 >
図 9Aは第 4の実施形態に係る放収音装置 700のマイク、スピーカ配置を示す平面 図であり、図 9Bは図 9Aに示す放収音装置 700により形成される収音ビーム領域を 示す図である。
[0113] 図 10は本実施形態の放収音装置 700の機能ブロック図である。また、図 11は図 1 0に示す収音ビーム選択部 19の構成を示すブロック図である。
[0114] 本実施形態の放収音装置 700は、筐体 101に、複数のスピーカ SP1〜SP3、複数 のマイク MIC11〜MIC17, MIC21〜MIC27、図 10に示す機能部を備えて成る。
[0115] 筐体 101は一方向に長尺な略直方体形状力もなり、筐体 101の長尺な辺（面）の両 端部には、筐体 101の下面を設置面力も所定間隔離間する所定高さの脚部（図示せ ず)が設置されている。なお、以下の説明では、筐体 101の四側面のうち、長尺な面 を長尺面、短尺な面を短尺面と称する。
[0116] 筐体 101の下面には、同形状力もなる無指向性の単体スピーカ SP1〜SP3が設置 されている。これら単体スピーカ SP1〜SP3は長尺方向に沿って一定の間隔で直線 状に設置されており、且つ、各単体スピーカ SP1〜SP3の中心を結ぶ直線は、筐体 101の長尺面に沿い、短尺面の中心間を結ぶ中心軸 800と水平方向位置が一致す るように設置されている。すなわち、中心軸 800を含む垂直な基準面にスピーカ SP1 〜SP3の中心を結ぶ直線が配置される。このように、単体スピーカ SP1〜SP3を配 列設置することでスピーカアレイ SPA10が構成される。このような状態では、スピーカ アレイ SPA10の各単体スピーカ SP1〜SP3から相対的な遅延制御が行われていな い音声を放音すると、放音音声は二つの長尺面に同等に伝わる。この際、二つの対 向する長尺面に伝搬する放音音声は、前記基準面に対して直交する互いに対称な 方向へ進行する。
[0117] 筐体 101の一方の長尺面には、同（スペック）のマイク MIC11〜MIC17が設置さ れて 、る。これらマイク MIC 11〜MIC 17は長尺方向に沿って一定の間隔で直線状 に設置されており、これによりマイクアレイ MA10が構成される。また、筐体 101の他 方の長尺面にも、同（スペック）のマイク MIC21〜MIC27が設置されている。これら マイク MIC21〜MIC27も長尺方向に沿って一定の間隔で直線状に設置されており 、これにより、マイクアレイ MA20が構成される。マイクアレイ MA10とマイクアレイ M A20とはその配列軸の垂直位置が一致するように配置されており、さらに、マイクァレ ィ MA10の各マイク MIC11〜MIC17と、マイクアレイ MA20の各マイク MIC21〜 MIC27とは、それぞれ前記基準面に対して対称な位置に配置されている。具体的 に、例えば、マイク MIC11とマイク MIC21とが基準面に対して対称の関係にあり、同 様にマイク MIC 17とマイク MIC27とが対称の関係にある。
[0118] なお、本実施形態では、スピーカアレイ SPA10のスピーカ数を 3本とし、各マイクァ レイ MA10, MA20のマイク数をそれぞれ 7本とした力 これに限ることなく、仕様に 応じてスピーカ数およびマイク数は適宜設定すればよい。また、スピーカアレイの各 スピーカ間隔およびマイクアレイの各マイク間隔は一定ではなくてもよぐ例えば、長 尺方向に沿って中央部で密に配置され、両端部に向かうに従って疎に配置されるよ うな態様でもよい。
[0119] 次に、図 10に示すように、本実施形態の放収音装置 700は、機能的に、入出力コ ネクタ 11、入出力 IZF12、放音指向性制御部 13、 DZAコンバータ 14、放音用アン プ 15、前述のスピーカアレイ SPA10 (スピーカ SP1〜SP3)、前述のマイクアレイ M A10, MA20 (マィクMIC11〜MIC17, MIC21〜MIC27)、収音用アンプ 16、 A ZDコンバータ 17、収音ビーム生成部 181, 182、収音ビーム選択部 19、および、ェ コーキャンセル部 20を備える。
[0120] 入出力 IZF12は、入出力コネクタ 11を介して入力された、他の放収音装置からの 入力音声信号をネットワークに対応するデータ形式 (プロトコル)から変換して、ェコ 一キャンセル部 20を介して放音指向性制御部 13に与える。また、入出力 IZF12は 、エコーキャンセル部 20で生成される出力音声信号をネットワークに対応するデータ 形式 (プロトコル）に変換して、入出力コネクタ 11を介して、ネットワークに送信する。 この際、入出力 IZF12は、出力音声信号を帯域制限した音声信号をネットワークに 送信する。これは、全周波数成分を有する音声信号はデータ量が膨大になるので、 そのままの出力音声信号をネットワークに伝送すると、ネットワークの伝送速度が著し く低下するからであり、さらに、所定の高域成分 (例えば、 3. 5kHz以上の周波数成 分)を伝搬しなくても、相手側の放収音装置で、十分に会話音声を再生することがで きるからである。このため、相手側の放収音装置からの入力音声信号も所定閾値以 上の高域成分が存在しな!、音声信号である。
[0121] 放音指向性制御部 13は、指定された放音指向性に基づいて、スピーカアレイ SPA 10の各スピーカ SP1〜SP3にそれぞれ固有の遅延処理及び振幅処理等を入力音 声信号に対して行い個別放音信号を生成する。放音指向性制御部 13は、これら個 別放音信号をスピーカ SP1〜SP3毎に設置された DZAコンバータ 14に出力する。 各 DZAコンバータ 14は個別放音信号をアナログ形式に変換して各放音用アンプ 1 5に出力し、各放音用アンプ 15は個別放音信号を増幅してスピーカ SP1〜SP3に与 える。
[0122] スピーカ SP1〜SP3は、与えられた個別放音信号を音声変換して外部に放音する 。この際、スピーカ SP1〜SP3は筐体 101の下面に設置されているので、放音された 音声は、放収音装置 700が設置される机の設置面を反射して、会議者のいる装置の 横力 斜め上方に向力つて伝搬される。
[0123] マイクアレイ MA10, MA20の各マイク MIC11〜MIC17、 MIC21〜MIC27は、 無指向性であっても有指向性であってもよいが、有指向性であることが望ましぐ放収 音装置 700の外部からの音声を収音して電気変換し、収音信号を各収音用アンプ 1 6に出力する。各収音用アンプ 16は、収音信号を増幅してそれぞれ AZDコンパ一 タ 17に与え、 AZDコンバータ 17は、収音信号をデジタル変換して収音ビーム生成 部 181, 182に出力する。収音ビーム生成部 181には、一方の長尺面に設置された マイクアレイ MA10の各マイク MIC11〜MIC17での収音信号が入力され、収音ビ ーム生成部 182には、他方の長尺面に設置されたマイクアレイ MA20のマイク MIC 21〜MIC27での収音信号が入力される。
[0124] 収音ビーム生成部 181は、各マイク MIC11〜MIC17の収音信号に対して所定の 遅延処理等を行い、収音ビーム信号 MB11〜MB14を生成する。収音ビーム信号 MB11〜MB14は、図 9Bに示すように、マィクMIC11〜MIC17が設置された長尺 面側で当該長尺面に沿ってそれぞれに異なる所定幅の領域が収音ビーム領域に設 定されている。
[0125] 収音ビーム生成部 182は、各マイク MIC21〜MIC27の収音信号に対して所定の 遅延処理等を行い、収音ビーム信号 MB21〜MB24を生成する。収音ビーム信号 MB21〜MB24は、図 9Bに示すように、マイク MIC21〜MIC27が設置された長尺 面側で当該長尺面に沿ってそれぞれに異なる所定幅の領域が収音ビーム領域に設 定されている。
[0126] この際、収音ビーム信号 MB11と収音ビーム信号 MB21とは、前記中心軸 800を 有する垂直面 (基準面）に対して対称なビームとして形成される。同様に、収音ビーム 信号 MB12と収音ビーム信号 MB22、収音ビーム信号 MB13と収音ビーム信号 MB 23、収音ビーム信号 MB 14と収音ビーム信号 MB24も、前記基準面に対して対称な ビームとして形成される。
[0127] 収音ビーム選択部 19は、入力された収音ビーム信号 MB11〜MB14、 MB21〜 MB24から最適な収音ビーム信号 MBを選択してエコーキャンセル部 20に出力する
[0128] 図 11は、収音ビーム選択部 19の主要構成を示すブロック図である。
収音ビーム選択部 19は、信号差分回路 191、 BPF (バンドパスフィルタ） 192、全 波整流回路 193A, 193B,ピーク検出回路 194A, 194B,レベル比較器 195A, 1 95B、信号選択回路 196, 198、 HPF (ノヽィパスフィルタ） 197を備える。
[0129] 信号差分回路 191は、収音ビーム信号 MB11〜MB14、 MB21〜MB24から、前 記基準面に対称な収音ビーム信号同士を差分演算する。具体的に、収音ビーム信 号 MB 11と MB21とを差分演算して差分信号 MS 1を生成し、収音ビーム信号 MB 1 2と MB22とを差分演算して差分信号 MS2を生成する。また、収音ビーム信号 MB1 3と MB23とを差分演算して差分信号 MS3を生成し、収音ビーム信号 MB14と MB2 4とを差分演算して差分信号 MS4を生成する。このように生成される差分信号 MS 1 〜MS4では、元となる収音ビーム信号同士が基準面上のスピーカアレイの軸に対し て対称になるので、互いに含まれる回り込み音声成分が相殺される。したがって、ス ピー力力 の回り込み音声成分が抑圧された信号となる。
[0130] BPF192は、ビーム特性を主に有する帯域および人の音声の主成分帯域を通過 帯域とするバンドパスフィルタであり、差分信号 MS 1〜MS4を帯域通過フィルタ処 理して、全波整流回路 193Aに出力する。全波整流回路 193Aは、差分信号 MS1 〜MS4を全波整流 (絶対値化）し、ピーク検出回路 194Aは、全波整流された差分 信号 MS1〜MS4のピーク検出を行い、ピーク値データ Psl〜Ps4を出力する。レべ ル比較器 195Aは、ピーク値データ Psl〜Ps4を比較して、最も高いレベルのピーク 値データ Psに対応する差分信号 MSを選択する選択指示データを信号選択回路 19 6に与える。これは発話者が存在する収音領域に対応する収音ビーム信号の信号レ ベルが他の領域に対応する収音ビーム信号の信号レベルよりも高いことを利用して いる。
[0131] 図 12A乃至 12Cは、本実施形態の放収音装置 700を机 C上に配置し、二人の会 議者 A, Bが会議を行っている状況を示した図であり、図 12Aは会議者 Aが発言して いる状況、図 12Bは会議者 Bが発言している状況、図 12Cは会議者 A, Bともに発言 していない状況を示す。
[0132] 例えば、図 12Aに示すように、収音ビーム信号 MB13に対応する領域にいる会議 者 Aが発言すると、収音ビーム信号 MB 13の信号レベルが他の収音ビーム信号 MB 11, MB12, MB14、 MB21〜MB24の信号レベルよりも高くなる。このため、収音 ビーム信号 MB 13から収音ビーム信号 MB23を差分した差分信号 MS 3の信号レべ ルが差分信号 MS 1, MS2, MS4の信号レベルよりも高くなる。この結果、差分信号 MS3のピーク値データ Ps3力 他のピーク値データ Psl, Ps2, Ps4より高くなり、レ ベル比較器 195Aは、ピーク値データ Ps3を検出して、差分信号 MS3を選択する選 択指示データを信号選択回路 196に与える。一方、図 12Bに示すように、収音ビー ム信号 MB21に対応する領域にいる会議者 Bが発言すると、レベル比較器 195Aは 、ピーク値データ Pslを検出して、差分信号 MS1を選択する選択指示データを信号 選択回路 196に与える。
[0133] なお、図 12Cに示すように双方の会議者 A, Bが発言していない状況では、レベル 比較器 195Aは、ピーク値データ Ps 1〜Ps4の全てが所定の閾値に達して!/、な!/、こと を検出すると直前の選択指示データを信号選択回路 196に与える。
[0134] 信号選択回路 196は、与えられた選択指示データに指示された差分信号 MSを構 成する二つの収音ビーム信号 MBlx, MB2x (x= l〜4)を選択する。例えば、図 12 Aの状況であれば、差分信号 MS3を構成する収音ビーム信号 MB13, MB23を選 択し、図 12Bの状況であれば、差分信号 MS 1を構成する収音ビーム信号 MB11, MB21を選択する。
[0135] HPF197は、選択された収音ビーム信号 MBlx, MB2xの高域成分のみを通過さ せるフィルタ処理を行い、全波整流回路 193Bに出力する。このような高域成分通過 処理、言い換えれば高域成分以外の減衰処理を行うことで、前述のように高域成分 の存在しない入力音声信号すなわち回り込み音声の成分を除去することができる。こ れにより、自装置側の会議者力もの音声のみが含まれるハイパス処理信号が形成さ れる。全波整流回路 193Bは、各収音ビーム信号 ΜΒ1χ、 MB2xに対応するハイパ ス処理信号を全波整流 (絶対値化)し、ピーク検出回路 194Bでピーク検出して、ピ ーク値データ Pbl, Pb2を出力する。レベル比較器 195Bは、ピーク値データ Pbl, P b2を比較して、高いレベルのピーク値データに対応する収音ビーム信号 MBax (a = lor2)を選択する選択指示データを信号選択回路 198に与える。これは、発話者が 存在する収音領域に対応する収音ビーム信号の信号レベルが基準面に対して対向 する収音領域に対応する収音ビーム信号の信号レベルよりも高いことを利用している
[0136] 例えば、図 12Aに示すように、収音ビーム信号 MB13に対応する領域にいる会議 者 Aが発言すると、収音ビーム信号 MB 13の信号レベルが収音ビーム信号 MB23の 信号レベルよりも高くなる。このため、収音ビーム信号 MB13のピーク値データ Pbl 力 収音ビーム信号 MB23のピーク値データ Pb2より高くなり、レベル比較器 195B は、ピーク値データ Pblを検出して、収音ビーム信号 MB 13を選択する選択指示デ ータを信号選択回路 198に与える。一方、図 12Bに示すように、収音ビーム信号 MB 21に対応する領域にいる会議者 Bが発言すると、レベル比較器 195Bは、ピーク値 データ Pb2を検出して、収音ビーム信号 MB21を選択する選択指示データを信号選 択回路 198に与える。なお、レベル比較器 195Bは、図 12Cに示すように発言者が おらず二つの収音ビーム信号 MBlx, MB2xのピーク値データ Pbl, Pb2が所定の 閾値以下であれば、直前の選択指示データを信号選択回路 198に与える。
[0137] 信号選択回路 198は、信号選択回路 196で選択された収音ビーム信号 MBlx, M B2x力 、レベル比較器 195Bの選択指示データに従って信号レベルの高い方を選 択して、収音ビーム信号 MBとしてエコーキャンセル部 20に出力する。
[0138] 例えば、前述のように図 12Aの状況であれば、収音ビーム信号 MB13と収音ビー ム信号 MB23とから、選択指示データに従って収音ビーム信号 MB13を選択して出 力する。一方、図 12Bの状況であれば、収音ビーム信号 MB11と収音ビーム信号 M B21とから、選択指示データに従って収音ビーム信号 MB21を選択して出力する。 また、図 12Cの状況であれば、選択指示データに従って直前の収音ビーム信号が収 音ビーム信号 MB13であれば収音ビーム信号 MB13を出力し、直前の収音ビーム 信号が収音ビーム信号 MB21であれば収音ビーム信号 MB21を出力する。このよう な処理を行うことで、スピーカからマイクへの回り込み音声に影響されることなぐ発言 者方向を検出して、当該方向に指向性の中心を設定した収音ビーム信号 MBを生成 することができる。すなわち、発言者からの音声を高い SZN比で収音することができ る。
[0139] エコーキャンセル部 20は、適応型フィルタ 201とポストプロセッサ 202とを備える。
適応型フィルタ 201は、入力音声信号に対して、選択された収音ビーム信号 MBの 収音指向性に基づく擬似回帰音信号を生成する。ポストプロセッサ 202は、収音ビー ム選択部 19から出力される収音ビーム信号 MBから擬似回帰音信号を減算して、出 力音声信号として入出力 IZF12に出力する。このようなエコーキャンセル処理を行う ことにより、適切なエコー除去が行われ、自装置の話者音声のみが出力音声信号と して、ネットワークに送信される。 以上のように、本実施形態の構成を用いることにより、回り込み音声に影響されるこ となく発言者方向を検出することができる。これにより、発言者からの音声を高い SZ
N比で収音して、相手側放収音装置に送信することができる。

Claims

請求の範囲
[1] 上方向、または下方向に音声を出力する複数のスピーカからなるスピーカアレイと、 前記スピーカアレイの長手方向の両側を収音するように設けた第 1、第 2のマイクァ レイと、
前記第 1のマイクアレイの各マイクが収音した音声信号に対し予め定められたディ レイ量で該音声信号にディレイ処理をして合成することにより、前記第 1のマイクァレ ィ側の予め定めた複数の第 1収音エリアにそれぞれ焦点を当てた複数の第 1収音ビ ームを生成する第 1ビーム生成手段と、
前記第 2のマイクアレイの各マイクが収音した音声信号に対し予め定められたディ レイ量で該音声信号にディレイ処理をして合成することにより、前記第 2のマイクァレ ィ側の予め定めた複数の第 2収音エリアにそれぞれ焦点を当てた複数の第 2収音ビ ームを生成する第 2ビーム生成手段と、
前記複数の第 1収音エリア、複数の第 2収音エリアに向けて生成した収音ビームの うち、前記スピーカアレイの長手方向の中心線に関し互 、に対称な位置の収音エリ ァ対に対応する収音ビームの差分信号をそれぞれ計算する差分信号計算手段と、 前記差分信号の信号強度が大きい収音エリア対を選択する第 1の音源位置推定 手段と、
前記第 1の音源位置推定手段が選択した収音エリア対のうち、該収音エリア対に対 応する収音ビームの強度の大きい方の収音エリアを選択し、この収音エリアに音源位 置があると推定する第 2の音源位置推定手段と、
を備えた遠隔会議装置。
[2] 前記第 1ビーム生成手段および第 2ビーム生成手段は、前記第 2の音源位置推定 手段が選択した収音エリア内にさらに複数の狭収音エリアを設定して、この複数の狭 収音エリアにそれぞれ焦点を当てた複数の狭収音ビームを生成する機能を備えると ともに、
前記複数の狭収音エリアに対応する収音ビームのうち、音声信号の強度が大きい 収音ビームのエリアに音源位置があると推定する第 3の音源位置推定手段を備えた 請求項 1に記載の遠隔会議装置。
[3] 上方向、または下方向に音声を出力する複数のスピーカからなるスピーカアレイと、 前記スピーカアレイの長手方向の中心線の両側に、互いに対称に複数のマイクを 配置して構成された第 1,第 2のマイクアレイと、
前記第 1,第 2のマイクアレイの各マイクが収音した音声信号を、互いに対称位置に あるマイク対ごとに差分して差分信号を計算する差分信号計算手段と、
前記差分信号を互 、にそのディレイ量を調整して合成することにより、互 、に対称 位置にある予め定めた複数の収音エリア対にそれぞれ焦点を当てた複数の第 1収音 ビームを生成する第 1ビーム生成手段と、
前記複数の収音エリア対のうち、前記差分信号の信号強度が大きい収音エリア対 を選択する第 1の音源位置推定手段と、
前記第 1のマイクアレイの各マイクが収音した音声信号に基づき、前記第 1の音源 位置推定手段が選択した収音エリア対の各収音エリアの音声信号を収音する収音ビ ームを形成する第 2ビーム形成手段と、
前記第 2のマイクアレイの各マイクが収音した音声信号に基づき、前記第 1の音源 位置推定手段が選択した収音エリア対の各収音エリアの音声信号を収音する収音ビ ームを形成する第 3ビーム形成手段と、
第 2,第 3ビーム形成手段が形成した収音ビームで収音した音声信号のうち、その 信号強度の大きい方の収音エリアを選択し、この収音エリアに音源位置があると推定 する第 2の音源位置推定手段と、
を備えた遠隔会議装置。
[4] 所定基準面に対して対称となる方向にそれぞれ音声を放音するスピーカと、
前記所定基準面の一方側の音声を収音する第 1マイクアレイおよび他方側の音声 を収音する第 2マイクアレイと、
前記第 1マイクアレイの収音信号に基づき複数の第 1収音エリアをそれぞれ収音す る第 1収音ビーム信号と、前記第 2マイクアレイの収音信号に基づき第 1の収音エリア と前記所定基準面に対して対称の位置の位置である複数の第 2収音エリアをそれぞ れ収音する第 2収音ビーム信号とを生成する収音ビーム信号生成手段と、
前記所定基準面に対して互いに対称となる収音ビーム信号同士を差分して、信号 レベルが最も高い差分信号を構成する 2つの収音ビーム信号の高域成分のみを抽 出し、信号レベルが高い方の高域成分信号を検出して対応する収音ビーム信号を 選択する収音ビーム信号選択手段と、
を備えた放収音装置。
[5] 前記収音ビーム信号選択手段は、
互いに対称となる収音ビーム信号同士を差分して、信号レベルが最も高い差分信 号を検出する差分信号検出手段と、
該差分信号検出手段で検出された差分信号の元となる 2つの収音ビーム信号の高 域成分のみを通過させる高域通過フィルタを備え、高域通過フィルタを通過した高域 成分信号同士のうちで信号レベルが高い方の高域成分信号を検出する高域成分信 号抽出手段と、
該高域成分信号抽出手段で検出された高域成分信号に対応する収音ビーム信号 を選択して出力する選択手段と、
を備えた請求項 4に記載の放収音装置。
[6] 前記スピーカは、前記所定基準面に沿って一直線状に配列された複数の単体スピ 一力により構成される請求項 4もしくは 5に記載の放収音装置。
[7] 前記入力音声信号と前記収音ビーム信号選択手段で選択された収音ビーム信号 とに基づいて、前記スピーカから放音された音声が出力音声信号に含まれないよう に制御する回帰音除去手段を備えた請求項 4〜6のいずれかに記載の放収音装置
PCT/JP2006/322488 2005-11-15 2006-11-10 遠隔会議装置及び放収音装置 WO2007058130A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2006800423457A CN101310558B (zh) 2005-11-15 2006-11-10 远程会议设备以及声音发出/采集设备
EP06823310A EP1971183A1 (en) 2005-11-15 2006-11-10 Teleconference device and sound emission/collection device
CA2629801A CA2629801C (en) 2005-11-15 2006-11-10 Remote conference apparatus and sound emitting/collecting apparatus
US12/093,849 US8135143B2 (en) 2005-11-15 2006-11-10 Remote conference apparatus and sound emitting/collecting apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005-330730 2005-11-15
JP2005330730A JP4929685B2 (ja) 2005-11-15 2005-11-15 遠隔会議装置
JP2006074848A JP5028833B2 (ja) 2006-03-17 2006-03-17 放収音装置
JP2006-074848 2006-03-17

Publications (1)

Publication Number Publication Date
WO2007058130A1 true WO2007058130A1 (ja) 2007-05-24

Family

ID=38048516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/322488 WO2007058130A1 (ja) 2005-11-15 2006-11-10 遠隔会議装置及び放収音装置

Country Status (4)

Country Link
US (1) US8135143B2 (ja)
EP (1) EP1971183A1 (ja)
CA (1) CA2629801C (ja)
WO (1) WO2007058130A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886343B2 (en) 2007-10-05 2014-11-11 Yamaha Corporation Sound processing system
WO2015159731A1 (ja) * 2014-04-16 2015-10-22 ソニー株式会社 音場再現装置および方法、並びにプログラム
US10284947B2 (en) 2011-12-02 2019-05-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for microphone positioning based on a spatial power density

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4929740B2 (ja) * 2006-01-31 2012-05-09 ヤマハ株式会社 音声会議装置
US8935733B2 (en) * 2006-09-07 2015-01-13 Porto Vinci Ltd. Limited Liability Company Data presentation using a wireless home entertainment hub
US8966545B2 (en) 2006-09-07 2015-02-24 Porto Vinci Ltd. Limited Liability Company Connecting a legacy device into a home entertainment system using a wireless home entertainment hub
US8607281B2 (en) 2006-09-07 2013-12-10 Porto Vinci Ltd. Limited Liability Company Control of data presentation in multiple zones using a wireless home entertainment hub
US9233301B2 (en) 2006-09-07 2016-01-12 Rateze Remote Mgmt Llc Control of data presentation from multiple sources using a wireless home entertainment hub
US9386269B2 (en) 2006-09-07 2016-07-05 Rateze Remote Mgmt Llc Presentation of data on multiple display devices using a wireless hub
US9319741B2 (en) 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
US8135158B2 (en) 2006-10-16 2012-03-13 Thx Ltd Loudspeaker line array configurations and related sound processing
WO2010014856A2 (en) * 2008-07-31 2010-02-04 Tekelec Methods, systems, and computer readable media for throttling traffic to an internet protocol (ip) network server using alias hostname identifiers assigned to the ip network server with a domain name system (dns)
JP5538425B2 (ja) * 2008-12-23 2014-07-02 コーニンクレッカ フィリップス エヌ ヴェ スピーチ取り込み及びスピーチレンダリング
CN102144406B (zh) * 2009-07-24 2014-10-08 松下电器产业株式会社 收音装置及收音方法
US8913757B2 (en) 2010-02-05 2014-12-16 Qnx Software Systems Limited Enhanced spatialization system with satellite device
KR101750338B1 (ko) * 2010-09-13 2017-06-23 삼성전자주식회사 마이크의 빔포밍 수행 방법 및 장치
DE102010043127A1 (de) * 2010-10-29 2012-05-03 Sennheiser Electronic Gmbh & Co. Kg Mikrofon
KR101825462B1 (ko) * 2010-12-22 2018-03-22 삼성전자주식회사 개인 음향 공간 생성 방법 및 장치
WO2013142657A1 (en) 2012-03-23 2013-09-26 Dolby Laboratories Licensing Corporation System and method of speaker cluster design and rendering
EP2965312B1 (en) 2013-03-05 2019-01-02 Apple Inc. Adjusting the beam pattern of a speaker array based on the location of one or more listeners
DK2974084T3 (da) * 2013-03-12 2020-11-09 Hear Ip Pty Ltd Fremgangsmåde og system til støjreduktion
US10372407B2 (en) * 2013-08-19 2019-08-06 Avaya Inc. Pairwise audio capture device selection
US9900723B1 (en) 2014-05-28 2018-02-20 Apple Inc. Multi-channel loudspeaker matching using variable directivity
DE102015201223A1 (de) * 2015-01-26 2016-07-28 Sennheiser Electronic Gmbh & Co. Kg Verfahren zum Betreiben eines Mikrofon-Arrays
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US10264383B1 (en) 2015-09-25 2019-04-16 Apple Inc. Multi-listener stereo image array
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10743101B2 (en) 2016-02-22 2020-08-11 Sonos, Inc. Content mixing
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
WO2018140618A1 (en) 2017-01-27 2018-08-02 Shure Acquisiton Holdings, Inc. Array microphone module and system
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US9992595B1 (en) * 2017-06-01 2018-06-05 Apple Inc. Acoustic change detection
US10299039B2 (en) 2017-06-02 2019-05-21 Apple Inc. Audio adaptation to room
US10248375B2 (en) * 2017-07-07 2019-04-02 Panasonic Intellectual Property Management Co., Ltd. Sound collecting device capable of obtaining and synthesizing audio data
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
EP3454570A1 (en) * 2017-09-07 2019-03-13 Harpex Ltd Signal acquisition device for acquiring three-dimensional (3d) wave field signals
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10524048B2 (en) * 2018-04-13 2019-12-31 Bose Corporation Intelligent beam steering in microphone array
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
JP2020036113A (ja) * 2018-08-28 2020-03-05 シャープ株式会社 音響システム
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11109133B2 (en) 2018-09-21 2021-08-31 Shure Acquisition Holdings, Inc. Array microphone module and system
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
JP7334406B2 (ja) 2018-10-24 2023-08-29 ヤマハ株式会社 アレイマイクロフォンおよび収音方法
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
CN113841421A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 具有抑制功能的波束形成麦克风瓣的自动对焦、区域内自动对焦、及自动配置
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
WO2020237206A1 (en) 2019-05-23 2020-11-26 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
WO2020243471A1 (en) 2019-05-31 2020-12-03 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
JP2024505068A (ja) 2021-01-28 2024-02-02 シュアー アクイジッション ホールディングス インコーポレイテッド ハイブリッドオーディオビーム形成システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10215497A (ja) * 1996-11-27 1998-08-11 Fujitsu Ltd マイクロホンシステム
JP2004309536A (ja) * 2003-04-02 2004-11-04 Tokai Rika Co Ltd 音声処理装置
JP2005229433A (ja) * 2004-02-13 2005-08-25 Sony Corp 音声集音装置と方法
JP2005234246A (ja) * 2004-02-19 2005-09-02 Univ Waseda 音源分離方法およびそのシステム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2496031A (en) * 1947-12-30 1950-01-31 Rca Corp Dual microphone sound detector system
US3794766A (en) * 1973-02-08 1974-02-26 Bell Telephone Labor Inc Delay equalizing circuit for an audio system using multiple microphones
US4334740A (en) * 1978-09-12 1982-06-15 Polaroid Corporation Receiving system having pre-selected directional response
JP2567464B2 (ja) 1988-10-25 1996-12-25 日本電信電話株式会社 立体音像の採取装置と再生装置、立体音像情報の送出方法と再生装置、立体音像情報の記録方法と再生装置
JPH03136557A (ja) 1989-10-23 1991-06-11 Nec Corp ステレオ用音声会議装置
US5657393A (en) * 1993-07-30 1997-08-12 Crow; Robert P. Beamed linear array microphone system
US5581620A (en) * 1994-04-21 1996-12-03 Brown University Research Foundation Methods and apparatus for adaptive beamforming
JP2739835B2 (ja) 1995-04-27 1998-04-15 日本電気株式会社 音声会議装置
JP3483086B2 (ja) 1996-03-22 2004-01-06 日本電信電話株式会社 音声電話会議装置
US5778082A (en) * 1996-06-14 1998-07-07 Picturetel Corporation Method and apparatus for localization of an acoustic source
JPH10145763A (ja) 1996-11-15 1998-05-29 Mitsubishi Electric Corp 会議システム
JP3377167B2 (ja) 1997-07-31 2003-02-17 日本電信電話株式会社 場内拡声方法およびその装置
US6556564B2 (en) * 2000-02-08 2003-04-29 Cetacean Networks, Inc. Scheduled internet protocol telephone instrument system
US20010028718A1 (en) * 2000-02-17 2001-10-11 Audia Technology, Inc. Null adaptation in multi-microphone directional system
US20030059061A1 (en) * 2001-09-14 2003-03-27 Sony Corporation Audio input unit, audio input method and audio input and output unit
JP2003087890A (ja) 2001-09-14 2003-03-20 Sony Corp 音声入力装置及び音声入力方法
US20040001597A1 (en) * 2002-07-01 2004-01-01 Tandberg Asa Audio communication system and method with improved acoustic characteristics
JP4161685B2 (ja) 2002-11-11 2008-10-08 株式会社デンソー 音声入出力装置
NO318096B1 (no) * 2003-05-08 2005-01-31 Tandberg Telecom As Arrangement og fremgangsmate for lokalisering av lydkilde
TWI230023B (en) * 2003-11-20 2005-03-21 Acer Inc Sound-receiving method of microphone array associating positioning technology and system thereof
KR101086398B1 (ko) * 2003-12-24 2011-11-25 삼성전자주식회사 다수의 마이크로폰을 이용한 지향성 제어 가능 스피커시스템 및 그 방법
JP2006060720A (ja) * 2004-08-24 2006-03-02 Hitachi Ltd 集音システム
US8233353B2 (en) * 2007-01-26 2012-07-31 Microsoft Corporation Multi-sensor sound source localization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10215497A (ja) * 1996-11-27 1998-08-11 Fujitsu Ltd マイクロホンシステム
JP2004309536A (ja) * 2003-04-02 2004-11-04 Tokai Rika Co Ltd 音声処理装置
JP2005229433A (ja) * 2004-02-13 2005-08-25 Sony Corp 音声集音装置と方法
JP2005234246A (ja) * 2004-02-19 2005-09-02 Univ Waseda 音源分離方法およびそのシステム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886343B2 (en) 2007-10-05 2014-11-11 Yamaha Corporation Sound processing system
US10284947B2 (en) 2011-12-02 2019-05-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for microphone positioning based on a spatial power density
WO2015159731A1 (ja) * 2014-04-16 2015-10-22 ソニー株式会社 音場再現装置および方法、並びにプログラム
US10477309B2 (en) 2014-04-16 2019-11-12 Sony Corporation Sound field reproduction device, sound field reproduction method, and program

Also Published As

Publication number Publication date
CA2629801A1 (en) 2007-05-24
EP1971183A1 (en) 2008-09-17
US8135143B2 (en) 2012-03-13
CA2629801C (en) 2011-02-01
US20090052688A1 (en) 2009-02-26

Similar Documents

Publication Publication Date Title
WO2007058130A1 (ja) 遠隔会議装置及び放収音装置
JP4929685B2 (ja) 遠隔会議装置
JP4984683B2 (ja) 放収音装置
JP4929740B2 (ja) 音声会議装置
JP4816221B2 (ja) 収音装置および音声会議装置
JP5050616B2 (ja) 放収音装置
JP2008288785A (ja) テレビ会議装置
WO2008047804A1 (fr) Dispositif de conférence audio et système de conférence audio
JPWO2012001928A1 (ja) 会話検出装置、補聴器及び会話検出方法
JP5259622B2 (ja) 収音装置、収音方法、収音プログラム、および集積回路
JP4894353B2 (ja) 放収音装置
CN110769352B (zh) 一种信号处理方法、装置以及计算机存储介质
CN111078185A (zh) 录制声音的方法及设备
US11019414B2 (en) Wearable directional microphone array system and audio processing method
JP2009141560A (ja) 音声信号処理装置、音声信号処理方法
JP2010506525A (ja) 補聴器の駆動方法および補聴器
TWI579835B (zh) 音效增益方法
JP5028833B2 (ja) 放収音装置
JP4080987B2 (ja) エコー・雑音抑制方法および多チャネル拡声通話システム
JP3583980B2 (ja) 収音装置及び受信装置
WO2009110576A1 (ja) 収音装置
CN108650593A (zh) 一种用于电话会议的三麦克阵列远场拾音方法
JP4552876B2 (ja) 音声信号送受信装置及び音声会議装置
JP4929673B2 (ja) 音声会議装置
JP2007318521A (ja) 放収音装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680042345.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2629801

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 12093849

Country of ref document: US

Ref document number: 2006823310

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE