WO1997010583A1 - Verfahren zur automatischen steuerung eines oder mehrerer geräte durch sprachkommandos oder per sprachdialog im echtzeitbetrieb und vorrichtung zum ausführen des verfahrens - Google Patents

Verfahren zur automatischen steuerung eines oder mehrerer geräte durch sprachkommandos oder per sprachdialog im echtzeitbetrieb und vorrichtung zum ausführen des verfahrens Download PDF

Info

Publication number
WO1997010583A1
WO1997010583A1 PCT/EP1996/003939 EP9603939W WO9710583A1 WO 1997010583 A1 WO1997010583 A1 WO 1997010583A1 EP 9603939 W EP9603939 W EP 9603939W WO 9710583 A1 WO9710583 A1 WO 9710583A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
speech
speaker
commands
dialog
Prior art date
Application number
PCT/EP1996/003939
Other languages
English (en)
French (fr)
Inventor
Walter Stammler
Fritz Class
Carsten-Uwe Möller
Gerhard NÜSSLE
Frank Reh
Burkard BUSCHKÜHL
Christian Heinrich
Original Assignee
Daimler-Benz Aerospace Aktiengesellschaft
Daimler-Benz Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=7771821&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO1997010583(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Daimler-Benz Aerospace Aktiengesellschaft, Daimler-Benz Aktiengesellschaft filed Critical Daimler-Benz Aerospace Aktiengesellschaft
Priority to AT96932482T priority Critical patent/ATE211572T1/de
Priority to EP96932482A priority patent/EP0852051B1/de
Priority to US09/043,134 priority patent/US6839670B1/en
Priority to DE59608614T priority patent/DE59608614D1/de
Priority to JP51163997A priority patent/JP3479691B2/ja
Priority to CA002231504A priority patent/CA2231504C/en
Publication of WO1997010583A1 publication Critical patent/WO1997010583A1/de

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142—Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models

Definitions

  • the invention relates to a method for the automatic control of one or more devices by voice commands or by voice dialog in real time operation according to the preamble of claim 1 and a device for carrying out the method according to the preamble of claim 46.
  • a speech dialogue system can generally be reduced to the following components:
  • Speech recognition system which compares a spoken command ("voice command”) with other permitted voice commands and makes a decision as to which command is likely to have been spoken,
  • This can e.g. an order or information system, a CAE workstation or a wheelchair suitable for the disabled.
  • the present description concentrates - without restriction on the general applicability of the methods, devices and sequences described - on the speech recognition, the dialog structure and on a special application in motor vehicles.
  • the object of the invention is, on the one hand, to specify a method with which one or more devices can be reliably controlled or operated in real time by voice commands or by means of a voice dialog, with as little effort as possible. Furthermore, a suitable device is to be specified with which the method to be created can be carried out.
  • the main advantage of the invention can be seen in the fact that reliable control or operation of devices by voice command or by voice dialog is possible in real time with relatively little effort.
  • a further significant advantage is that the speech commands can be largely adapted to the natural way of speaking or the speech dialogue can be conducted with the system, and that the speaker has an extensive vocabulary of permitted commands available for this.
  • a third advantage is to be seen in the fact that the system operates fault-tolerant and, in an advantageous development of the invention, also recognizes, for example, inadmissible words, names, sounds or word conversions as such in the voice commands entered by the speaker and from them entered voice commands extracted from the speaker wanted permissible voice commands.
  • the invention is explained in more detail below with reference to the figures. Show it
  • FIG. 1 shows the block diagram of a preferred embodiment of the device according to the invention for carrying out the method according to the invention (“speech dialogue system”),
  • FIG. 2 shows a detailed illustration of the actual speech dialog system according to FIG. 1,
  • FIG. 3 shows the flow diagram for a preferred embodiment of the segmentation of the input
  • FIG. 4 and 5 exemplary embodiments of hidden Markov models
  • FIG. 6 shows the hardware structure of a preferred exemplary embodiment of the voice dialog system according to FIG. 2,
  • FIG. 7 shows the state diagram for the application of the
  • Speech dialogue system for voice-controlled operation of a telephone
  • FIG. 8 shows the flow chart for operating a telephone according to FIG. 7, FIG. 9 and 10 the flowchart for the function "dialing names" (FIG. 9) or “dialing numbers” (FIG. 10) when operating a telephone according to the flowchart according to FIG. 8th.
  • the voice dialogue system (SDS) 1 described below in FIG. 1 comprises the components voice input (symbolically represented by a microphone 2), voice recognition, dialog and sequence control, communication and control interface, voice output (with connected loudspeaker 3) and (by way of example) an application, i.e. a device to be controlled or operated by the SDS.
  • SDS and application together form a voice control system (SBS) that is operated in real time (“on-line").
  • SBS voice control system
  • the syntax and dialog structure and the basic voice commands that are binding for all users / speakers are created and fixed "off-line" outside the SDS or SBS (for example) with the aid of a PC workstation in the "off-line dialog editor mode" 4 Hand over to the SDS or SBS together with the parameters and sequence structures to be specified before commissioning in the form of data files.
  • the SDS 1 of FIG. 1 is shown in FIG. 2 shown in detail.
  • a microphone (not shown) is connected to an analog / digital converter which is connected via devices for echo compensation, noise reduction and segmentation to a speaker-independent compound word speech recognizer and to a speaker-dependent speech recognizer.
  • the two speech recognizers are connected to a post-processing unit for syntactic-grammatical and semantic processing of the recognizer output signals.
  • This unit in turn is connected to the dialog and sequence control, which in turn controls the SDS and the devices to be controlled by the SDS.
  • a voice input and output unit is provided, which consists of a voice encoder, a voice decoder and a voice memory.
  • the speech encoder is connected on the input side to the device for noise reduction and on the output side to the speech memory.
  • the voice memory is connected on the output side to the voice decoder, which is connected on the output side to a loudspeaker (not shown) via a digital / analog converter.
  • the device for echo compensation is connected via interfaces to devices / sensors (not shown) which, if necessary, provide audio signals to be compensated (denoted in the figure with "audio".
  • the speaker-independent compound word speech recognizer has a unit for feature extraction, in which the formation of cepstrums and the adaptation of the recognizer etc. be carried out on the analog transmission characteristic of the incoming signals, and on the other hand a downstream unit for classification.
  • the speaker-dependent speech recognizer also has on the one hand a unit for feature extraction and on the other hand a unit for classification.
  • a unit for entering the speaker-specific additional voice commands that are to be trained by the recognizer in the training phases before, during or after the real-time operation of the SDS can be activated via a switch instead of the classification unit.
  • the speaker-dependent recognizer works, for example, according to the dynamic time warping (DTW) method, according to which its classification unit states between the command to be recognized and pre-trained reference patterns and identifies the reference pattern with the smallest distance as the command to be recognized.
  • the speaker-dependent recognizer can work with methods of feature extraction, such as are used in speaker-independent speech recognizers (cepstrum formation, adaptation, etc.).
  • the two detectors are connected to the postprocessing unit for syntactic-grammatical and semantic processing of the detector output signals (the task and function of this unit are explained further below).
  • the postprocessing unit is followed by the dialog control, which is connected to the sequence control. Dialog and sequence control together form the SDS control unit, which controls the preprocessing, the voice input and output unit, the two recognizers, the postprocessing, the communication and control interface as well as the devices to be controlled or operated (the latter via suitable interfaces - as shown in FIG. 2).
  • the SDS contains two types of speech recognizers for recognizing predefined voice commands.
  • the two recognizers can be characterized as follows:
  • Speaker-independent recognizer speaker-independent recognition of spoken words. This allows general control commands, numbers, names, letters etc. to be recognized without the speaker or user having one or have trained several of the words used beforehand.
  • the input can be made in compound word mode, i.e. a combination of several words, digits, names gives a command, which in one go, i.e. is spoken without a pause (e.g. the command: "Circle with radius one").
  • the classification algorithm is an HMM (Hidden Markov Model) recognizer, which is essentially based on phonemes (sound subunits) and / or whole-word models and is used to assemble words or commands.
  • the vocabulary and the commands built from it (“syntax structure") are fixed in advance in the laboratory and transferred to the recognizer in the form of data files ("off-line dialog editing mode"). In real-time operation, the vocabulary and the syntax structure of the independent recognizer cannot be modified by the user.
  • Speaker-dependent recognizer Speaker-dependent recognition of user / speaker-specific names or functions that the user / speaker defines and trains.
  • the user / speaker has the option of creating or editing a personal vocabulary in the form of name lists, function lists, etc. This allows the user / speaker to choose their personal vocabulary and to use it at any time "on line", i.e. in real-time operation, adapt to his needs.
  • An example of an application in the telephone environment is the "Name List", ie the directory of the names of telephone subscribers compiled individually by the user / speaker, the respective name being spoken by the user one or more times during a training phase (eg "Uncle Willi") and the name via keyboard input, preferably - solve
  • a telephone number is assigned by an independent speech recognizer, after completing the above training and assigning the number to the user, the speaker-dependent recognizer only calls a name ("Uncle Willi"), but not the associated telephone number, which is already known to the system is.
  • the speaker-dependent recognizer is designed in the simplest form as a single word recognizer - in the more powerful form as a compound word recognizer, which is seamlessly coupled with the speaker-independent recognizer. (For example, "Call Uncle Willi" as a complete command, the word "call” being part of the speaker-independent vocabulary and "Uncle Willi" being part of the speaker-dependent vocabulary).
  • the postprocessing unit carries out postprocessing of the results of the two speech recognizers which have a certain probability of recognition.
  • the speaker-independent compound word speech recognizer e.g. provides several sentence hypotheses in an order that represents the recognition probabilities. These sentence hypotheses usually already take into account the permitted syntax structure. Where this is not the case, inadmissible word sequences are separated out within the syntactic postprocessing (FIG. 2) or evaluated according to various criteria as to how likely the word combination occurring here is. Furthermore, those of the
  • Speech recognizers generated sentence hypotheses checked for their semantic plausibility and then selected the hypothesis with the highest probability.
  • a correctly recognized voice command is passed on to the dialog control and subsequently leads to an intervention in the application associated with this voice command, the message being passed on via the control interface. Possibly. the recognized voice command is also (or only) passed on to the speech output by the dialog control and output there.
  • the system outlined here is in "on-line” operation due to a fixed syntax and command structure as well as a combination of fixed vocabulary (speaker-independent recognizer) and freely definable vocabulary, e.g. Names (speaker-dependent recognizer), marked.
  • This initially seemingly rigid frame is a prerequisite for high recognition performance with a large vocabulary range (currently up to several hundred words) e.g. with noisy surroundings, with changing acoustic conditions in the passenger compartment and with varying speakers.
  • the wide range of vocabulary is used to increase user-friendliness by using synonymous words or different pronunciation variants.
  • the syntax also allows the conversion of words in the voice commands, for example:
  • the input e.g. of columns of numbers or letters in the network is lighter and requires less concentration than the individual input
  • the dialogue is more natural because e.g. in the case of columns of digits, not every single digit has to be acknowledged, only the number block entered
  • the amount of manual switching elements can be reduced or the hands can be used for other purposes, e.g. in the quality control of engines.
  • the ease of use in the present system is further increased by the advantageous use of hands-free microphone (s) instead of (or in addition) a headset (headphones and lip microphone) or hand microphone.
  • a hands-free microphone generally requires a powerful noise reduction (FIG. 2) and, if necessary, an echo compensation of signals which come, for example, from the dialog or other loudspeakers.
  • FOG. 2 noise reduction
  • EOG. 2 an echo compensation of signals which come, for example, from the dialog or other loudspeakers.
  • these measures may also be necessary when using a headset or hand-held microphone.
  • the echo compensation allows the user / speaker in particular to interrupt the speech output, ie to address the recognizer while the speech output is active.
  • the vocabulary and commands can be changed at any time in the laboratory using the "off-line dialog editor" without the need for a new training session with a large number of speakers for the new words of the speaker-independent recognizer.
  • the reason for this is that the database for speaker-independent phonemes and / or speaker-independent whole word models is available in the laboratory and new words and commands can be generated from these phones or whole word models with the existing development environment without further notice.
  • a change in command or vocabulary amounts to transferring the new parameters and data calculated in the laboratory with the development system as data files into the speaker-independent "real-time recognizer" and storing them there in the memory.
  • the SDS can be used to operate both functions within the computer in which the SDS is installed and external devices.
  • the SDS e.g. In addition to a PCMCIA interface, there are also interfaces that are accessible to external devices. These are, for example: V.24 interface, optical data control bus, CAN interface etc.
  • the SDS can optionally be equipped with additional interfaces.
  • the SDS is preferably activated by actuating a push-to-talk button (PTT button) or by a defined keyword.
  • the device is switched off by entering a corresponding voice command ("cancel command") at defined points in the dialog or at any time by pressing the PTT button or a cancel button or automatic table by the internal process control if no voice input has taken place after a time specified by the SDS or adaptively adapted to the respective user and / or after a query from the SDS or if the dialog selected by the user has been completed as scheduled (e.g. the desired telephone number has been given to the telephone for the purpose of establishing the connection).
  • the SDS can also be activated continuously in a low-noise environment.
  • SDS in FIG. 2 is only one example of a speech dialog system possible according to the invention.
  • the configuration of the interfaces for data input or data output or for controlling the connected components is likewise only shown here by way of example.
  • the digitized loudspeaker signals are e.g. the speech output or a switched on radio subtracted from the microphone signal via adaptive filter algorithms.
  • the filter algorithms emulate the echo path from the speaker to the microphone.
  • Noises of this type are, for example: driving noises in one Motor vehicle (Kfz), ambient noise in laboratories and offices such as fans or machine noise in production halls.
  • the signals are combined in blocks into so-called “frames” and converted into the frequency range with a fast Fourier transform (FFT).
  • FFT fast Fourier transform
  • the speech range ( ⁇ 200 Hz to -6 kHz) is divided into individual frequency ranges ("channels"), the spectral values are combined to form channel vectors which indicate the power in the different frequency bands. This is followed by a rough segmentation, which is permanently active and roughly captures the start and end of the command, and a fine segmentation, which then defines the exact limits.
  • the feature extractor calculates feature vectors from the digitized and segmented speech signals over several stages and determines the associated standardized energy value. For this purpose, in the speaker-independent recognizer, the channel vectors are transformed into cepstral vectors using a discrete cosine transformation (DCT). In addition, the energy of the signal is calculated and standardized. In parallel, an ongoing calculation of the mean values of the cepstral values is carried out with the aim of ner to adapt both to the current speaker as well as to transmission characteristics, such as the microphone and the channel (speaker ⁇ microphone). The cepstral vectors are freed from this adapted mean and combined with the previously calculated normalized energy to form so-called CMF vectors (cepstral coefficients free of mean values).
  • CMF vectors cepstral coefficients free of mean values
  • HMM Hidden Markov Model
  • a hidden Markov model is a collection of states which are connected to one another by transitions (FIG. 4).
  • transition probability Each transition, from one state qi to another qj, is described by a so-called transition probability.
  • a vector of so-called emission probabilities of length M is assigned to each node (state). The connection to the physical world is established via these emission probabilities.
  • the model concept goes so far that in a certain state q-j_ one of M different symbols is "emitted", according to the state-related emission probability.
  • the symbols represent the feature vectors.
  • the sequence of "emitted” symbols that the model generates are visible.
  • the concrete sequence of the states that are run through within the model, however, is not visible ("hidden").
  • a hidden Markov model is defined by the following variables:
  • V set of possible symbols • A probability of transition from one state to another
  • output symbols can be generated using this model.
  • the word recognition is expediently not based on whole words, but on phonetic word subunits.
  • a word subunit is, for example, a sound, a diphon (double sound) or a sound transition.
  • a word to be recognized is then represented by the concatenation of the corresponding word subunit models.
  • FIG. 5 is an example of such a representation with chained hidden Markov models (HMM) on the one hand the standard phonetic description of the word "fry” (FIG. 5a) and on the other hand the phonetic description of pronunciation variants (FIG. 5b ).
  • HMM hidden Markov models
  • FIG. 5a the standard phonetic description of the word "fry”
  • FIG. 5b the phonetic description of pronunciation variants
  • These word subunit models are trained during the creation of the system on samples of many speakers and form the database on which the "off-line dialog editor" is based.
  • This concept with word subunits has the advantage that new words are relatively easily added to the existing lexicon can be, since the parameters for the word subunits are already known.
  • the classification is based on the so-called Viterbi algorithm, in which the probability of each word for the incoming symbol sequence is calculated, a word here being understood as a concatenation of different phonemes.
  • the Viterbi algorithm is supplemented by a word sequence statistic ("Language Model"), i.e. the multi-word commands specified in the "off-line dialog editor” provide the permitted word combinations.
  • the classification also includes the recognition and elimination of filling sounds (Uh, Hmm, Räusperer, pauses) or "garbage words" ("non-words").
  • Garbage words are linguistic supplements which are added to the actual voice commands by the speaker - unnecessarily - but which are not included in the vocabulary of the speech recognizer.
  • the speaker can extend the command "Circle with radius one" with terms such as “I would like one " or "Please a ".
  • these phoneme-based hidden Markov models can also be supplemented or expanded by full-word-based hidden Markov models if required.
  • the SDS described here uses a combination of speaker-independent (see point 5) and speaker-dependent recognizer in compound word mode ("Call Gloria”, “New target Uncle Willi”, “Represent oblique ellipse function” ), whereby the words “Gloria”, “Uncle Willi”, “Oblique Ellipse” were freely selected by the user during training and were stored in corresponding lists together with the associated telephone numbers / destination addresses / function descriptions.
  • speaker-independent see point 5
  • speaker-dependent recognizer in compound word mode
  • the SDS contains an efficient postprocessing of the results provided by the speech recognizers. These include the syntactic tests to determine whether the sentence hypotheses determined correspond to the a priori structure of the speech commands ("syntax"). If not, the corresponding hypotheses are rejected. In individual cases, this syntactic analysis can also be partially or completely integrated into the recognizer itself, for example by already taking the syntax into account in the decision trees of the classifier. Furthermore, the sentence hypotheses provided by the speech recognizer are checked for their meaning and for their plausibility.
  • the active sentence hypothesis is either passed on to the dialog control or rejected.
  • Dialog and sequence control The dialog control reacts to the recognized sentence and determines the functions to be executed. So e.g. sets it down
  • dialog control keeps an overview of the status of the application, as far as this is communicated to the SDS.
  • sequence control which controls the individual processes on a timely and logical basis.
  • Communication with the connected peripheral devices, including the devices to be operated, is handled here.
  • Various interfaces are available for this.
  • the SDS generally applies however, not all of these interfaces are ahead.
  • the in the FIG. 2 are only exemplary implementation options.
  • the communication and control interface also the voice input and output e.g. via A / D or D / A converter.
  • the compressed information is stored in a speech memory and regenerated for output in the "speech decoder" so that the original word entered can be heard again.
  • the loss of quality that may occur during playback is within a reasonable range in the coding and decoding methods available today.
  • a series of commands, help texts or instructions are stored in the voice memory from the outset ("off-line dialog editor") for dialog guidance, which are intended to support the user during operation or to provide him with information from the application side.
  • the speech coding is activated during the training for the speaker-dependent recognizer, since the name spoken by the user is also stored in the voice memory.
  • the user can be acoustically informed about the content, ie the individual names or functions, at any time by listening to his name list or function list.
  • Speech coding and decoding algorithms e.g. Methods are used which are known from speech transmission under the keyword “source coding” and are implemented by software on a programmable processor.
  • FIG. 6 is an example of a possible hardware structure of the SDS according to FIG. 2 shown.
  • the configuration of the individual function blocks and the interfaces for data input and data output or for controlling the connected components are only shown here as examples.
  • the active vocabulary (vocabulary) assumed here for words spoken independently of the speaker can e.g. include a few hundred words.
  • the digital signal processor is a commercially available programmable processor that differs from a microprocessor through other bus architecture (eg Harvard architecture instead of Von Neumann architecture), special "on-chip” hardware computing units (multiplier / Accumulators / shifters, etc.) and I / O functionalities, which are required for real-time digital signal processing.
  • Powerful RISC processors are increasingly offering similar functions to DSPs and can replace them if necessary.
  • the DSP shown here (or another microprocessor of comparable performance), with the exception of special interface control functions, can all be shown in FIG. 2 outlined handle functions via software or integrated hardware.
  • the concept presented here can currently (by way of example) realize vocabularies of several hundred words, it being assumed that this vocabulary is completely available for selection as "active vocabulary” and not through the formation of Partial vocabularies is significantly smaller. In the event that partial vocabularies are formed, each of these can include the size mentioned.
  • the SDS is activated by the "push-to-talk” button (PTT) connected to the DSP. Pressing this button causes the control software to start the recognition process.
  • PTT push-to-talk button
  • the following additional hardware modules are available:
  • a / D and D / A converter The microphone signal and possibly the loudspeaker signals are digitized via a connected A / D and D / A converter and transmitted to the DSP for further processing.
  • the digitized voice data for voice output / dialog control is converted back into an analog signal, amplified and passed on to a suitable playback medium (e.g. loudspeaker).
  • This bus not only transmits control data, but also audio data; in extreme cases (i.e. when microphone and loudspeaker signals are sent via this) there is no need for A / D and D / A conversion in the SDS.
  • This interface can be used to control various peripheral devices.
  • the SDS software can also be updated via this interface.
  • a corresponding vocabulary or language e.g. German, English, French (7) can be loaded.
  • this interface In addition to communication with a desktop or portable computer, this interface also serves to supply the SDS with voltage. Several of the functions listed above can be summarized here. In addition to the electrical properties, this interface can also determine the mechanical dimensions of the SDS. The- For example, they can be selected so that the SDS can be inserted into a PCMCIA slot of a desktop or portable computer.
  • the memory connected to the DSP serves the DSP as a program and data memory. Furthermore, this contains the specific classification models and, if applicable, the reference patterns for the two speech recognizers and the fixed texts for dialog control and user guidance.
  • the user-specific information (address and data lists) is stored in a FLASH memory or battery-backed memory.
  • a / D and D / A converters can also already be integrated on the DSP.
  • dialog sequences are described using the example of a voice-controlled telephone control (e.g. in a motor vehicle).
  • This example can be extended to the control of telephone and radio and / or CD and / or navigation in the motor vehicle or to the operation of a CAE workstation or the like
  • Each of these examples is characterized by:
  • a number code e.g. telephone number of a telephone book or station frequency of a radio station list
  • a combination of letters eg destination with navigation systems.
  • the user When defining the assignment, the user enters the function, letter or number combination in the speaker-independent compound word mode (the function, the letters, numbers must be part of the permissible vocabulary, ie must be defined in advance with the "off-line dialog editor") ).
  • This name selection always involves the administration of a corresponding list of different names or function words of the same user (telephone book, station list, destination list). This list can be expanded, deleted, queried or corrected.
  • the SDS assumes different states, some of which are shown in FIG. 7 are shown (deactivated state; command mode "telephone”; number input or dialing as well as name input or dialing in connection with the dialing function; number input or name training in connection with the storage function; delete names or telephone book completely or selectively delete in connection with the delete function).
  • the transitions are expressed by Voice commands ("dialing numbers”, “dialing names”, “saving names”, “saving numbers”, “ending”, “deleting") are controlled, the SDS being activated by pressing the PTT key.
  • a call is terminated, for example, by entering a special cancel command ("End”) or by pressing a cancel button.
  • the speech dialogue system is not ready in this state.
  • Parts of the signal processing software are expediently still always active (noise reduction, echo compensation) in order to permanently update the noise and echo state
  • the voice dialog system has been activated by the PTT key and is now waiting for the commands that are permitted for further control of the peripheral devices (telephone).
  • the functional sequences of the operating state "active" are shown in FIG. 8 shown in the form of a flow chart (exemplary), namely for the functions "select telephone book”, “delete telephone book”, “delete name”, “name dial”, “number dial”, “save name”, “save number”, “telephone book listen “and the associated actions and reactions (output of the name lists, complete or selective deletion, name or number dialing, number entry or name training).
  • these functions can, if necessary, be supplemented or expanded by additional further functions or replaced in whole or in part by other functions.
  • the activated SDS at any time ie also during one of the subsequent Function sequences explained in more detail below can be deactivated again with the result that the possibly not yet completed function sequence is interrupted or interrupted.
  • the SDS can be deactivated at any time, for example, by pressing the abort button, if any, or by entering a special abort command (eg "Exit", "Cancel”, etc.) at defined points in the dialog.
  • the voice dialog system prompts for a name. This is confirmed to the user.
  • the speech dialog system now switches back to the speaker-independent recognizer. If the name has been recognized correctly, the telephone number assigned to the name is passed on to the telephone and the connection to the corresponding telephone subscriber is established there. If the name has been misunderstood, dialing the telephone number can be prevented by a cancel function (e.g. by pressing the cancel button). As an alternative to this, an inquiry by the SDS is also conceivable as to whether the action / function assigned to the voice command should be carried out or not.
  • the scope of the telephone book can be
  • Storage space includes, for example, 50 or more stored names.
  • the functional sequences of the operating state "name selection” are shown in FIG. 9 in the form of a flow chart.
  • Operating mode "number dialing” (FIG. 10):
  • This condition assumes that the corresponding voice command (e.g. "dialing numbers” or the like) has been correctly recognized.
  • a telephone number is dialed by entering a sequence of numbers.
  • the input is connected (possibly in blocks) and independent of the speaker.
  • the SDS prompts for a number.
  • the user then enters the number completely or in individual blocks as voice commands.
  • the entered numbers or the respectively entered number block is confirmed to the user after entering the respective voice command.
  • the "dial" request the number is forwarded to the telephone and the connection to the corresponding telephone subscriber is established there.
  • the number can be corrected or deleted by an error function or via an abort function, e.g. the voice control can be canceled by the command "Exit", i.e. the SDS can be deactivated.
  • FIG. 10 The functional sequences of the "number dialing" operating state are shown in FIG. 10 shown in the form of a flow chart.
  • the telephone connection to the desired subscriber is established.
  • the speech recognition unit is deactivated.
  • the phone call is e.g. ended with the cancel button.
  • the SDS informs the user / speaker has to enter the digits and the user has spoken them in (see operating mode "Dialing numbers") instead of the command "dial” the command "save” or a comparable command is entered.
  • the phone number is now saved.
  • the SDS then prompts the user to speak the associated name and has the name input repeated one or more times to improve the training result. After this repetition, the dialog is ended. It should be added that the initial input of digits can be checked using dialog commands such as "cancel” or “cancel”, “repeat”, “correct” or “correct”, “error” etc.
  • the SDS asks the user to speak the name to be deleted. The name is repeated by the SDS. Then the user is asked "Are you sure?" asked to confirm the deletion: Entering the voice command "Yes" causes the name to be deleted from the phone book.
  • the SDS announces the content of the entire phone book. Confirming the PTT key or entering an abort command cancels the announcement or dialog.
  • the SDS announces the content of the entire phone book. If an abort or dial command is given after the announcement of the desired name or the PTT key is pressed, the selected name is announced again and asked “Should the number be dialed?" Entering the voice command "Yes" initiates the dialing process, i.e. the connection is established.
  • a method for the automatic control and / or operation of one or more devices by voice commands or by voice dialog in real time operation is used, in the method for voice output, voice signal preprocessing and voice recognition, syntactic-grammatical post-processing as well as dialog, sequence and Interface control come into use.
  • the process in its basic version is in "on-line” operation through a fixed syntax and command structure, as well as through a combination of fixed vocabulary (speaker-independent recognizer) and freely definable vocabulary, e.g. Names or function words (speaker-dependent recognizer), marked.
  • it can be characterized by a number of features, according to which it is provided that: syntax and command structure are fixed during real-time dialog operation,
  • Preprocessing, detection and dialog control are designed for operation in a noisy environment
  • commands, names or data are preferably input in a connected manner, the number of words from which a command for voice input is formed varies. at is, ie that not only one or two word commands, but also three, four or multiple word commands can be defined,
  • the speech inputs and outputs are not or not only via handset, headphones, headset or the like, but preferably in hands-free mode,
  • the loudspeaker echoes registered in the microphone in hands-free mode are electrically compensated in order to enable simultaneous operation of voice input and loudspeaker (e.g. for voice output, ready signals, etc.) ("echo compensation"),
  • syntax structure, the dialog structure, the vocabulary and pronunciation variants can be reconfigured and defined for the recognizer in the "off-line dialog editor" without the need for additional or new voice recordings for the independent recognizer,
  • speech coding speech data compression
  • speech decoding a corresponding speech decoding takes place
  • language scope was previously stored in the form of text and in real-time speech output operation a " Text-to-speech synthesis ("text-to-speech" synthesis)
  • text-to-speech synthesis
  • Wordspotting approaches are used
  • the dialog structure is characterized by the following properties: - Flat hierarchy, i.e. a few hierarchy levels, preferably one or two selection levels,
  • the PTT key can be dispensed with if, after questions from the speech output, subsequent voice inputs are required, the PTT key
  • the PTT and the cancel function can also be integrated into a common lever (e.g. triggering the PTT function by pulling the lever, triggering the cancel function by pushing the lever away),
  • the dialog system has one or more of the following features: - the specific (e.g. trained) commands, data, names or parameters of different users are recorded for later reuse if necessary,
  • - Commands or names trained by the speaker are not only fed to the recognition during the training phase, but are also recorded in their chronological course, fed to a data compression ("speech coding") and stored in a non-volatile manner in order to be read to the user to be able to reproduce the current status, - the commands or names trained by the speaker are processed during the training phase in such a way that ambient noise is largely compensated for during the recording, -
  • the completion of a recognition process is acknowledged optically or acoustically if necessary (“beep" sound or the like) or alternatively (and if necessary only) in the case of decisions relating to security, time or costs, the recognition result is repeated acoustically ( Voice output) and the user has the option of preventing the execution of the corresponding action by a voice command or by actuating a switch (for example the cancel button), - the voice dialog system is coupled to an optical display medium (LCD display, monitor or the like), wherein the optical display medium can take over one or more or all
  • the name trained by the user at the speaker-dependent recognizer is assigned a number string, letter chain or a command or a command sequence that was entered in the speaker-independent operating mode
  • the list can be expanded at any time by voice-controlled entries,
  • the list can be deleted completely or selectively in a voice-controlled manner, the list can be listened to in response to a voice command, the names entered by the user and, if necessary, the associated string of digits, letters or commands being output acoustically,
  • the acoustic output of the list can be interrupted at any time, a sequence of digits (column of digits) can be spoken either in one piece (contiguously) or in blocks, the SDS preferably having one or more or all of the following features: after each pause in input there is an acknowledgment by repeating the last input block from the speech output,
  • the letter column is compared with a stored word list and the best-fitting word (s) are extracted from it; as an alternative to this, this comparison can already take place after the individual letter blocks have been entered, - after acknowledgment by a command "Abort" or a similar command entry, the entry of the letter column is completely aborted,
  • the output volume of the speech output and the "beep" sound are adapted to the ambient noises, the ambient noises being recorded during the pauses in speech with regard to their strength and characteristics, - access to the speech dialogue system or access to user-specific data / commands only after input a specific key or password is possible or, after the entry of special key or passwords, is carried out by an authorized speaker, whose speech characteristics are known to the dialog system and are checked by the latter,
  • Longer-lasting speech output (e.g. info menus) can be ended prematurely by spoken cancel commands or by the PTT or the cancel button, -
  • the speech dialog system in one of the following forms supplements or manually controls the above functions (e.g. by switch, button, rotary knob) replaces:
  • the voice command does not replace any manual operation, but exists in addition to the manual operation (i.e. the operation can be carried out or continued manually at any time),
  • the voice dialog system in the vehicle is used for one or more of the functions mentioned below: - Operation of individual or multiple devices, such as
  • Car phone car radio (possibly with cassette, CD changer, sound system), navigation system, emergency call, telematics services, on-board monitor, air conditioning, heating, travel computer, lighting, sunroof, window regulator, seat adjuster, seat heating, rear window heating, mirror adjustment and memory, seat adjustment and memory, steering wheel adjustment and memory etc.,
  • the voice-controlled selection of a new transmitter in the car radio is preferably carried out according to one of the following processes: - commanding the search up or down,
  • the desired temperature (possibly according to the location in the passenger compartment of the vehicle, staggered to the left, right, front, rear) can be set not only relatively, but preferably absolutely (i.e. in degrees, Fahrenheit or the like) by voice input and additionally minimum or maximum or average temperature or the normal temperature can be commanded; Similarly, the operating conditions for the blower in the passenger compartment can be determined,
  • the navigation system is informed of a destination (place name, street name) by entering columns of letters in "spelling mode", whereby the beginning of the name is sufficient as input and the navigation system may offer several candidates for selection, one or more of the following user-specific ones Name lists can be set up: - List for storing telephone numbers under predefined names / abbreviations,
  • the output volume of the speech output and the "beep" sound are determined or adaptively adapted taking into account one or more of the following parameters:
  • the sequence, dialog, interface control, voice input / output as well as voice signal preprocessing, recognition, syntactic-grammatical and semantic post-processing is carried out by means of micro- and signal processors, memories and interface modules, but preferably with a single digital signal - or microprocessor as well as the required external data and program memory, the interfaces and the associated driver modules, the clock generator, the control logic and the microphones and loudspeakers required for voice input / output, including the associated converters and amplifiers and, if applicable, a push to talk (PTT) button and a cancel button.
  • PTT push to talk
  • - Data and / or parameters can be loaded or reloaded, e.g. To implement process changes or a speech dialogue system for another language,
  • Devices is linked via a bus system and / or a ring-shaped network (instead of point-to-point connections to the individual devices) and that control data or audio signals or status messages from the motor vehicle or the devices to be operated are transferred,
  • the individual devices to be controlled do not each contain their own voice dialog system, but are operated by a single (common) voice dialog system, - there are one or more interfaces to vehicle components or vehicle computers, via which permanent or current vehicle data are communicated to the voice dialog system, e.g. Speed, engine temperature, etc.
  • a multilingual, speaker-independent dialog system is set up by means of expanded memory, it being possible to switch between the dialog systems of different languages at short notice,
  • An optical display is coupled to the speech dialog system via a special interface or via the bus connection, this bus preferably being an optical data bus and transmitting both control and audio signals.
  • the syntactic check in the form of a syntactic bilingual language model is included in the recognition process and the syntactic postprocessing can thus be omitted,
  • Sentences but a so-called "word hypothesis network", from which the best-fitting sentence is extracted in a post-processing stage on the basis of syntactic specifications using special pairing strategies.
  • an output unit e.g. display
  • the voice commands entered are displayed in the form recognized by the SDS.
  • the activated SDS can also be deactivated again by the user / speaker no longer entering a new voice command over a longer period of time, either predetermined by the system or adjusted adaptively to the user / speaker.

Abstract

Die Erfindung betrifft ein Sprachdialogsystem, bei dem ein Verfahren zur automatischen Steuerung von Geräten per Sprachdialog angewendet wird, das Verfahren zur Sprachausgabe, Sprachsignalvorverarbeitung und Spracherkennung, syntaktisch-grammatikalischer Nachverarbeitung sowie Dialog-, Ablauf- und Schnittstellensteuerung verwendet und dadurch gekennzeichnet ist, daß Syntax- und Kommandostruktur während des Echtzeit-Dialogbetriebs fixiert sind; Vorverarbeitung, Erkennung und Dialogsteuerung für Betrieb in geräuschbehafteter Umgebung ausgelegt sind; für die Erkennung allgemeiner Kommandos kein Training durch den Benutzer erforderlich ist; für die Erkennung spezifischer Kommandos einzelner Benutzer ein Training notwendig ist; die Eingabe von Kommandos verbunden erfolgt, wobei die Anzahl der Worte, aus denen ein Kommando für die Spracheingabe gebildet wird, variabel ist; eine echtzeitige Verarbeitung und Abwicklung des Sprachdialoges gegeben ist; die Sprachein- und -ausgabe im Freisprechbetrieb erfolgt.

Description

Beschreibung
Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echt¬ zeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
Die Erfindung betrifft ein Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb gemäß Oberbegriff des Patentanspruchs 1 sowie eine Vorrichtung zum Ausführen des Verfahrens gemäß Oberbegriff des Patentanspruchs 46.
Verfahren bzw. Vorrichtungen dieser Art werden allgemein in sogenannten Sprachdialog- bzw. Sprachbediensystemen z.B. für Fahrzeuge, Computer Roboter, Maschinen, Anlagen usw. eingesetzt. Ein Sprachdialogsystem (SDS) läßt sich i.a. auf folgende Komponenten reduzieren:
• Spracherkennungssystem, das ein eingesprochenes Kommando ("Sprachkommando") mit anderen erlaubten Sprachkommandos vergleicht und eine Entscheidung trifft, welches Kommando aller Wahrscheinlichkeit nach eingesprochen wurde,
• Sprachausgabe, die die zur Benutzerführung erforderlichen Sprachbefehle und Signalisierungstöne ausgibt und ggf. das Erkennergebnis rückmeldet, • Dialog- und Ablaufsteuerung, um dem Benutzer zu verdeut¬ lichen, welche Art von Eingabe erwartet wird, bzw. um zu prüfen, ob die erfolgte Eingabe konsistent ist mit der Aufforderung und mit dem momentanen Status der Applika¬ tion, und um die resultierende Aktion bei der Applikation (z.B. dem zu steuernden Gerät) anzustoßen,
• Kontrollinterface als Schnittstelle zur Applikation: Dahinter verbergen sich Hard- und Softwaremodule, um ver¬ schiedene Aktuatoren bzw. Rechner anzusteuern, die die Applikation beinhalten, • Applikation, die per Sprache angesteuert wird:
Das kann z.B. ein Bestell- oder Auskunftsystem, ein CAE- Arbeitsplatz oder ein behindertengerechter Rollstuhl sein.
Die vorliegende Beschreibung konzentriert sich - ohne Ein¬ schränkung auf die allgemeine Anwendbarkeit der geschilder¬ ten Verfahren, Vorrichtungen und Abläufe - auf die Sprach¬ erkennung, die Dialogstruktur sowie auf eine spezielle Ap¬ plikation in Kraftfahrzeugen.
Die Schwierigkeiten bei bisher bekannten Lösungen liegen a) in der Notwendigkeit, ein aufwendiges Training durchzu¬ führen, um das System auf die Charakteristik des jewei¬ ligen Sprechers oder auf einen wechselnden Wortschatz anzupassen. Die Systeme sind entweder vollständig spre- cherunabhängig oder vollständig sprecherabhängig bzw. sprecheradaptiv, wobei letztere für jeden neuen Benut¬ zer einen Trainingslauf erfordern. Dies kostet Zeit und reduziert den Bedienkomfort bei häufig wechselnden Sprechern sehr stark. Aus diesem Grund ist bei herkömm- liehen Systemen auch der Vokabularumfang gering bei
Applikationen, wo mit wechselnden Sprechern und Zeitnot der einzelnen Sprecher zu rechnen ist,
b) in dem unzureichenden Bedienkomfort, der darin zum Aus- druck kommt, daß das Vokabular auf ein Minimum begrenzt ist, um hohe Erkennsicherheit zu garantieren, die Einzelworte eines Kommandos isoliert (d.h. mit Zwischenpausen) eingegeben werden, - Einzelworte quittiert werden müssen, um Fehler zu erkennen, - mehrstufige Dialoghierarchien abzuarbeiten sind, um vielfältige Funktionen zu steuern, ein Mikrofon in die Hand zu nehmen ist bzw. ein Headset (Kombination aus Kopfhörer und Lippenmikro¬ fon) getragen werden muß,
c) in der fehlenden Robustheit gegenüber Bedienfehlern - gegenüber störenden Umgebungsgeräuschen,
d) in der aufwendigen und teueren Hardware-Realisierung, vor allem bei mittleren und kleinen Stückzahlen. Die Aufgabe der Erfindung besteht darin, zum einen ein Ver¬ fahren anzugeben, mit dem mit möglichst geringem Aufwand ein oder mehrere Geräte durch Sprachkommandos oder per Sprachdialog zuverlässig im Echtzeitbetrieb gesteuert bzw. bedient werden können. Ferner soll eine geeignete Vorrich¬ tung angegeben werden, mit der das zu schaffende Verfahren ausgeführt werden kann.
Die erfindungsgemäße Lösung der Aufgabe ist in bezug auf das zu schaffende Verfahren durch die Merkmale des Patent¬ anspruchs 1 und in bezug auf die zu schaffende Vorrichtung durch die Merkmale des Patentanspruchs 46 wiedergegeben. Die übrigen Ansprüche enthalten vorteilhafte Aus- und Wei¬ terbildungen des erfindungsgemaßen Verfahrens (Ansprüche 2 bis 45) sowie der erfindungsgemäßen Vorrichtung (Ansprüche 47 bis 58) .
Der wesentliche Vorteil der Erfindung ist darin zu sehen, daß mit relativ geringem Aufwand eine zuverlässige Steue- rung bzw. Bedienung von Geräten per Sprachkommando bzw. per Sprachdialog im Echtzeitbetrieb möglich ist.
Ein weiterer wesentlicher Vorteil ist darin zu sehen, daß eine der natürlichen Sprechweise weitgehend angepaßte Ein- gäbe der Sprachkommandos bzw. Führung des Sprachdialogs mit dem System möglich ist und daß dem Sprecher hierfür ein umfangreiches Vokabular von zulässigen Kommandos zur Ver¬ fügung steht.
Ein dritter Vorteil ist darin zu sehen, daß das System feh¬ lertolerant arbeitet und in einer vorteilhaften Weiterbil¬ dung der Erfindung z.B. auch nichtzulässige Wörter, Namen, Laute oder Wortumstellungen in den vom Sprecher eingegebe¬ nen Sprachkommandos i.a. als solche erkennt und aus diesen eingegebenen Sprachkommandos von dem Sprecher an sich ge¬ wollte zulässige Sprachkommandos extrahiert. Im folgenden wird die Erfindung anhand der Figuren näher erläutert. Es zeigen
FIG. 1 das Blockschaltbild einer bevorzugten Ausfüh¬ rungsform der erfindungsgemäßen Vorrichtung zum Ausführen des erfindungsgemäßen Verfah¬ rens ("Sprachdialogsystem") ,
FIG. 2 eine detaillierte Darstellung des eigentli¬ chen Sprachdialogsystems gemäß FIG. 1,
FIG. 3 das Flußdiagramm zu einer bevorzugten Ausfüh- rungsform der Segmentierung der eingegebenen
Sprachkommandos für ein Sprachdialogsystem gemäß FIG. 2,
FIG. 4 und 5 Ausfuhrungsbeispiele von Hidden-Markov- Modellen,
FIG. 6 den hardwaremäßigen Aufbau eines bevorzugten Ausfuhrungsbeispiels des Sprachdialogsystems gemäß FIG. 2,
FIG. 7 das Zustandsdiagramm für die Anwendung des
Sprachdialogsystems gemäß FIG. 2 zur sprach¬ gesteuerten Bedienung eines Telefons,
FIG. 8 das Flußdiagramm zur Bedienung eines Telefons gemäß FIG. 7, FIG. 9 und 10 das Flußdiagramm zur Funktion "Namenswahl" (FIG. 9) bzw. "Nummernwahl" (FIG. 10) bei der Bedienung eines Telefons gemäß Flußdia¬ gramm nach FIG. 8.
Das im folgenden beschriebene Sprachdialogsystem (SDS) 1 in FIG. 1 umfaßt die Komponenten Spracheingabe (symbolisch dargestellt durch ein Mikrofon 2) , Spracherkennung, Dialog- und Ablaufsteuerung, Kommunikations- und Kontrollinterface, Sprachausgabe (mit angeschlossenem Lautsprecher 3) sowie (beispielhaft) eine Applikation, d.h. ein durch das SDS zu steuerndes bzw. zu bedienendes Gerät. SDS und Applikation bilden zusammen ein Sprachbediensystem (SBS) , das in Echt¬ zeit ("on-line") betrieben wird.
Die Syntax- und Dialogstruktur und die für alle Benutzer/ Sprecher verbindlichen Basissprachkommandos werden "off¬ line" außerhalb des SDS bzw. SBS (beispielhaft) mit Hilfe einer PC-Workstation im "off-line Dialog Editormodus" 4 er- stellt und fixiert und zusammen mit vorzugebenden Parame¬ tern und AblaufStrukturen dem SDS bzw. SBS vor Inbetrieb- name in Form von Datenfiles übergeben.
Das SDS 1 der FIG. 1 ist in FIG. 2 im Detail dargestellt. Ein (nicht gezeigtes) Mikrofon ist mit einem Analog/Digi¬ tal-Wandler verbunden, der über Vorrichtungen zur Echokom¬ pensation, Geräuschreduktion und Segmentierung mit einem sprecherunabhängigen Verbundwort-Spracherkenner und mit einem sprecherabhängigen Spracherkenner verbunden ist. Die beiden Spracherkenner sind ausgangsseitig mit einer Nach¬ verarbeitungseinheit zur syntaktisch-grammatikalischen und semantischen Verarbeitung der Erkenner-Ausgangssignale ver¬ bunden. Diese Einheit wiederum ist mit der Dialog- und Ablaufsteuerung verbunden, die ihrerseits die Steuerung des SDS und der durch das SDS zu steuernden Geräte bildet. Fer¬ ner ist eine Spracheingabe- und Sprachausgabeeinheit vorge¬ sehen, die aus einem Sprachencoder, einem Sprachdecoder und einem Sprachspeicher besteht.
Der Sprachencoder ist eingangsseitig an die Vorrichtung zur Geräuschreduktion und ausgangsseitig an den Sprachspeicher angeschlossen. Der Sprachspeicher ist ausgangsseitig an den Sprachdecoder angeschlossen, der ausgangsseitig über einen Digital/Analog-Wandler mit einem (nicht gezeigten) Laut¬ sprecher verbunden ist.
Die Vorrichtung zur Echokompensation ist über Schnittstel¬ len mit (nicht gezeigten) Geräten/Sensoren verbunden, die ggf. zu kompensierende Audiosignale liefern (in der Figur mit "Audio" bezeichnet.
Der sprecherunabhängige Verbundwort-Spracherkenner weist zum einen eine Einheit zur Merkmalsextraktion auf, in der die Cepstrumsbildung und die Adaption des Erkenners u.a. an die analoge Übertragungscharakteristik der eingehenden Si¬ gnale durchgeführt werden, und zum anderen eine nachge- schaltete Einheit zur Klassifikation.
Der sprecherabhängige Spracherkenner weist ebenfalls zum einen eine Einheit zur Merkmalsextraktion und zum anderen ein Einheit zur Klassifikation auf. Zusätzlich ist jedoch über einen Umschalter anstelle der Klassifikationseinheit eine Einheit zur Eingabe der sprecherspezifischen Zusatz- Sprachkommandos zuschaltbar, die in den Trainingsphasen vor, während oder nach dem Echtzeitbetrieb des SDS vom Er- kenner trainiert werden sollen. Der sprecherabhängige Er- kenner arbeitet z.B. nach dem Dynamic-Time-Warping(DTW) - Verfahren, nach dem dessen Klassifikationseinheit die Ab- stände zwischen dem zu erkennenden Kommando und vortrai¬ nierten Referenzmustern feststellt und das Referenzmuster mit dem geringsten Abstand als das zu erkennende Kommando identifiziert. Der sprecherabhängige Erkenner kann mit Me- thoden der Merkmalsextraktion arbeiten, wie sie in spre¬ cherunabhängigen Spracherkennern zur Anwendung kommen (Cepstrumsbildung, Adaption usw.) .
Ausgangsseitig sind die beiden Erkenner an die Nachverar- beitungseinheit zur syntaktisch-grammatikalischen und se¬ mantischen Verarbeitung der Erkenner-Ausgangssignale ange¬ schlossen (die Aufgabe und Funktion dieser Einheit wird weiter unten erläutert) . Ausgangsseitig ist der Nachverar¬ beitungseinheit die Dialogsteuerung nachgeschaltet, die mit der Ablaufsteuerung verbunden ist. Dialog- und Ablaufsteue¬ rung bilden zusammen die SDS-Steuerungseinheit, die sowohl die Vorverarbeitung, die Sprachein- und -ausgabeeinheit, die beiden Erkenner, die Nachverarbeitung, das Kommunika- tions- und Kontrollinterface wie auch die zu steuernden bzw. bedienenden Geräte ansteuert (letztere über geeignete Schnittstellen - wie in der Figur 2 gezeigt) .
Im folgenden wird die Funktionsweise des SDS näher erläu¬ tert.
Das SDS beinhaltet - wie zuvor ausgeführt - zweierlei Spracherkennertypen zur Erkennung vorgegebener Sprachkom¬ mandos. Die beiden Erkenner können wie folgt charakteri¬ siert werden:
• Sprecherunabhängiger Erkenner: sprecherunabhängige Erken¬ nung von verbunden gesprochenen Worten. Damit lassen sich allgemeine Steuerkommandos, Ziffern, Namen, Buchstaben etc. erkennen, ohne daß der Sprecher bzw. Benutzer eines oder mehrere der benutzten Worte vorher trainiert haben muß.
Weiterhin kann die Eingabe im Verbundwortmodus erfolgen, d.h. eine Kombination mehrerer Worte, Ziffern, Namen er- gibt ein Kommando, welches in einem Zug, d.h. ohne Pause eingesprochen wird (z.B. das Kommando: "Kreis mit Radius Eins") . Beim Algorithmus zur Klassifikation handelt es sich um einen HMM(Hidden-Markov-Modell) -Erkenner, der im wesentlichen auf Phonemen (Lautuntereinheiten) und/oder Ganzwortmodellen aufbaut und daraus Worte bzw. Kommandos zusammensetzt. Das Vokabular und die daraus aufgebauten Kommandos ("Syntaxstruktur") werden vorab im Labor fi¬ xiert und dem Erkenner in Form von Datenfiles übergeben ("off-line Dialog Editiermodus") . Im Echtzeit-Betrieb kann das Vokabular und die Syntaxstruktur des unabhängi¬ gen Erkenners vom Benutzer nicht modifiziert werden.
Sprecherabhängiger Erkenner: sprecherabhängige Erkennung von benutzer-/sprecherspezifischen Namen oder Funktionen, die der Benutzer/Sprecher definiert und trainiert.
Der Benutzer/Sprecher hat die Möglichkeit, ein persönli¬ ches Vokabular in Form von Namenslisten, Funktionslisten etc. anzulegen bzw. zu editieren. Dadurch kann der Benut¬ zer/Sprecher seinen persönlichen Wortschatz wählen und diesen jederzeit "on line", d.h. im Echtzeitbetrieb, an seine Bedürfnisse anpassen.
Als Beispiel für eine Anwendung im Telefonumfeld sei die "Namensliste" genannt, d.h. das individuell vom Benutzer/ Sprecher zusammengestellte Verzeichnis der Namen von Fernsprechteilnehmern, wobei der jeweilige Name in einer Trainingsphase ein- oder mehrmals vom Benutzer eingesprochen wird ( z.B. "Onkel Willi") und dem Namen per Tastatureingabe, vorzugswei- - lö ¬
se aber per unabhängigem Spracherkenner eine Telefon¬ nummer zugeordnet wird, nach Abschluß des obigen Trainings und der Nummernzu¬ weisung der Benutzer nur noch dem sprecherabhängigen Erkenner einen Namen ("Onkel Willi") nennt, nicht aber die zugehörige Telefonnummer, die dem System bereits bekannt ist. Der sprecherabhängige Erkenner wird in der einfachsten Form als Einzelworterkenner ausgelegt - in der leistungsfähigeren Form als Verbundworterken- ner, der nahtlos mit dem sprecherunabhängigen Erkenner gekoppelt ist. (Z.B. "Onkel Willi anrufen" als voll¬ ständiges Kommando, wobei das Wort "anrufen" Teil des sprecherunabhangigen Vokabulars ist und "Onkel Willi" Teil des sprecherabhangigen Vokabulars ist) .
Im Anschluß an die Spracherkennung wird in der Nachverar- beitungsemheit eine Nachverarbeitung der mit einer be¬ stimmten Erkennwahrscheinlichkeit behafteten Ergebnisse der beiden Spracherkenner durchgeführt.
Der sprecherunabhangige Verbundwort-Spracherkenner z.B. liefert mehrere Satzhypothesen m einer Reihenfolge, welche die Erkennwahrschemlichkeiten repräsentiert. Diese Satz- hypothesen berücksichtigen in der Regel bereits die erlaub¬ te Syntaxstruktur. Wo dies nicht der Fall ist, werden in¬ nerhalb der syntaktischen Nachverarbeitung (FIG. 2) unzu¬ lässige Wortfolgen ausgesondert bzw. nach verschiedenen Kriterien bewertet, wie wahrscheinlich die hierin auftre- tende Wortkombination ist. Ferner werden die von den
Spracherkennern erzeugten Satzhypothesen auf ihre semanti¬ sche Plausibilität überprüft und danach die Hypothese mit der höchsten Wahrscheinlichkeit ausgewählt. Ein korrekt erkanntes Sprachkommando wird an die Dialog- steuerung weitergereicht und führt anschließend zu einem diesem Sprachkommando zugeordneten Eingriff auf die Appli¬ kation, wobei die Meldung über das Kontrollinterface wei- tergereicht wird. Ggf. wird das erkannte Sprachkommando von der Dialogsteuerung auch (oder nur) an die Sprachausgabe weitergereicht und dort ausgegeben.
Das hier skizzierte System ist im "on-line"-Betrieb durch eine fixierte Syntax- und Kommandostruktur sowie durch eine Kombination von fixiertem Vokabular (sprecherunabhängiger Erkenner) und frei definierbarem Vokabular, wie z.B. Namen (sprecherabhängiger Erkenner) , gekennzeichnet.
Dieser zunächst starr erscheinende Rahmen ist eine Voraus¬ setzung für hohe Erkennungsleistung bei großem Vokabularum¬ fang (zum gegenwärtigen Zeitpunkt bis zu mehreren hundert Worten) z.B. bei geräuschbehafteter Umgebung, bei wechseln¬ den akustischen Verhältnissen in der Fahrgastzelle sowie bei variierenden Sprechern. Der hohe Vokabularumfang wird genutzt, um die Benutzerfreundlichkeit durch Verwendung synonymer Worte bzw. unterschiedlicher Aussprachevarianten zu erhöhen. Auch erlaubt die Syntax die Umstellung von Worten in den Sprachkommandos, so z.B.:
"Größerer Radius bei linkem Kreis" oder - alternativ hierzu -
"Bei linkem Kreis größerer Radius", wobei diese Alternativen jedoch von vorneherein bei der Festlegung mit dem "off-line Dialog Editor" definiert sein müssen.
Der hier skizzierte Lösungsansatz erweist sich vor allem deshalb als vorteilhaft, weil • die Verbundworteingabe von Kommandos natürlicher und schneller ist als die Isoliertworteingabe. Die Praxis hat gezeigt, daß der unbefangene Benutzer schwer daran zu ge¬ wöhnen ist, abgehackt (mit deutlichen Zwischenpausen) zu sprechen, um ein Mehrwortkommando einzugeben (die Akzep¬ tanz derartiger Systeme ist deshalb deutlich geringer) ,
• die Eingabe z.B. von Ziffern- oder Buchstabenkolonnen im Verbund leichter ist und weniger Konzentration erfordert als die Einzeleingabe, • die Dialogführung natürlicher ist, weil z.B. bei Ziffern¬ kolonnen nicht jede Einzelziffer quittiert werden muß, sondern nur der eingegebene Ziffernblock,
• wegen des Wortschatzes von z.B. bis zu einigen hundert Worten eine Vielzahl von Funktionen per Sprache bedienbar sind, die vorher manuelle Bedienung erforderten,
• die Menge manueller Schaltelemente reduziert werden kann bzw. bei Spracheingabe die Hände anderweitig benutzbar sind, z.B. bei der Qualitätskontrolle von Motoren.
Der Bedienkomfort wird bei dem vorliegenden System weiter¬ hin erhöht durch die vorteilhafte Nutzung von Freisprech¬ mikrofon(en) anstelle (oder in Ergänzung) von Headset (Kopfhörer und Lippenmikrofon) bzw. Handmikrofon. Die Nut¬ zung eines Freisprechmikrofons erfordert allerdings i.a. eine leistungsfähige Geräuschreduktion (FIG. 2) sowie ggf. eine Echokompensation von Signalen, die z.B. aus dem Dia¬ log- oder anderen Lautsprechern stammen. Je nach Applika¬ tion bzw. Geräuschpegel können diese Maßnahmen jedoch auch bei der Nutzung von Headset oder Handmikrofon erforderlich sein. Die Echokompensation erlaubt es dem Benutzer/Sprecher ins¬ besondere, der Sprachausgabe ins Wort zu fallen, d.h. den Erkenner anzusprechen, während die Sprachausgabe aktiv ist.
Ferner können im Labor per "off-line Dialog Editor" jeder¬ zeit das Vokabular und die Kommandos verändert werden, ohne daß dies ein neues Training mit einer Vielzahl von Spre¬ chern für die neuen Worte des sprecherunabhängigen Erken¬ ners bedarf. Der Grund liegt darin, daß im Labor die Da- tenbank für sprecherunabhängige Phoneme und/oder sprecher¬ unabhängige Ganzwortmodelle vorliegt und aus diesen Phone¬ men bzw. Ganzwortmodellen mit der vorhandenen Entwicklungs¬ umgebung ohne weiteres neue Worte und Kommandos generiert werden können. Letztlich läuft eine Kommando- oder Vokabu- laränderung darauf hinaus, die im Labor mit dem Entwick¬ lungssystem berechneten neuen Parameter und Daten als Da¬ tenfile in den sprecherunabhängigen "Echtzeit-Erkenner" zu überspielen und dort im Speicher abzulegen.
Mittels des SDS können sowohl Funktionen innerhalb des Com¬ puters, in dem das SDS eingebaut ist, als auch externe Ge¬ räte bedient werden. Das SDS weist z.B. neben einer PCMCIA- Schnittstelle noch Schnittstellen auf, welche für externe Geräte zugänglich sind. Dies sind zum Beispiel: V.24-Schnittstelle, optischer Daten-Steuerbus, CAN-Inter- face usw. Optional kann das SDS mit weiteren Schnittstellen ausgestattet werden.
Das SDS wird vorzugsweise durch Betätigen einer push-to- talk-Taste (PTT-Taste) oder durch ein definiertes Schlüs¬ selwort aktiviert. Die Abschaltung erfolgt durch Eingabe eines entsprechenden Sprachkommandos ("Abbruchkommando") an definierten Stellen des Dialogs oder jederzeit durch Betä¬ tigen der PTT-Taste oder einer Abbruchtaste oder automa- tisch durch die interne Ablaufsteuerung, wenn nach einer vom SDS vorgegebenen oder adaptiv auf den jeweiligen Be¬ nutzer eingestellten Zeit und/oder nach einer Rückfrage des SDS keine Spracheingabe erfolgt ist oder wenn der vom Be- nutzer ausgewählte Dialog planmäßig abgeschlossen worden ist (z.B. die gewünschte Telefonnummer an das Telefon zwecks Aufbau der Verbindung abgegeben worden ist) . In ge¬ räuscharmer Umgebung kann das SDS auch kontinuierlich ak¬ tiviert sein.
Ablaufbeschreibunq
An dieser Stelle sei betont, daß das SDS in FIG. 2 nur ein Beispiel ist für ein nach der Erfindung mögliches Sprach- dialogsystem. Die Konfiguration der Schnittstellen zur Da¬ teneingabe bzw. Datenausgabe bzw. zur Steuerung der ange¬ schlossenen Komponenten ist hier ebenfalls nur beispielhaft dargestellt.
Die in der FIG. 2 dargestellten Funktionsblocke werden im folgenden näher erläutert.
1. Echokompensation:
Über die Echokompensation werden die digitalisierten Lautsprechersignale z.B. der Sprachausgabe bzw. eines eingeschalteten Radios über adaptive Filteralgorithmen vom Mikrofonsignal subtrahiert. Die Filteralgorithmen bilden den Echopfad vom Lautsprecher zum Mikrofon nach.
2. Geräuschreduktion:
Diese ermöglicht es, stationäre oder quasi-stationäre Umgebungsgeräusche vom digitalisierten Sprachsignal zu unterscheiden und diese vom Sprachsignal abzuziehen. Geräusche dieser Art sind z.B.: Fahrgeräusche in einem Kraftfahrzeug (Kfz) , Umgebungsgeräusche in Labors und Büros wie Lüfter oder Maschinengeräusche in Fabrika¬ tionshallen.
3. Segmentierung:
Die Segmentierung setzt - wie in FIG. 3 gezeigt - auf spektraltransformierten Daten auf. Hierzu werden die Signale blockweise zu sogenannten "frames" zusammenge¬ faßt und mit einer schnellen Fouriertransformation (FFT) in den Frequenzbereich umgesetzt. Durch Betrags¬ bildung und Gewichtung mit einem gehörbezogenen MEL- Filter, d.h. einem dem melodischen Empfinden der Ton¬ höhe nachgebildeten Filter, bei dem eine gehörbezogene
Einteilung des Sprachbereiches (~ 200 Hz bis - 6 kHz) in einzelne Frequenzbereiche ("Kanäle") durchgeführt wird, werden die Spektralwerte zu Kanalvektoren zusam¬ mengefaßt, die die Leistung in den verschiedenen Fre¬ quenzbändern angeben. Im Anschluß erfolgen eine Grob¬ segmentierung, die permanent aktiv ist und Kommandoan- fang sowie Kommandoende grob erfaßt, sowie eine Fein- segmentierung, die im Anschluß daran die genauen Gren¬ zen festlegt.
4. Merkmalsextraktion Der Merkmalsextraktor berechnet aus den digitalisierten und segmentierten Sprachsignalen über mehrere Stufen hinweg Merkmalsvektoren und bestimmt den dazugehörigen normierten Energiewert. Dazu werden beim sprecherunabhängigen Erkenner die Ka- nalvektoren mit einer diskreten Cosinustransformation (DCT) in Cepstralvektoren transformiert. Zusätzlich wird die Energie des Signals berechnet und normiert. Parallel dazu wird eine laufende Mittelwertberechnung der Cepstralwerte durchgeführt mit dem Ziel, den Erken- ner sowohl an den momentanen Sprecher als auch auf Übertragungscharakteristiken, z.B. des Mikrofons und des Kanals (Sprecher → Mikrofon) zu adaptieren. Die Cepstralvektoren werden von diesem adaptierten Mit- telwert befreit und mit der zuvor berechneten normier¬ ten Energie zu sogenannten CMF-Vektoren (Cepstralkoef- fizienten mittelwertfrei) zusammengefaßt.
5. Klassifikation des sprecherunabhängigen Verbundwort- Spracherkenners
5.1 Hidden-Markov-Modell (HMM)
Ein Hidden-Markov-Modell ist eine Ansammlung von Zu¬ ständen, die untereinander durch Übergänge verbunden sind (FIG. 4) .
Jeder Übergang, von einem Zustand qi zum anderen qj , wird durch eine sogenannte Ubergangswahrscheinlichkeit beschrieben. Jedem Knoten (Zustand) ist ein Vektor von sogenannten Emissionswahrscheinlichkeiten der Länge M zugeordnet. Über diese Emissionswahrscheinlichkeiten wird die Verbindung zur physikalischen Welt herge¬ stellt. Die Modellvorstellung geht soweit, daß in einem bestimmten Zustand q-j_ eines von M verschiedenen Symbo¬ len "emittiert" wird, entsprechend der zustandsbezoge- nen Emissionswahrscheinlichkeit. Die Symbole stehen stellvertretend für die Merkmalsvektoren. Die Folge von "emittierten" Symbolen, die das Modell erzeugt, sind sichtbar. Die konkrete Abfolge der Zu¬ stände, die innerhalb des Modells durchlaufen werden, ist dagegen nicht sichtbar (engl. "hidden") .
Ein Hidden-Markov-Modell ist durch folgende Größen de¬ finiert :
• T Anzahl der Symbole
• t Zeitpunkt für ein beobachtetes Symbol, t = 1...T • N Anzahl der Zustande (Knoten) des Modells
• M Anzahl der möglichen Symbole (= Codebuchgröße)
• Q Zustände des Modells {ql, q2 , ... qn}
• V Menge der möglichen Symbole • A Ubergangswahrscheinlichkeit vom einem Zustand in einen anderen
• B Wahrscheinlichkeit für ein Ausgabesymbol in einem
Zustand des Modells (Emissionswahrscheinlichkeit)
• π Wahrscheinlichkeit für den Anfangszustand des Modells (beim Training des HMM's) .
Unter Benutzung der Wahrscheinlichkeitsverteilungen A und B können mit Hilfe dieses Modells Ausgabesymbole erzeugt werden.
Aufbau des phonembasierten HMM-Erkenners
Bei einem Spracherkennungsystem mit größerem Wortschatz basiert die Worterkennung zweckmäßigerweise nicht auf Ganzwörtern, sondern auf phonetischen Wortuntereinhei¬ ten. Eine solche Wortuntereinheit ist zum Beispiel ein Laut, ein Diphon (Doppellaut) oder ein Lautübergang.
Ein zu erkennendes Wort wird dann durch die Verkettung der entsprechenden Wortuntereinheiten-Modelle darge¬ stellt. In FIG. 5 ist als Beispiel einer solchen Dar¬ stellung mit verketteten Hidden-Markov-Modellen (HMM) zum einen die standardphonetische Beschreibung des Wor¬ tes "braten" (FIG. 5a) sowie zum anderen die phoneti¬ sche Beschreibung von Aussprachevarianten (FIG. 5b) dargestellt. Diese Wortuntereinheiten-Modelle werden bei der Erstellung des Systems an Stichproben vieler Sprecher trainiert und bilden die Datenbasis, auf der der "off-line Dialog Editor" aufsetzt. Dieses Konzept mit Wortuntereinheiten hat den Vorteil, daß neue Wörter relativ einfach in das vorhandene Lexikon aufgenommen werden können, da die Parameter für die Wortunterein¬ heiten schon bekannt sind.
Theoretisch kann mit diesem Erkenner ein beliebig gro¬ ßes Vokabular erkannt werde. In der Praxis wird man je- doch durch beschränkte Rechenleistung und für die je¬ weilige Anwendung notwendige Erkennungsleistung an Grenzen stoßen.
Die Klassifikation basiert auf dem sogenannten Viterbi- algorithmus, in welchem die Wahrscheinlichkeit jedes Wortes für die einlaufende Symbolfolge berechnet wird, wobei ein Wort hier als Verkettung verschiedener Pho¬ neme zu verstehen ist. Der Viterbialgorithmus wird er¬ gänzt durch eine Wortfolgestatistik ("Language Mo¬ dell") , d.h. die im "off-line Dialog Editor" spezifi- zierten Mehrwortkommandos liefern die erlaubten Wort¬ kombinationen. Im Extremfall beinhaltet die Klassifika¬ tion auch die Erkennung und Aussonderung von Füllauten (Äh, Hmm, Räusperer, Pausen) oder "Garbagewörtern" ("NichtWörtern") . "Garbagewörter" sind sprachliche Er- gänzungen, die den eigentlichen Sprachkommandos - unnö¬ tigerweise - vom Sprecher hinzugefügt werden, die aber in den Vokabularien des Spracherkenners nicht enthalten sind. Beispielsweise kann der Sprecher das Kommando "Kreis mit Radius eins" noch erweitern um Begriffe wie "Ich möchte jetzt einen ..." oder "Bitte einen ...".
Je nach Applikation bzw. Umfang des benötigten Vokabu¬ lars können diese phonembasierten Hidden-Markov-Modelle bei Bedarf auch um ganzwortbasierte Hidden-Markov-Mo¬ delle ergänzt bzw. erweitert werden.
Sprecherabhängiger Erkenner
Für die sprecherabhängige Erkennung wird auf derselben Vorverarbeitung aufgesetzt wie für den sprecherunabhän- gigen Erkenner. Aus der Literatur sind unterschiedliche Lösungsansätze bekannt (z.B. dynamische Zeitnormierung ("Dynamic Time Warping (DTW)") , Neuronale Netz-Klassi- faktoren) , die ein Training im Echtzeitbetrieb erlau¬ ben. Es handelt sich hierbei in erster Linie um Einzel- worterkenner, wobei hier vorzugsweise das Verfahren der dynamischen Zeitnormierung zum Einsatz kommt.
Um die Benutzerfreundlichkeit zu erhöhen, wird im hier beschriebenen SDS eine Kombination von sprecherunabhän- gigem (vgl. Punkt 5.) und sprecherabhängigem Erkenner im Verbundwortmodus verwendet ("Gloria anrufen", "Neues Ziel Onkel Willi", "Funktion Schrägellipse darstel¬ len") , wobei die Worte "Gloria", "Onkel Willi", "Schrägellipse" vom Benutzer beim Training frei gewählt wurden und samt den zugehörigen Telefonnummern/Ziel¬ adressen/Funktionsbeschreibungen in entsprechenden Li¬ sten abgelegt wurden. Der Vorteil dieses Lösungsansat- zes liegt darin, daß ein bis zwei (oder ggf. noch mehr) Dialogschritte eingespart werden.
7. Nachverarbeitung: Syntax und Semantikprüfung:
Das SDS beinhaltet eine leistungsfähige Nachverarbei¬ tung der von den Spracherkennern gelieferten Ergebnis¬ se. Dazu gehören die syntaktischen Prüfungen dahinge- hend, ob die ermittelten Satzhypothesen dem a priori festgelegten Aufbau der Sprachkommandos ("Syntax") ent¬ sprechen. Falls nicht, werden die entsprechenden Hypo¬ thesen verworfen. Diese syntaktische Analyse kann im Einzelfall auch teilweise oder vollständig in den Er- kenner selbst integriert werden, z.B. indem in den Ent¬ scheidungsbäumen des Klassifikators die Syntax bereits berücksichtigt wird. Weiterhin werden die vom Spracherkenner gelieferten Satzhypothesen auf ihren Sinn und auf ihre Plausibili¬ tät überprüft.
Nach dieser Plausibilitätsprüfung wird die aktive Satz- hypothese entweder an die Dialogsteuerung weiterge¬ reicht oder zurückgewiesen.
Im Falle einer Rückweisung wird die nächstwahrscheinli- che Hypothese des Spracherkenners genommen und auf gleiche Art und Weise behandelt. Im Falle eines syntaktisch korrekten und plausiblen
Kommandos wird dieses zusammen mit der Beschreibung der Bedeutung an die Dialogsteuerung weitergegeben.
8. Dialog- und Ablaufsteuerung Die Dialogsteuerung reagiert auf den erkannten Satz und bestimmt die auszuführenden Funktionen. So z.B. legt sie fest
• welche Rückfragen, Informationen oder Aufforderungen an den Benutzer ausgegeben werden, • welche Aktuatoren wie angesprochen werden,
• welche Systemmodule aktiv sind (sprecherunabhängiger Erkenner, Training) ,
• welche Teilwortschatze (Teilvokabularien) für die als nächstes erwartete Antwort aktiv sind (z.B. nur Zif- fern) .
Des weiteren behält die Dialogsteuerung den Überblick über den Status der Applikation, soweit dieser dem SDS mitgeteilt wird. Der Dialogsteuerung unterlagert ist die Ablaufsteuerung, die die einzelnen Prozesse zeit- lieh und logisch kontrolliert. 9. Kommunikations- und Kontrollinterface
Hier wird die Kommunikation mit den angeschlossenen Peripheriegeräten einschließlich der zu bedienenden Ge¬ räte abgewickelt. Dazu stehen verschiedene Schnittstellen zur Verfügung. Das SDS setzt i.a. allerdings nicht alle diese Schnitt¬ stellen voraus. Die in der FIG. 2 genannten sind nur beispielhafte Möglichkeiten einer Implementierung. Das Kommunikations- und Kontrollinterface wickelt u.a. auch die Sprachein- und -ausgaben z.B. über A/D- bzw. D/A-Wandler ab.
10. Spracheingabe/-ausgäbe
Die Sprachein/ausgäbe setzt sich zusammen aus einem "Sprachsignal-Kompressionsmodul" (= "Sprachencoder") , der die Redundanz bzw. Irrelevanz aus dem digitalisier¬ ten Sprachsignal entzieht und somit ein Sprachsignal definierter Dauer in einem erheblich kleineren Speicher als direkt nach der A/D-Wandlung ablegen kann. Die kom- primierte Information wird in einem Sprachspeicher ab¬ gelegt und für die Ausgabe im "Sprachdecoder" regene¬ riert, so daß das ursprüngliche eingegebene Wort wieder hörbar ist. Der hierbei ggf. auftretende Qualitätsver¬ lust bei der Wiedergabe hält sich bei den heute verfüg- baren Codier- bzw. Decodierverfahren in einem vertret¬ baren Rahmen.
Für die Dialogführung sind im Sprachspeicher bereits von vorneherein ("off-line Dialog Editor") eine Reihe von Kommandos, Hilfstexten oder Anweisungen abgelegt, die den Benutzer bei der Bedienung unterstützen sollen, bzw. ihm Informationen von der Applikationsseite her zukommen lassen.
Weiterhin wird die Sprachcodierung während des Trai¬ nings für den sprecherabhängigen Erkenner aktiviert, da der vom Benutzer eingesprochene Namen gleichfalls im Sprachspeicher abgespeichert wird. Der Benutzer kann durch Abhören seiner Namensliste bzw. Funktionsliste jederzeit akustisch über den Inhalt, d.h. die einzelnen Namen bzw. Funktionen, informiert werden.
Bezüglich Sprachcodier- und -decodieralgorithmus können z.B. Verfahren angewandt werden, die aus der Sprach¬ übertragung unter dem Schlagwort "Quellkodierung" be¬ kannt sind und per Software auf einem programmierbaren Prozessor implementiert werden.
In FIG. 6 ist ein Beispiel für einen möglichen Hardwareauf¬ bau der SDS gemäß FIG. 2 dargestellt. Die Konfiguration der einzelnen Funktionsblöcke sowie die Schnittstellen zur Da- tenein- und Datenausgabe bzw. zur Steuerung der angeschlos¬ senen Komponenten ist hier nur beispielhaft dargestellt. Der hier angenommene aktive Wortschatz (Vokabular) für sprecherunabhängig gesprochene Worte kann z.B. einige hun¬ dert Worte umfassen.
Der digitale Signalprozessor (DSP) ist ein handelsüblicher programmierbarer Prozessor, der sich von einem Mikroprozes¬ sor durch andere Busarchitektur (z.B. Harvard-Architektur statt Von-Neumann-Architektur) , spezielle "on-chip"-Hard- ware-Rechenwerke (Multiplizierer/Akkumulatoren/Shifter etc.) und I/O-Funktionalitäten auszeichnet, die bei echt¬ zeitiger digitaler Signalverarbeitung benötigt werden. In zunehmendem Maße bieten leistungsfähige RISC-Prozessoren ähnliche Funktionalitäten wie DSPs und können diese ggf. ersetzen.
Der hier gezeigte DSP (bzw. ein anderer Mikroprozessor ver¬ gleichbarer Leistungsfähigkeit) kann mit Ausnahme speziel¬ ler Interface-Kontrollfunktionen sämtliche in FIG. 2 darge- stellte Funktionen per Software bzw. integrierter Hardware abwickeln. Mit derzeit handelsüblichen DSPs lassen sich mit dem hier vorgestellten Konzept derzeit (beispielhaft) Wort¬ schätze von mehreren hundert Worten realisieren, wobei da- von ausgegangen wird, daß dieser Wortschatz vollständig zur Auswahl steht als "aktives Vokabular" und nicht durch Bil¬ dung von Teilvokabularien erheblich kleiner ist. Für den Fall, daß Teilvokabularien gebildet werden, kann jedes da¬ von die genannte Größe umfassen.
Durch die Hardwarestruktur gemäß FIG. 6 und insbesondere durch den Verzicht auf zusätzliche Spezialbausteine für die Erkennung und/oder für Dialogabwicklung, Ablaufsteuerung, Sprachkodierung und Interface-Protokollabwicklung bietet sich die Chance einer Realisierung mit einer kompakten, ko¬ stengünstigen Hardware mit niedrigem Stromverbrauch. Durch die technologische Weiterentwicklung werden zukünftig höhe¬ re Rechenleistungen und höhere Speicherumfänge auf den DSPs verfügbar sein und größere externe Speicherbereiche adres- sierbar sein, so daß umfangreichere Vokabularien bzw. lei¬ stungsfähigere Algorithmen realisierbar sein werden.
Das SDS wird durch die an den DSP angeschlossene "push-to- talk"-Taste (PTT) aktiviert. Ein Betätigen dieser Taste veranlaßt die Steuersoftware, den Erkennvorgang zu starten. Im einzelnen sind neben dem DSP folgende weitere Hardware- Module vorhanden:
• A/D- und D/A-Wandler: Über einen angeschlossenen A/D- und D/A-Wandler werden das Mikrofonsignal und ggf. die Lautsprechersignale digitalisiert und zur weiteren Verarbeitung an den DSP übertragen, die digitalisierten Sprachdaten zur Sprachausgabe/ Dialogsteuerung in ein Analogsignal zurückgewandelt, verstärkt und an ein geeignetes Wiedergabemedium (z.B. Lautsprecher) weitergereicht.
• D2B optical:
Dies ist ein optisches Bussystem, über welches diverse Audio- und Informationsgeräte gesteuert werden können (z.B.: Autoradio und CD-Wechsler, Autotelefon und Naviga¬ tionsgeräte usw.) . Dieser Bus überträgt nicht nur Steuer-, sondern auch Audiodaten; im Extremfall (d.h. wenn Mikrofon- und Lautsprechersignal hierüber geschickt werden) erübrigt sich A/D- und D/A-Wandlung im SDS.
CAN Bus:
Dies ist ein Bussystem, über welches Informationsgeräte und Aktuatoren im Kfz gesteuert werden können; Audioüber¬ tragung ist in der Regel nicht möglich.
• V.24-Schnittstelle:
Diese Schnittstelle kann zur Steuerung diverser Periphe¬ riegeräte dienen. Weiterhin kann über diese Schnittstelle die Software des SDS aktualisiert werden. So kann ein entsprechender Wortschatz oder eine entsprechende Sprache (z.B.: Deutsch, Englisch, Französisch...) geladen werden.
• PCMCIA-Interface:
Diese Schnittstelle dient neben der Kommunikation mit einem Desktop- oder Portable Computer auch der Spannungs¬ versorgung des SDS. Mehrere der oben angeführten Funktio¬ nen können hier zusammengefaßt werden. Weiterhin kann diese Schnittstelle neben den elektrischen Eigenschaften auch die mechanischen Abmessungen des SDS bestimmen. Die- se können z.B. so ausgewählt werden, daß das SDS in einen PCMCIA-Schacht eines Desktop- oder Portable Computers ge¬ steckt werden kann.
• Speicher
Der an den DSP angeschlossene Speicher (Daten/Programm- RAM und ROM) dient dem DSP als Programm- und Datenspei¬ cher. Ferner beinhaltet dieser die spezifischen Klassifi¬ kations-Modelle und ggf. die Referenzmuster für die bei- den Spracherkenner und die Festtexte zur Dialogsteuerung und zur Benutzerführung. In einem FLASH-Speicher oder batteriegepufferten Speicher werden die benutzerspezifi¬ schen Informationen abgelegt (Adress-, Datenlisten) .
Die hier skizzierte Hardware-Konfiguration insbesondere be¬ züglich der Schnittstellen hängt stark von der jeweiligen Applikation oder von speziellen Kundenanforderungen ab und ist hier exemplarisch für einige Anwendungsfälle beschrie¬ ben. In anderen Applikationen (z.B. bei Anbindung an einen PC oder eine Workstation oder beim Einsatz in portablen Te¬ lefonen) kann die Wahl der Schnittstellen völlig anders sein. Auch können A/D- und D/A-Wandler bereits auf dem DSP integriert sein.
Funktionsbeschreibung am Beispiel eines sprachbedienten Autotelefons
Im folgenden sind nun die Dialogabläufe exemplarisch am Beispiel einer sprachgesteuerten Telefonsteuerung (z.B. in einem Kfz) beschrieben.
Dieses Beispiel läßt sich erweitern auf die Ansteuerung von Telefon und Radio und/oder CD und/oder Navigation im Kfz bzw. auf die Bedienung eines CAE-Arbeitsplatzes o.a. Charakteristisch ist für jedes dieser Beispiele:
- Die sprecherunabhängige Erkennung von Mehrwortkommandos, sowie Buchstaben- oder Ziffernkolonnen, - Die sprecherabhängige Eingabe eines vom Benutzer vorher trainierten, freigewählten Namens oder Funktionswortes, dem zugeordnet ist eine Funktion, ein Zahlencode (z.B. Telefonnummer eines Telefonbuches oder Senderfrequenz einer Radiosenderliste) oder eine Buchstabenkombination (z.B. Zielort bei Navigationssystemen).
Bei der Definition der Zuordnung gibt der Benutzer die Funktion, Buchstaben- oder Ziffernkombination im spre¬ cherunabhängigen Verbundwortmode ein (wobei die Funktion, die Buchstaben, Ziffern Teil des zulässigen Vokabulars sein müssen, d.h. mit "off-line Dialog Editor" vorab festgelegt sein müssen) .
- Mit dieser Namenswahl verbunden ist stets die Verwaltung einer entsprechenden Liste unterschiedlicher Namen bzw. Funktionsworte desselben Benutzers (Telefonbuch, Sender- liste, Zielortliste) . Diese Liste kann erweitert, ge¬ löscht, abgefragt oder korrigiert werden.
Zustandsdiagramm SDS (FIG. 7) :
Während der Bedienung des Telefons über die Spracheingabe nimmt das SDS unterschiedliche Zustände ein, von denen einige beispielhaft in FIG. 7 gezeigt sind (deaktivierter Zustand; Kommandomodus "Telefon"; Nummerneingabe bzw. -wähl sowie Namenseingabe bzw. -wähl im Zusammenhang mit der Wahlfunktion; Nummerneingabe bzw. Namenstraining im Zusam¬ menhang mit der Speicherfunktion; Namen löschen bzw. Tele¬ fonbuch komplett oder selektiv löschen in Zusammenhang mit der Löschfunktion) . Die Übergänge werden durch Äußerung von Sprachkommandos ("Nummernwahl", "Namenswahl", "Namen spei¬ chern", "Nummern speichern", "Beenden", "Löschen") gesteu¬ ert, wobei die Aktivierung des SDS durch Betätigen der PTT- Taste erfolgt. Ein Gesprächsabbruch erfolgt z.B. durch Ein- gäbe eines speziellen Abbruchkommandos ("Beenden") oder durch Betätigen einer Abbruchtaste.
Betriebszustand "Deaktiviert":
Das Sprachdialogsystem ist in diesem Zustand nicht erkenn¬ bereit. Teile der Signalverarbeitungssoftware sind zweckmä¬ ßigerweise dennoch immer aktiv (Geräuschreduktion, Echo¬ kompensation) , um den Geräusch- und Echozustand permanent zu aktualisieren
Betriebszustand "Aktiv" (FIG. 8) :
Das Sprachdialogsystem ist durch die PTT-Taste aktiviert worden und wartet nun auf die zur weiteren Steuerung der Peripheriegeräte (Telefon) erlaubten Kommandos. Die Funk¬ tionsabläufe des Betriebszustandes "Aktiv" sind in FIG. 8 in Form eines Flußdiagramms (beispielhaft) dargestellt, und zwar für die Funktionen "Telefonbuch wählen", "Telefonbuch löschen", "Namen löschen", "Namenswahl", "Nummernwahl", "Namen speichern" , "Nummern speichern" , "Telefonbuch anhö¬ ren" und die zugehörigen Aktionen und Reaktionen (Ausgabe der Namenslisten, komplette oder selektive Löschung, Na¬ mens- oder Nummernwahl, Nummerneingabe bzw. Namenstrai¬ ning) . Selbstverständlich können diese Funktionen bei Be- darf durch zusätzliche weitere Funktionen ergänzt bzw. er¬ weitert bzw. durch andere Funktionen ganz oder teilweise ersetzt werden.
Generell ist in diesem Zusammenhang anzumerken, daß das ak¬ tivierte SDS jederzeit, d.h. auch während eines der nach- folgend näher erläuterten Funktionsabläufe, wieder deakti¬ viert werden kann mit der Folge, daß der ggf. noch nicht vollendete Funktionsablauf ab- oder unterbrochen wird. Die Deaktivierung des SDS geschieht z.B. jederzeit durch Betätigen der ggf. vorhandenen Abbruchtaste oder durch Eingabe eines speziellen Abbruchkommandos (z.B. "Beenden", "Abbrechen" o.a.) an definierten Stellen des Dialogs.
Betriebszustand "Namenswahl" (FIG. 9) :
Dieser Zustand setzt voraus, daß das entsprechende Sprach¬ kommando "Namenswahl" bzw. "Telefon Namenswahl" o.a. rich¬ tig erkannt wurde. In diesem Zustand ist die Wahl einer Te¬ lefonnummer durch eine Eingabe eines Namens möglich. Dazu wird auf einen sprecherabhängigen Spracherkenner umgeschal¬ tet.
Das Sprachdialogsystem fordert zur Eingabe eines Namens auf. Dieser wird dem Benutzer bestätigt. Das Sprachdialog¬ system schaltet nun wieder auf den sprecherunabhängigen Er- kenner um. Sollte der Namen richtig erkannt worden sein, wird die dem Namen zugeordnete Telefonnummer an das Telefon weitergegeben und dort die Verbindung zu dem entsprechenden Fernsprechteilnehmer hergestellt. Sollte der Namen falsch verstanden worden sein, so kann durch eine Abbruchfunktion (z.B. durch Betätigen der Ab¬ bruchtaste) ein Wählen der Telefonnummer verhindert werden. Alternativ hierzu ist auch eine Rückfrage des SDS denkbar, ob die dem Sprachkommando zugeordnete Aktion/Funktion aus¬ geführt werden soll oder nicht. Der Umfang des Telefonbuches kann je nach Aufwand bzw.
Speicherplatz z.B. 50 oder mehr gespeicherte Namen umfas¬ sen. Die Funktionsabläufe des Betriebszustandes "Namens¬ wahl" sind in FIG. 9 in Form eines Flußdiagramms darge¬ stellt. Betriebszustand "Nummernwahl" (FIG. 10) :
Dieser Zustand setzt voraus, daß das entsprechende Sprach¬ kommando (z.B. "Nummernwahl" o.a.) richtig erkannt wurde. In diesem Zustand erfolgt die Wahl einer Telefonnummer durch eine Eingabe einer Zahlenfolge. Die Eingabe erfolgt verbunden (ggf. blockweise) und sprecherunabhängig. Das SDS fordert in diesem Betriebszustand zur Eingabe einer Nummer auf. Der Benutzer gibt daraufhin die Nummer komplett oder in einzelnen Blöcken als Sprachkommandos ein. Die ein¬ gegebenen Nummern bzw. der jeweils eingegebene Nummernblock wird dem Benutzer nach Eingabe des jeweiligen Sprachkomman- dos bestätigt. Nach der Aufforderung "wählen" wird die Num¬ mer an das Telefon weitergegeben und dort die Verbindung zu dem entsprechenden Fernsprechteilnehmer hergestellt.
Sollte die Nummer falsch verstanden worden sein, so kann durch eine Fehlerfunktion die Nummer korrigiert oder ge¬ löscht werden oder über eine Abbruchfunktion, z.B. durch das Kommando "Beenden" die Sprachbedienung abgebrochen wer- den, d.h. das SDS deaktiviert werden.
Die Funktionsabläufe des Betriebszustandes "Nummernwahl" sind in FIG. 10 in Form eines Flußdiagramms dargestellt.
Betriebszustand "Verbindung":
Die Telefonverbindung zu dem gewünschten Fernsprechteilneh¬ mer ist aufgebaut. In diesem Zustand ist die Spracherken- nungseinheit deaktiviert. Das Telefongespräch wird z.B. durch die Abbruchtaste beendet.
Betriebszustand "Nummer speichern / Namen speichern"
Nachdem auf das Sprachkommando "Nummer speichern" bzw. "Na¬ men speichern" hin das SDS den Benutzer/Sprecher aufgefor- dert hat, die Ziffern einzugeben und der Benutzer diese eingesprochen hat (vgl. Betriebszustand "Nummernwahl") wird anstelle des Kommandos "wählen" das Kommando "speichern" bzw. ein vergleichbares Kommando eingegeben. Die Telefon- nummer wird nunmehr gespeichert. Das SDS fordert anschlie¬ ßend den Benutzer auf, den zugehörigen Namen einzusprechen und läßt die Namenseingabe zur Verbesserung des Trainings¬ ergebnisses ein- oder mehrfach wiederholen. Nach dieser Wiederholung ist der Dialog beendet. Zu ergänzen ist, daß die anfängliche Zifferneingabe durch Dialog-Kommandos wie "abbrechen" bzw. "Abbruch", "wiederholen", "korrigieren" bzw. "Korrektur", "Fehler" usw. kontrolliert werden kann.
Betriebszustand "Telefonbuch löschen / Namen löschen"
In Zusammenhang mit dem "Telefonbuch" (Liste aller trai¬ nierten Namen und zugehörigen Telefonnummern) sind eine Reihe von Editierfunktionen definiert, die den Komfort des Systems für den Benutzer erhöhen, wie z.B.:
Telefonbuch löschen:
Komplettes oder selektives Löschen, wobei durch Rückfrage ("Sind sie sicher?") des SDS vor dem endgültigen Löschen und durch ggf. Ausgabe des spezifischen Namens ein verse¬ hentlichen Löschen durch Erkennungsfehler vermieden wird.
Namen löschen:
Das SDS fordert den Benutzer auf, den zu löschenden Namen zu sprechen. Der Name wird vom SDS wiederholt. Danach wird der Benutzer mit der Frage "Sind sie sicher?" aufgefordert, den Löschvorgang zu bestätigen: Die Eingabe des Sprachkommandos "Ja" veranlaßt das Löschen des Namens aus dem Telefonbuch.
Jedes andere als Sprachkommando eingegebene Wort beendet den Dialog.
Betriebszustand "Telefonbuch anhören":
Das SDS sagt den Inhalt des gesamten Telefonbuchs an. Ein Bestätigen der PTT-Taste oder die Eingabe eines Abbruchkom- mandos bricht die Ansage bzw. den Dialog ab.
Betriebszustand "Telefonbuch wählen":
Das SDS sagt den Inhalt des gesamten Telefonbuchs an. Wird nach Ansage des gewünschten Namens ein Abbruch- oder Wähl¬ kommando gegeben bzw. die PTT-Taste betätigt, so wird der ausgewählte Namen noch einmal angesagt und nachgefragt "Soll die Nummer gewählt werden?" Die Eingabe des Sprachkommandos "Ja" veranlaßt den Wahlvor- gang, d.h. die Verbindung wird hergestellt.
"Nein" veranlaßt das SDS, das Ansagen des Telefonbuches fortzugesetzen. Das Sprachkommando "Abbruch", "Abbrechen" o.a. oder Betätigen der Abbruchtaste beendet die Ansage bzw. den Dialog. Die beiden zuletzt genannten Funktionen "Telefonbuch anhö¬ ren" und "Telefonbuch wählen" lassen sich auch zu einer einzigen Funktion zusammenfassen. Dies erfolgt z.B. da¬ durch, daß bei "Telefonbuch anhören" nach dem relevanten Namen die PTT-Taste betätigt wird und das SDS z.B. nach der Mitteilung "Der Name 'Onke Willi' wird gewählt" den Wahl¬ vorgang einleitet. Die Eigenschaften des zuvor beschriebenen SDS können - un¬ ter Einbeziehung weiterer Applikationen - wie folgt zusam¬ mengefaßt werden:
Benutzt wird ein Verfahren zur automatischen Steuerung und/ oder Bedienung von einem oder mehreren Geräten per Sprach¬ kommandos bzw. per Sprachdialog im Echtzeitbetrieb, bei dem Verfahren zur Sprachausgabe, Sprachsignalvorverarbeitung und Spracherkennung, syntaktisch-grammatikalischen Nachver- arbeitung sowie Dialog-, Ablauf- und Schnittstellensteue¬ rung zur Anwendung kommen. Das Verfahren in seiner Grund- version ist im "on-line"-Betrieb durch eine fixierte Syn¬ tax- und Kommandostruktur, sowie durch eine Kombination von fixiertem Vokabular (sprecherunabhängiger Erkenner) und frei definierbarem Vokabular, wie z.B. Namen oder Funk¬ tionsworte (sprecherabhängiger Erkenner) , gekennzeichnet. In vorteilhaften Aus- und Weiterbildungen kann es durch eine Reihe von Merkmalen charakterisiert werden, wonach vorgesehen ist, daß: - Syntax- und Kommandostruktur während des Echtzeit-Dialog¬ betriebs fixiert sind,
- Vorverarbeitung, Erkennung und Dialogsteuerung für Be¬ trieb in geräuschbehafteter Umgebung ausgelegt sind,
- für die Erkennung allgemeiner Kommandos, Namen oder Daten kein Training durch den Benutzer erforderlich ist ("Spre¬ cherunabhängigkeit") ,
- für die Erkennung spezifischer Namen, Daten oder Komman¬ dos einzelner Benutzer ein Training notwendig ist ("Spre¬ cherabhängigkeit" bei benutzerspezifischen Namen bzw. Funktionsworten) ,
- die Eingabe von Kommandos, Namen oder Daten vorzugsweise verbunden erfolgt, wobei die Anzahl der Worte, aus denen ein Kommando für die Spracheingabe gebildet wird, varia- bei ist, d.h. daß nicht nur Ein- oder Zweiwortkommandos, sondern auch Drei-, Vier- oder Mehrwortkommados definiert werden können,
- eine echtzeitige Verarbeitung und Abwicklung des Sprach- dialoges gegeben ist,
- die Sprachein- und -ausgäbe nicht oder nicht nur über Handapparat, Kopfhörer, Headset o.a., sondern vorzugswei¬ se im Freisprechbetrieb erfolgt,
- die bei Freisprechen im Mikrofon registrierten Lautspre- cherechos elektrisch kompensiert werden, um gleichzeiti¬ gen Betrieb von Spracheingabe und Lautsprecher (z.B. für Sprachausgabe, Ready-Signale etc.) zu ermöglichen ("Echo- kompensation") ,
- eine laufende automatische Anpassung an die analoge Über- tragungscharakteristik (Raumakustik, Mikrofon- und Ver- stärkercharakteristik, Sprechercharakteristik) im Betrieb erfolgt,
- im "off-line Dialog Editor" die Syntaxstruktur, die Dia¬ logstruktur, das Vokabular und Aussprachevarianten für den Erkenner neu konfiguriert und festgelegt werden kön¬ nen, ohne daß dies zusätzlicher oder neuer Sprachaufnah¬ men für den unabhängigen Erkenner bedarf,
- im "off-line Dialog Editor" der Sprachumfang für die Sprachausgabe festgelegt wird, wobei a) die registrierten Sprachsignale einer digitalen
Sprachdatenkompression unterworfen werden ("Sprachcodie¬ rung") , anschließend abgespeichert werden und im echt¬ zeitigen Sprachausgabebetrieb nach Auslesen aus dem Spei¬ cher eine entsprechende Sprachdecodierung erfolgt, oder b) der Sprachumfang zuvor in Form von Text abgespeichert wurde und im echtzeitigen Sprachausgabebetrieb einer "Text-zu-Sprache"-Synthese ("Text-to-speech"-synthesis) unterworfen wird, - die Wortstellung durch Vertauschen einzelner Worte eines Kommandos veränderbar ist,
- vorgegebene synonyme Worte nutzbar sind,
- die gleiche Funktion durch Kommandos unterschiedlicher Wortanzahl (z.B. durch Zweiwort- oder Dreiwertkommandos) realisiert werden kann,
- zur Erkennung und anschließender Aussonderung von Einfü¬ gungen wie "Äh", "Hm", "Bitte", oder anderer nicht zum Vokabular gehöriger Kommandos dem Nutzvokabular weitere Wörter bzw. Lauteinheiten hinzugefügt werden ("Nichtwör- ter", "Garbagewörter") bzw. Wordspottingansätze genutzt werden,
- die Dialogstruktur durch folgende Eigenschaften sich auszeichnet: - flache Hierarchie, d.h. einige wenige Hierarchieebenen, vorzugsweise eine oder zwei Auswahlebenen,
- Einbindung von "Ellipsen", d.h. Verzicht auf Wiederho¬ lung ganzer Kommandosätze mit mehreren Kommandoworten; statt dessen Beschränkung auf kurze Kommandos, z.B. "weiter", "höher", "stärker", wobei dem System aus dem jeweils vorigen Kommando bekannt ist, worauf sich diese Aussage bezieht,
- Einbeziehung von "Hilfe-" oder "Info-Menüs",
- Einbeziehung von Rückfragen von seiten des SDS bei un- sicheren Entscheidungen des Erkenners ("Wie bitte",
"bitte wiederholen", "und weiter") ,
- Einbeziehung von Sprachausgaben, um durch Anregung be¬ stimmter Sprechweisen die Erkennungssicherheit zu stei¬ gern (z.B. durch die Aufforderung: "bitte lauter") , - die Spracherkennung durch einmalige Betätigung einer "Push-to-talk"-Taste ("PTT-Taste") aktiviert und dies akustisch quittiert wird (z.B. durch einen "Pieps"-Ton) , um anzuzeigen, daß die Eingabe nunmehr erfolgen kann,
- auf die Betätigung der PTT-Taste verzichtet werden kann, wenn nach Rückfragen von Seiten der Sprachausgabe im An- schluß daran Spracheingaben erforderlich sind, wobei die PTT-Taste
- entweder Mehrfachfunktionen wahrnimmt oder beinhaltet, z.B. während des Telefonierens ("Auflegen des Hörers", "Abheben des Hörers") bzw. beim Neustart des Sprachdia- logsystems bzw. beim Abbruch eines Telefonwahlvorgangs,
- oder ergänzt wird durch zusätzliche Schalter, welche z.B. einen Neustart oder den Abbruch einer Funktion/Ak¬ tion erlauben ("Abbruchtaste") ; die PTT- und die Ab¬ bruchfunktion lassen sich ggf. auch in einen gemeinsa- men Hebel integrieren (z.B.: Auslösen der PTT-Funktion durch Heranziehen des Hebels, Auslösen der Abbruchfun¬ ktion durch Wegdrücken des Hebels) ,
- das Dialogsystem eines oder mehrere der folgenden Leistungsmerkmale aufweist: - die spezifischen (z.B. trainierten) Kommandos, Daten, Namen oder Parameter unterschiedlicher Benutzer werden bei Bedarf für spätere Wiederbenutzung festgehalten,
- vom Sprecher trainierte Kommandos bzw. Namen werden während der Trainingsphase nicht nur der Erkennung zu- geführt, sondern auch in ihrem zeitlichen Verlauf auf¬ genommen, einer Datenkompression ("Sprachkodierung") zugeführt und nichtflüchtig gespeichert, um dem Benut¬ zer durch Vorlesen den aktuellen Stand wiedergeben zu können, - die vom Sprecher trainierten Kommandos bzw. Namen wer¬ den während der Trainingsphase derart verarbeitet, daß Umgebungsgeräusche während der Aufnahme weitgehend kom¬ pensiert werden, - der Abschluß eines Erkennungsvorganges bei Bedarf optisch bzw. akustisch quittiert wird ("Pieps"-Ton o.a.) oder al¬ ternativ hierzu (und ggf. nur) bei sicherheits- bzw. zeit- oder kostenrelevanten Entscheidungen das Erken- nungsergebnis akustisch wiederholt wird (Sprachausgabe) und der Benutzer die Möglichkeit hat, durch ein Sprach¬ kommando oder durch Betätigen eines Schalters (z.B. der Abbruchtaste) die Ausführung der entsprechenden Aktion zu unterbinden, - das Sprachdialogsystem mit einem optischen Anzeigemedium (LCD Display, Monitor o.a.) gekoppelt ist, wobei das op¬ tische Anzeigenmedium einzelne oder mehrere oder alle der folgenden Funktionen übernehmen kann:
- Ausgabe der erkannten Befehle zu Kontrollzwecken, - Darstellung der vom Zielgerät als Reaktion auf das Sprachkommando eingestellten Funktionen,
- Darstellung verschiedener Funktionen/Alternativen, die per Sprachkommando anschließend eingestellt bzw. ausge¬ wählt oder modifiziert werden, - jeder Benutzer eigene Namens- oder Abkürzungslisten ein¬ richten kann (vergleichbar einem Telefon- oder Adre߬ buch) , wobei
- dem vom Benutzer beim sprecherabhängigen Erkenner trai¬ nierte Namen eine Ziffernkette, Buchstabenkette oder ein Kommando bzw. eine Kommandosequenz zugeordnet ist, die im sprecherunabhängigen Betriebsmodus eingegeben wurde,
- anstelle der erneuten Eingabe der Ziffernkette, Buch¬ stabenkette oder Kommandosequenz der Benutzer die Li- stenbezeichnung und den von ihm gewählten Namen ein¬ gibt, oder neben dem Namen ein geeignetes Kommando ein¬ gegeben wird, welches auf die richtige Liste schließen läßt, - die Liste sprachgesteuert jederzeit um weitere Einträge erweitert werden kann,
- die Liste sprachgesteuert komplett oder selektiv ge¬ löscht werden kann, - die Liste auf einen Sprachbefehl hin abgehört werden kann, wobei die vom Benutzer eingegebenen Namen und bei Bedarf die zugehörigen Ziffernkette, Buchstabenkette bzw. Kommandos akustisch ausgegeben werden können,
- die akustische Ausgabe der Liste zu jedem beliebigen Zeitpunkt abgebrochen werden kann, eine Folge von Ziffern (Ziffernkolonne) entweder an einem Stück (zusammenhängend) oder blockweise eingesprochen werden kann, wobei das SDS vorzugsweise eines oder mehre¬ re oder alle der folgenden Merkmale aufweist: - nach jeder Eingabepause erfolgt eine Quittierung, indem der letzte Eingabeblock von der Sprachausgabe wieder¬ holt wird,
- nach der Quittierung durch ein Kommando "Fehler", "falsch" o.a. wird der letzte Eingabeblock gelöscht und die verbleibenden, gespeicherten Blöcke akustisch aus¬ gegeben,
- nach der Quittierung durch ein Kommando "Löschen" oder eine ähnliche Kommandoeingabe werden alle eingegebenen Ziffernblöcke gelöscht, - nach der Quittierung durch ein Kommando "wiederholen" o.a. werden die bisher gespeicherten Blöcke akustisch ausgegeben,
- nach der Quittierung durch ein Kommando "Abbruch" oder eine ähnliche Kommandoeingabe wird die Eingabe der Zif- fernkolonne vollständig abgebrochen,
- nach der Quittierung können weitere Ziffern bzw. Zif¬ fernblöcke eingegeben werden, - nach der Quittierung wird die Zifferneingabe durch ein geeignetes Kommando abgeschlossen,
- bei der auf das Kommando "Fehler" o.a. bzw. auf das Kommando "wiederholen" folgenden Ausgabe der bisher eingesprochenen Ziffern wird dieselbe Blockung benutzt wie bei der Eingabe, eine Folge von Buchstaben (Buchstabenkolonne) eingespro¬ chen wird, welche zur Auswahl komplexer Funktionen bzw. zur Eingabe einer Vielzahl von Informationen vorgesehen ist, wobei die Buchstabenkolonne zusammenhängend oder blockweise eingegeben wird und das SDS vorzugsweise eines oder mehrere oder alle der folgenden Merkmale aufweist:
- nach jeder Eingabepause erfolgt eine Quittierung, indem der letzte Eingabeblock von der Sprachausgabe wieder- holt wird,
- nach der Quittierung durch ein Kommando "Fehler", "falsch" o.a. wird der letzte Eingabeblock gelöscht und die verbleibenden, gespeicherten Blöcke akustisch aus¬ gegeben, - nach der Quittierung durch ein Kommando "Löschen" o.a. werden alle eingegebenen Buchstaben gelöscht und im An¬ schluß daran erfolgt eine erneute Eingabe,
- nach der Quittierung durch ein Kommando "wiederholen" o.a. werden die bisher gespeicherten Blöcke akustisch ausgegeben,
- nach der Quittierung werden weitere Buchstaben bzw. Buchstabenblöcke eingegeben,
- gegebenenfalls erfolgt ein Abgleich der Buchstabenko¬ lonne mit einer gespeicherten Wortliste und es wird (werden) daraus das (die) bestpassende(n) Wort (Wörter) extrahiert; alternativ hierzu kann dieser Abgleich be¬ reits nach Eingabe der einzelnen Buchstabenblocks er¬ folgen, - nach der Quittierung durch ein Kommando "Abbruch" oder eine ähnliche Kommandoeingabe wird die Eingabe der Buchstabenkolonne vollständig abgebrochen,
- nach der Quittierung wird die Buchstabeneingabe durch ein geeignetes Kommando abgeschlossen,
- die Ausgabelautstärke der Sprachausgabe und des "Pieps"- Tons den Umgebungsgeräuschen angepaßt sind, wobei die Umgebungsgeräusche während der Sprachpausen bezüglich ihrer Stärke und Charakteristik erfaßt werden, - der Zugang zum Sprachdialogsystem bzw. der Zugriff auf benutzerspezifische Daten/Kommandos nur nach Eingabe spe¬ zieller Schlüssel- oder Paßworte möglich ist bzw. nach Eingabe spezieller Schlüssel- oder Paßworte durch einen autorisierten Sprecher erfolgt, dessen Sprachcharakteri- stika dem Dialogsystem bekannt sind und von diesem ge¬ prüft werden,
- länger andauernde Sprachausgaben (z.B. Info-Menüs) durch gesprochene Abbruchkommandos oder durch die PTT- oder die Abbruchtaste vorzeitig beendet werden können, - das Sprachdialogsystem in einer der folgenden Formen die manuelle Bedienung obiger Funktionen (z.B. per Schalter, Taste, Drehknopf) ergänzt oder ersetzt:
- die Sprachkommandierung ersetzt keinerlei manuelle Be¬ dienung, sondern existiert neben der manuellen Bedie- nung (d.h. die Bedienung kann jederzeit manuell erfol¬ gen bzw. weitergeführt werden) ,
- einige spezielle Leistungsmerkmale sind nur per Sprach¬ eingabe aktivierbar, die wesentlichen Geräte- und Be¬ dienfunktionen bleiben sowohl manuell wie per Sprache kommandierbar,
- die Anzahl der manuellen Bedienelemente wird deutlich reduziert, einzelne Tasten bzw. Drehknöpfe übernehmen Mehrfachfunktionen; per Sprache wird manuellen Bedien- elementen eine spezielle Funktion zugewiesen; nur we¬ sentliche Bedienfunktionen sind noch manuell ansteuer¬ bar; die Basis der Bedienfunktionen ist jedoch die Sprachkommandierung, - mit einem einzigen Mehrwortkommando eine Vielzahl unter¬ schiedliche Geräte sowie Gerätefunktionen ansprech- und modifizierbar sind und somit eine umständliche mehrstu¬ fige Vorgehensweise (z.B. Auswahl des Gerätes im 1. Schritt, danach Auswahl der Funktion im 2. Schritt, da- nach Auswahl der Art der Änderung im 3. Schritt) nicht er¬ forderlich ist,
- das Sprachdialogsystem im Kfz für einzelne oder mehrere der im folgenden genannten Funktionen zur Anwendung kommt: - Bedienung einzelner oder mehrerer Geräte, wie z.B.
Autotelefon, Autoradio (ggf. mit Kassette, CD-Wechsler, Soundsystem) , Navigationssystem, Notruf, Telematikdien- ste, Bordmonitor, Klimaanlage, Heizung, Reiserechner, Beleuchtung, Schiebedach, Fensterheber, Sitzversteller, Sitzheizung, Heckscheibenheizung, Spiegelverstellung und -memory, Sitzverstellung und -memory, Lenkradver- stellung und -memory etc. ,
- Informationsabfrage von Parametern, wie z.B. Öldruck, -temperatur, Kühlwassertemperatur, Verbrauch, Reifen- druck etc. ,
- Information über notwendige Maßnahmen in besonderen Si¬ tuationen, wie z.B. bei zu hoher Kühlwassertemperatur, zu geringem Reifendruck etc.,
- Warnung des Fahrers bei Defekten des Fahrzeugs, wobei
- die sprachgesteuerte Auswahl eines neuen Senders im Autoradio vorzugsweise nach einem der folgenden Abläufe erfolgt: - Kommandierung des Suchlaufs auf- bzw. abwärts,
- Spracheingabe der Senderfrequenz vorzugsweise in der umgangssprachlichen Form (z.B. "Einhundertdreikomma- sieben" bzw. "Hundertdreikommasieben", "Hundertund- dreikommasieben" bzw. einschließlich der Frequenzan¬ gabe (z.B. "Hundertdreikommasieben MegaHertz") ) ,
- Spracheingabe des gebräuchlichen Sendernamens (z.B. "SDR1") ,
- bei der Klimaanlage die gewünschte Temperatur (ggf. nach dem Ort in der Fahrgastzelle des Kfz gestaffelt nach links, rechts, vorne, hinten) per Spracheingabe nicht nur relativ, sondern vorzugsweise absolut (d.h. in Grad, Fahrenheit o.a.) festgelegt werden kann und zusätzlich minimale bzw. maximale bzw. mittlere Tempe- ratur oder die Normaltemperatur kommandiert werden kön¬ nen; ähnlich können die Betriebsbedingungen für das Ge¬ bläse im Fahrgastraum festgelegt werden,
- dem Navigationssystem ein Zielort (Ortsname, Straßenna¬ me) durch Eingabe von Buchstabenkolonnen im "Buchsta- biermode" mitgeteilt wird, wobei auch der Anfang des Namens als Eingabe genügt und das Navigationssystem gegebenfalls mehrere Kandidaten zur Auswahl anbietet, eine oder mehrere der folgenden benutzerspezifischen Namenslisten eingerichtet werden: - Liste zur Speicherung von Telefonnummern unter vorgeb¬ baren Namen/Abkürzungen,
- Liste zur Speicherung von Zielen für das Navigations¬ system unter vorgebbaren Namen/Abkürzungen,
- Liste zur Speicherung von Funktionsnamen für Kommandos oder Kommandofolgen,
- Liste zur Speicherung von Senderfrequenzen des Autora¬ dios unter vorgebbaren Sendernamen bzw. Abkürzungen, - die Ausgabelautstärke der Sprachausgabe und des "Pieps"- Tσns, ggf. auch die Radiolautstärke, unter Berücksichti¬ gung eines oder mehrerer der folgenden Parameter festge¬ legt bzw. adaptiv angepaßt werden: - Fahrzeuggeschwindigkeit,
- Drehzahl,
- öffnungsbreite der Fenster und des Schiebedaches,
- Gebläseeinstellung,
- Fahrzeugtyp, - Wichtigkeit der Sprachausgabe in der jeweiligen Dialog¬ situation.
In einer bevorzugten Ausführungsform des geschilderten Sprachdialogsystems ist u.a. vorgesehen, daß die Ablauf-, Dialog-, Schnittstellensteuerung, die Sprachein-/-ausgabe sowie die Sprachsignalvorverarbeitung, Erkennung, syntak¬ tisch-grammatikalische und semantische Nachverarbeitung mittels Mikro- und Signalprozessoren, Speichern und Schnittstellenbausteinen erfolgt, vorzugsweise aber mit einem einzigen digitalen Signal- oder Mikroprozessor sowie dem erforderlichen externen Daten- und Programmspeicher, den Interfaces sowie den zugehörigen Treiberbausteinen, dem Taktgenerator, der Steuerlogik und den für Sprachein-/-aus- gabe erforderlichen Mikrofonen und Lautsprechern samt zuge- hörigen Wandlern und Verstärkern sowie gegebenenfalls einer Push-to-talk(PTT) -Taste und einer Abbruchtaste.
Ferner ist es möglich, daß über ein oder mehrere Interfaces
- Daten und/oder Parameter ladbar bzw. nachladbar sind, um z.B. Verfahrensänderungen oder ein Sprachdialogsystem für eine andere Sprache zu realisieren,
- die auf einem separaten Rechner festgelegte oder modifi¬ zierte Syntaxstruktur, Dialogstruktur, Ablaufsteuerung, Sprachausgabe etc. auf das Sprachdialogsystem übertragen werden ("off-linie Dialog Editor") ,
- Status- oder Diagnoseinformationen vom SDS angefordert und abgeholt werden können, - das Sprachdialogsystem mit mehreren der anzusteuernden
Geräte über ein Bussystem und/oder ein ringförmiges Netz¬ werk verknüpft ist (anstelle von Punkt zu Punkt-Verbin¬ dungen zu den einzelnen Geräten) und daß über diesen Bus bzw. das Netzwerk Steuerdaten bzw. Audiosignale bzw. Sta- tusmeldungen des Kfz bzw. der zu bedienenden Geräte über¬ tragen werden,
- die einzelnen anzusteuernden Geräte nicht jeweils ein eigenes Sprachdialogsystem enthalten, sondern von einem einzigen (gemeinsamen) Sprachdialogsystem bedient werden, - eine oder mehrere Schnittstellen zu Fahrzeugkomponenten oder Fahrzeugrechnern bestehen, worüber permanente oder aktuelle Fahrzeugdaten dem Sprachdialogsystem mitgeteilt werden, wie z.B. Geschwindigkeit, Motortemperatur usw.
- das Sprachdialogsystem während der Wartezeit (in der kei- ne Sprachein- oder -ausgäbe erfolgt) andere Funktionen z.B. des Radios, des Telefons o.a. übernimmt,
- durch erweiterten Speicher ein multilinguales sprecherun¬ abhängiges Dialogsystem aufgebaut wird, wobei kurzfristig zwischen den Dialogsystemen verschiedener Sprachen umge- schaltet werden kann,
- ein optisches Display mit dem Sprachdialogsystem über ein spezielles Interface bzw. über den Busanschluß gekoppelt ist, wobei dieser Bus vorzugsweise ein optischer Datenbus ist und hierüber sowohl Steuer- wie Audiosignale übertra- gen werden.
Es versteht sich, daß die Erfindung nicht auf die darge¬ stellten Ausfuhrungs- und Anwendungsbeispiele beschränkt ist, sondern vielmehr sinngemäß auf weitere übertragbar ist. So ist es z.B. denkbar, ein solches Sprachdialogsystem zur Bedienung eines elektrischen Wörterbuches oder eines elektronischen Diktier- bzw. Übersetzungssystems zu verwen- den.
Eine besondere Ausgestaltung der Erfindung besteht darin, daß
• für relativ begrenzte Anwendungen mit kleiner Syntax die syntaktische Überprüfung in Form eines syntaktischen Bi¬ gram-Sprachmodells in den Erkennungsprozeß einbezogen wird und somit die syntaktische Nachverarbeitung entfal¬ len kann,
• bei komplexen Aufgabenstellungen die Schnittstelle zwi- sehen Erkenner und Nachverarbeitung nicht mehr einzelne
Sätze, sondern ein sog. "Worthypothesennetz" ist, aus dem in einer Nachverarbeitungsstufe aufgrund syntaktischer Vorgaben mit speziellen Paarungs-Strategien der bestpas¬ sende Satz extrahiert wird.
Ferner ist es möglich, ergänzend oder alternativ zur Sprachausgabe eine auf optischer Basis arbeitende Ausgabe¬ einheit (z.B. Display) vorzusehen, auf der z.B. die einge¬ gebenen Sprachkommandos in der vom SDS erkannten Form zur Anzeige gebracht werden.
Schließlich ist es denkbar, daß das aktivierte SDS auch da¬ durch wieder deaktiviert werden kann, indem über eine län¬ gere, vom System entweder fest vorgegebene oder adaptiv auf den Benutzer/Sprecher eingestellte Zeitdauer vom Benutzer/ Sprecher kein neues Sprachkommando mehr eingegeben wird. Abkürzungen
PTT Push-to-Talk
HMM Hidden Markov Modelle
DTW Dynamic Time Warping (dynamische Zeitnormierung)
CMF Mittelwert befreite Cepstralvektoren
DCT Digitale Cosinus Transformation FFT Fast Fourier Transformation
LDA Lineare Diskriminanzanalyse
PCM Pulse Code Modulation
VQ Vektorquantisierung
SDS Sprachdialogsystem SBS Sprachbediensystem

Claims

Patentansprüche
1. Verfahren zur automatischen Steuerung eines oder mehre¬ rer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb, gekennzeichnet durch folgende Merkmale:
- die eingegebenen Sprachkommandos werden mittels eines sprecherunabhängigen Verbundwort-Spracherkenners und ggf. eines sprecherabhängigen Zusatz-Spracherkenners erkannt und gemäß ihrer Erkennungswahrscheinlichkeit klassifi¬ ziert,
- erkannte zulässige Sprachkommandos werden auf ihre Plau¬ sibilität überprüft und dasjenige zulässige und plausible Sprachkommando mit der größten Erkennungswahrscheinlich- keit als das eingegebene Sprachkommando identifiziert und die diesem Sprachkommando zugeordneten Funktionen des oder der Geräte bzw. Antworten des Sprachdialogsystems initiiert bzw. generiert.
2. Verfahren nach Anspruch 1, gekennzeichnet durch folgen- de Merkmale:
• die Sprachkommandos (der Sprachdialog) werden (wird) auf der Basis von mindestens einer Syntaxstruktur, mindestens einem Basiskommandovokabular und bei Bedarf mindestens einem sprecherspezifischen Zusatzkommandovokabular gebil- det (geführt) ;
• die Syntaxstruktur(en) und das (die) Basiskommandovokabu- lar(ien) werden in sprecherunabhängiger Form vorgegeben und sind während des Echtzeitbetriebs fixiert;
• das (die) sprecherspezifische(n) Zusatzkommandovokabular (ien) wird (werden) vom (jeweiligen) Sprecher eingegeben und/oder geändert, indem in Trainingsphasen in- und/oder außerhalb des Echtzeitbetriebs ein nach einem sprecher- abhängigen Erkennungsverfahren arbeitender Zusatz-Spra¬ cherkenner vom (jeweiligen) Sprecher durch ein- oder mehrmalige Eingabe der Zusatzkommandos auf die sprachspe- zifischen Merkmale des (jeweiligen) Sprechers trainiert wird;
• im Echtzeitbetrieb erfolgt die Abwicklung des Sprachdia- logs und/oder die Steuerung des Geräts (der Geräte) wie folgt: vom (jeweiligen) Sprecher eingegebene Sprachkommandos werden einem sprecherunabhängigen und auf der Basis von Phonemen und/oder Ganzwortmodellen arbeitenden Verbundwortspracherkenner und dem sprecherabhängigen Zusatz-Spracherkenner zugeleitet und dort (jeweils) einer Merkmalsextraktion unterzogen und im Verbundwortspracherkenner anhand der dort ex¬ trahierten Merkmale auf das Vorliegen von Basiskom¬ mandos aus dem (jeweiligen) Basiskommandovokabular gemäß der (jeweils) vorgegebenen Syntaxstruktur un¬ tersucht und klassifiziert und im sprecherabhängigen Zusatz-Spracherkenner anhand der dort extrahierten Merkmale auf das Vorliegen von Zusatzkommandos aus dem (jeweiligen) Zusatzkom- mandovokabular untersucht und klassifiziert; anschließend werden die als mit einer bestimmten Wahr¬ scheinlichkeit erkannt klassifizierten Kommandos und Syntaxstrukturen der beiden Spracherkenner zu hypothe- tischen Sprachkommandos zusammengefügt und diese gemäß der vorgegebenen Syntaxstruktur auf ihre Zulässigkeit und Erkennungswahrscheinlichkeit untersucht und klas¬ sifiziert; - anschließend werden die zulässigen hypothetischen Sprachkommandos nach vorgegebenen Kriterien auf ihre
Plausibilität untersucht und von den als plausibel er¬ kannten hypothetischen Sprachkommandos dasjenige mit der höchsten Erkennungswahrscheinlichkeit ausgewählt und als das vom (jeweiligen) Sprecher eingegebene Sprachkommando identifiziert; anschließend wird (werden) die dem identifizierten Sprachkommando zugeordnete (n)
Funktion(en) des (jeweils) zu steuernden Geräts initiiert und/oder - Antwort(en) gemäß einer vorgegebenen Sprachdialog- struktur zur Fortführung des Sprachdialogs gene¬ riert.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, daß die Eingabe von Sprachkommandos aku¬ stisch, vorzugsweise im Freisprechbetrieb, erfolgt.
4. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß akustisch eingegebene Sprachkom- mandos geräuschreduziert den beiden Spracherkennern zuge- leitet werden, indem durch stationäre bzw. quasistationäre Umgebungsgeräusche verursachte Geräuschsignale im Sprachsi¬ gnal-Empfangskanal vor den beiden Spracherkennern vorzugs¬ weise mittels adaptiver digitaler Filterverfahren kompen- siert werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß akustisch eingegebene Sprachkom¬ mandos echokompensiert den beiden Spracherkennern zugelei- tet werden, indem in den Sprachsignal-Empfangskanal rückge¬ koppelte Signale einer Sprach- oder Musikausgabeeinheit im Sprachsignal-Empfangskanal vor den beiden Spracherkennern, insbesondere vor der Geräuschreduktionseinheit und vorzugs¬ weise mittels adaptiver digitaler Filterverfahren, kompen- siert werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß die eingegebenen Sprachkommandos nach Digitalisierung blockweise zusammengefaßt und nach einer Gewichtung mittels einer Spektraltransformation, vor¬ zugsweise einer Fast-Fourier-Transformation (FFT) , in den Frequenzbereich umgesetzt werden und anschließend durch Be- tragsbildung und nachfolgender gehörbezogener MEL-Filterung zu Kanalvektoren zusammengefaßt werden und daß daran an- schließend eine Segmentierung durchgeführt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß die Segmentierung in eine Grob- und eine Feinsegmentierung unterteilt ist.
8. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, daß im sprecherunabhängigen Verbundwort¬ spracherkenner die Merkmalsextraktion dergestalt durchge¬ führt wird, • daß die Kanalvektoren mit einer diskreten Cosinustrans¬ formation (DCT) in Cepstralvektoren transformiert werden,
• daß zusätzlich die Energie des zugehörigen Signals be¬ rechnet und normiert wird, • daß zur Adaption des Erkenners auf den jeweiligen Spre¬ cher und/oder die jeweiligen Übertragungscharakteristiken des Sprachsignal-Empfangskanals fortlaufend der Mittel¬ wert der Cepstralvektoren berechnet und von den Cepstral¬ vektoren abgezogen wird, • daß die vom Mittelwert der Cepstralvektoren befreite Cep¬ stralvektoren und die berechnete normierte Signalenergie zu mittelwertfreien Cepstralkoeffizienten (CMF-Vektoren) zusammengefaßt werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß der sprecherunabhängige Verbund- worterkenner bei der Klassifizierung mit phonem- und/oder ganzwortbasierten Hidden-Markov-Modellen (HMM) arbeitet.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß die Klassifikation mit Hilfe eines Viterbialgorithmus durchgeführt wird und daß der Viterbialgorithmus vorzugs¬ weise durch eine vorgegebene Wortfolgestatistik ergänzt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß bei der Klassifikation zusätzlich auch Füllwörter oder -laute oder sonstige im vorgegebenen Basisvokabular nicht enthaltene Fehlkommandos als solche erkannt und entsprechend klassifiziert und ausgesondert werden.
12. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß der sprecherunabhängige Verbund- wort-Spracherkenner und der sprecherabhängige Zusatz- Spracherkenner auf derselben Signalvorverarbeitung für die eingegebenen Sprachkommandos aufsetzen, vorzugsweise ein¬ schließlich der Verfahren zur Geräuschreduktion, Echokom- pensation und Segmentierung.
13. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß der Zusatzspracherkenner als Ein- zelwortspracherkenner vorzugsweise nach dem Verfahren der dynamischen Zeitnormierung arbeitet.
14. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß der sprecherunabhängige Verbund¬ wort-Spracherkenner und der sprecherabhängige Spracherken- ner kombiniert im Verbundwortmodus arbeiten.
15. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß während des Echtzeitbetriebs eine fortlaufende Anpassung des Sprachsignal-Empfangskanals an die analoge Übertragungscharakteristik, insbesondere Raum¬ akustik- und/oder Mikrofon- und/oder Verstärker- und/oder Sprechercharakteristik, erfolgt.
16. Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, daß die vorgegebenen Basiskommandos in sprachcodierter Form vorgegeben und abgespeichert werden und/oder die vom (jeweiligen) Sprecher in Trainingsphasen eingegebenen Zusatzkommandos und/oder im Echtzeitbetrieb eingegebenen Sprachkommandos nach ihrer Eingabe sprachco- diert weiterverarbeitet und/oder nichtflüchtig abgespei¬ chert werden und daß akustisch auszugebende codierte Sprachkommandos vor ihrer Ausgabe sprachdecodiert werden.
17. Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, daß die vorgegebenen Basiskommandos und/ oder die Zusatzkommandos und/oder die im Echtzeitbetrieb eingegebenen Sprachkommandos in Form von Text abgespeichert werden und daß akustisch auszugebende Sprachkommandos vor ihrer Ausgabe einer Text-zu-Sprache-Synthese unterzogen werden.
18. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß die Syntaxstruktur und die spre¬ cherunabhängigen Kommandos vorab im "off-line Dialog Edi- tiermodus" im Labor erstellt und fixiert werden und dem
Verbundwort-Spracherkenner in Form von Datenfiles übergeben werden.
19. Verfahren nach einem der vorhergehenden Ansprüche, da- durch gekennzeichnet, daß
• die Wortstellung in den Sprachkommandos durch Vertauschen einzelner Worte eines Kommandos veränderbar ist und/oder
• vorgegebene synonyme Worte bei der Bildung von Sprachkom¬ mandos nutzbar sind und/oder • die gleiche Funktion durch Sprachkommandos unterschiedli¬ cher Wortanzahl realisiert werden kann.
20. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß zur Erkennung und anschließender Aussonderung von Einfügungen oder anderer nicht zum Vokabu¬ lar gehöriger Kommandos dem zulässigen Vokabular weitere Wörter bzw. Lauteinheiten hinzugefügt werden bzw. Wordspot- tingansätze genutzt werden.
21. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß die Dialogstruktur folgende Eigenschaften aufweist:
• flache Hierarchie mit nur einigen wenigen Hierarchieebe¬ nen, vorzugsweise einer oder zweier Hierarchieebenen, • Einbindung von Ellipsen bei der Abwicklung des Sprachdia¬ logs,
• Einbeziehung von Hilfe- oder Info-Menüs,
• Einbeziehung von Rückfragen des Sprachdialogsystems bei unsicheren Entscheidungen des Erkenners,
• Einbeziehung von Sprachausgaben, um durch Anregung be¬ stimmter Sprechweisen die Erkennsicherheit zu steigern.
22. Verfahren nach einem der vorhergehenden Ansprüche, da- durch gekennzeichnet, daß die Spracherkennung bzw. der
Sprachdialog zur Steuerung einer oder mehrerer Gerätefunk¬ tionen durch vorzugsweise einmalige Betätigung einer Push- to-talk-Taste (PTT) aktiviert wird und diese Aktivierung vorzugsweise akustisch und/oder optisch quittiert wird.
23. Verfahren nach einem der Ansprüche 1 bis 22, dadurch gekennzeichnet, daß die Aktivierung automatisch abgebrochen wird, wenn nach einer vorgebbaren oder adaptiv auf den je¬ weiligen Benutzer eingestellten Zeit und/oder nach einer Rückfrage des Sprachdialogsystems keine Spracheingabe er¬ folgt ist oder wenn der vom Benutzer ausgewählte Dialog planmäßig abgeschlossen worden ist.
24. Verfahren nach einem der vorhergehenden Ansprüche, da- durch gekennzeichnet, daß der Sprachdialog bzw. die Eingabe von Sprachkommandos durch Eingabe eines vorgegebenen spe¬ ziellen Abbruch-Sprachkommandos an definierten Stellen des Sprachdialogs oder jederzeit durch das Betätigen einer Ta¬ ste, vorzugsweise der Push-to-talk-Taste oder einer Ab- bruchtaste, abgebrochen werden kann.
25. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß das Sprachdialogsystem eines oder mehrere der folgenden Leistungsmerkmale aufweist: • die spezifischen (z.B. trainierten) Sprachkommandos un¬ terschiedlicher Sprecher werden bei Bedarf für spätere Wiederbenutzung festgehalten,
• vom Sprecher trainierte Sprachkommandos bzw. Namen werden während der Trainingsphase nicht nur der Erkennung zuge¬ führt, sondern auch in ihrem zeitlichen Verlauf aufgenom¬ men, einer Datenkompression ("Sprachkodierung") zugeführt und nichtflüchtig gespeichert,
• die vom Sprecher trainierten Sprachkommandos werden wäh- rend der Trainingsphase derart verarbeitet, daß Umge- bungsgeräusche während der Aufnahme weitestgehend kompen¬ siert werden.
26. Verfahren nach einem der vorhergehenden Ansprüche, da- durch gekennzeichnet, daß der Abschluß eines Erkennvorgan¬ ges akustisch durch einen Kontrollton quittiert wird.
27. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß vorzugsweise bei sicherheits- bzw. zeit- oder kostenrelevanten Entscheidungen das Erken- nungsergebnis akustisch wiederholt wird (Sprachausgabe) und der Sprecher die Möglichkeit hat, durch ein Sprachkommando oder durch Betätigen eines Schalters, vorzugsweise der Push-to-talk- oder der Abbruchtaste die Ausführung der dem Sprachkommando zugeordneten Funktion zu unterbinden oder rückgängig zu machen.
28. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß das Sprachdialogsystem an ein op- tisches Anzeigemedium, vorzugsweise ein LCD-Display oder einen Monitor oder ein Display eines angesteuerten Geräts, gekoppelt ist.
29. Verfahren nach Anspruch 28, dadurch gekennzeichnet, daß das optische Anzeigenmedium einzelne oder mehrere der folgenden Funktionen übernimmt:
• Ausgabe der erkannten Sprachkommandos zu Kontrollzwecken, • Darstellung der vom Zielgerät als Reaktion auf das Sprachkommando eingestellten Funktionen,
• Darstellung verschiedener Funktionen/Alternativen, die per Sprachkommando anschließend eingestellt bzw. ausge¬ wählt oder modifiziert werden.
30. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß jeder Sprecher eigene Namens¬ oder Abkürzungslisten einrichten kann mit einem oder mehre¬ ren oder allen der folgenden Merkmale: • der vom Sprecher beim sprecherabhangigen Erkenner trai¬ nierte Namen repräsentiert eine Ziffernkette, Buchstaben¬ kette und/oder ein Kommando bzw. eine Kommandosequenz, die im sprecherunabhängigen Betriebsmodus eingegeben wur¬ de, • anstelle der erneuten Eingabe der Ziffernkette, Buchsta- benkette oder Kommandosequenz kann der Benutzer die Li¬ stenbezeichnung und den von ihm gewählten Namen eingeben, oder neben dem Namen ein geeignetes Kommando eingeben, welches auf die richtige Liste schließen läßt, • die Liste kann sprachgesteuert jederzeit um weitere Ein¬ träge erweitert werden,
• die Liste kann sprachgesteuert komplett oder selektiv gelöscht werden,
• die Liste kann auf einen Sprachbefehl hin abgehört wer- den, wobei die vom Benutzer eingegebenen Namen und bei
Bedarf die zugehörigen Ziffernkette, Buchstabenkette bzw. Kommandos akustisch ausgegeben werden,
• die akustische Ausgabe der Liste kann zu jedem beliebigen Zeitpunkt abgebrochen werden.
31. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß eine Folge von Ziffern (Ziffern¬ kolonne) an einem Stück zusammenhängend oder blockweise eingesprochen werden kann, wobei die Spracheingabe bzw. der Sprachdialog vorzugsweise eines oder mehrere oder alle der folgenden Merkmale aufweist:
• nach jeder Eingabepause erfolgt eine Quittierung, indem der letzte Eingabeblock von der Sprachausgabe wiederholt wird, • nach der Quittierung durch ein Sprachkommando "Fehler" o.a. wird der letzte Eingabeblock gelöscht und die ver¬ bleibenden, gespeicherten Blöcke akustisch ausgegeben,
• nach der Quittierung durch ein Sprachkommando "Löschen" o.a. werden alle eingegebenen Ziffernblöcke gelöscht, • nach der Quittierung durch ein Sprachkommando "wiederho¬ len" o.a. werden die bisher gespeicherten Blöcke aku¬ stisch ausgegeben,
• nach der Quittierung durch ein Sprachkommando "Abbruch" o.a. wird die Eingabe der Ziffernkolonne vollständig ab- gebrochen,
• nach der Quittierung können weitere Ziffern bzw. Ziffern¬ blöcke eingegeben werden,
• nach der Quittierung wird die Zifferneingabe durch ein geeignetes Sprachkommando "stop", "speichern" o.a. abge- schlössen,
• durch Eingabe eines eine Aktion/Funktion startenden Sprachkommandos wie "wählen" o.a. wird die Eingabe abge¬ schlossen und die dem Sprachkommando zugeordnete Aktion/ Funktion initiiert.
32. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß eine Folge von Buchstaben (Buch¬ stabenkolonne) eingesprochen wird, welche zur Auswahl kom¬ plexer Funktionen bzw. zur Eingabe einer Vielzahl von In- formationen vorgesehen ist, wobei die Buchstabenkolonne zusammenhängend oder blockweise eingegeben wird und die Spracheingabe bzw. der Sprachdialog vorzugsweise eines oder mehrere oder alle der folgenen Merkmale aufweist: • nach jeder Eingabepause erfolgt eine Quittierung, indem der letzte Eingabeblock von der Sprachausgabe wiederholt wird,
• nach der Quittierung durch ein Sprachkommando "Fehler" o.a. wird der letzte Eingabeblock gelöscht und die ver- bleibenden, gespeicherten Blöcke akustisch ausgegeben,
• nach der Quittierung durch ein Sprachkommando "Löschen" o.a. werden alle eingegebenen Buchstaben gelöscht und im Anschluß daran kann eine erneute Eingabe erfolgen,
• nach der Quittierung durch ein Sprachkommando "wiederho- len" o.a. werden die bisher gespeicherten Blöcke aku¬ stisch ausgegeben,
• nach der Quittierung können weitere Buchstaben bzw. Buch- stabenblöcke eingegeben werden,
• gegebenenfalls erfolgt ein Abgleich der Buchstabenkolonne oder der einzelnen Buchstabenblocks mit einer gespeicher¬ ten Wortliste und es wird (werden) daraus das (die) best¬ passende(n) Wort (Wörter) extrahiert,
• nach der Quittierung durch ein Sprachkommando "Abbruch" o.a. wird die Eingabe der Buchstabenkolonne vollständig abgebrochen,
• nach der Quittierung wird die Buchstabeneingabe durch ein Sprachkommando "stop", "speichern" o.a. abgeschlossen,
• durch Eingabe eines eine Aktion/Funktion startenden Sprachkommandos wie "wählen" o.a. wird die Eingabe abge- schlössen und die dem Sprachkommando zugeordnete Aktion/ Funktion initiiert.
33. Verfahren nach einem der Ansprüche 31 oder 32, dadurch gekennzeichnet, daß bei der auf das Sprachkommando "Fehler" o.a. bzw. auf das Sprachkommando "wiederholen" o.a. folgen¬ den Ausgabe der bisher eingesprochenen Ziffern dieselbe Blockung benutzt wird wie bei der Eingabe.
34. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß die Ausgabelautstärke der Sprach¬ ausgabe und des Kontrolltons den Umgebungsgeräuschen ange¬ paßt sind, wobei die Umgebungsgeräusche während der Sprach¬ pausen bezüglich ihrer Stärke und Charakteristik erfaßt werden.
35. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß der Zugang zum Sprachdialogsystem bzw. der Zugriff auf benutzerspezifische Daten/Kommandos nur durch Eingabe spezieller Kommandoworte bzw. durch Ein¬ gabe spezieller Kommandoworte eines autorisierten Sprechers erfolgt, dessen Sprachcharakteristika dem Sprachdialogsy¬ stem bekannt sind und von diesem geprüft werden.
36. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß länger andauernde Sprachausgaben (z.B. Info-Menüs) durch gesprochene oder manuelle Abbruch- kommandos vorzeitig beendet werden können.
37. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß das Sprachdialogsystem in einer der folgenden Formen die manuelle Bedienung obiger Funktio¬ nen (z.B. per Schalter, Taste, Drehknopf) ergänzt oder er¬ setzt: • Die Sprachkommandierung existiert neben der manuellen Be¬ dienung, so daß die Bedienung jederzeit manuell erfolgen bzw. weitergeführt werden kann;
• einige spezielle Leistungsmerkmale sind nur per Sprach¬ eingabe aktivierbar, die anderen Geräte- und Bedienfunk- tionen bleiben sowohl manuell wie per Sprache kommandier¬ bar;
• die Anzahl der manuellen Bedienelemente wird deutlich re¬ duziert, einzelne Tasten bzw. Drehknöpfe übernehmen Mehr- fachfunktion; per Sprache wird manuellen Bedienelementen eine spezielle Funktion zugewiesen; nur wesentliche Be¬ dienfunktionen sind noch manuell ansteuerbar; die Basis der Bedienfunktionen ist die Sprachkommandierung.
38. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß mit einem einzigen Einzelwort¬ oder Mehrwortkommando eine Vielzahl unterschiedliche Geräte sowie Gerätefunktionen ansprech- und modifizierbar sind und somit eine mehrstufige Vorgehensweise nicht oder nur in einem geringen Umfang erforderlich ist.
39. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, daß das Sprachdialogsystem in Fahr¬ zeugen für einzelne oder mehrere der im folgenden genannten Funktionen zur Anwendung kommt:
• Bedienung einzelner oder mehrerer Geräte, wie z.B. Auto¬ telefon, Autoradio (ggf. mit Kassette, CD-Wechsler, Soundsystem) , Navigationssystem, Notruf, Bordmonitor, Klimaanlage, Heizung, Reiserechner, Beleuchtung, Schiebe- dach, Fensterheber, Sitzversteller;
• Informationsabfrage von Parametern, wie z.B. Öldruck, -temperatur, Kühlwassertemperatur, Verbrauch, Reifen¬ druck;
• Information über notwendige Maßnahmen z.B. bei zu hoher Kühlwassertemperatur, zu geringem Reifendruck;
• Warnung des Fahrers bei Defekten des Fahrzeugs.
40. Verfahren nach Anspruch 39, dadurch gekennzeichnet, daß die sprachgesteuerte Auswahl eines neuen Senders im Autoradio nach einem der folgenden Abläufe erfolgt:
• Kommandierung des Suchlaufs auf- bzw. abwärts, • Spracheingabe der Senderfrequenz vorzugsweise in der um¬ gangssprachlichen Form, vorzugsweise einschließlich der Frequenzangabe,
• Spracheingabe des gebräuchlichen Sendernamens.
41. Verfahren nach Anspruch 39, dadurch gekennzeichnet, daß bei der Klimaanlage die gewünschte Temperatur per Spracheingabe relativ und/oder vorzugsweise absolut fest¬ gelegt werden kann und vorzugsweise zusätzlich eine minima¬ le bzw. maximale bzw. mittlere Temperatur bzw. Normaltem- peratur kommandiert werden kann.
42. Verfahren nach Anspruch 39, dadurch gekennzeichnet, daß dem Navigationssystem ein Zielort (Ortsname, Straßenna¬ me) durch Eingabe von Buchstabenkolonnen im "Buchstabier- mode" mitgeteilt wird, wobei vorzugsweise auch der Anfang des Namens als Eingabe genügt und das Navigationssystem ge¬ gebenfalls mehrere Kandidaten zur Auswahl anbietet.
43. Verfahren nach einem der Ansprüche 39 bis 42, dadurch gekennzeichnet, daß eine oder mehrere der folgenden benut- zerspezifischen Namenslisten eingerichtet werden:
• Liste zur Speicherung von Telefonnummern unter vorgebba¬ ren Namen/Abkürzungen,
• Liste zur Speicherung von Zielen für das Navigationssy- stem unter vorgebbaren Namen/Abkürzungen,
• Liste zur Speicherung von Funktionsnamen für Kommandos oder Kommandofolgen,
• Liste zur Speicherung von Senderfrequenzen des Autoradios unter vorgebbaren Sendernamen bzw. Abkürzungen.
44. Verfahren nach einem der Ansprüche 39 bis 43, dadurch gekennzeichnet, daß die Ausgabelautstärke der Sprachausgabe und des Kontrolltons oder der Kontrolltöne, ggf. auch die Radiolautstarke, unter Berücksichtigung eines oder mehrerer der folgenden Parameter festgelegt oder adaptiv angepaßt werden:
• Fahrzeuggeschwindigkeit
• Gebläseeinstellung
• Drehzahl • Öffnungsbreite der Fenster und des Schiebedaches
• Fahrzeugtyp,
• Wichtigkeit der Sprachausgabe in der jeweiligen Dialogsi¬ tuation.
45. Verfahren nach einem der Ansprüche 22 bis 44, dadurch gekennzeichnet, daß die Push-to-talk-Taste
• entweder Mehrfachfunktionen wahrnimmt oder beinhaltet, z.B. während des Telefonierens ( "Auflegen des Hörers", "Abheben des Hörers") bzw. beim Neustart des Sprachdia- logsystems bzw. beim Abbruch eines Telefonwahlvorganges,
• oder ergänzt wird durch einen zusätzlichen Schalter oder eine zusätzliche Schaltposition, welche z.B. einen Neu¬ start oder den Abbruch einer Funktion erlauben.
46. Vorrichtung zum Ausführen des Verfahrens nach einem der vorhergehenden Ansprüche, bei welcher eine Sprachein- gabe-/-ausgabeeinheit über eine Sprachsignalvorverarbei- tungseinheit mit einer Spracherkennungseinheit verbunden ist, die wiederum mit einer Ablauf-, Dialog- und Schnitt- Stellensteuerung verbunden ist, dadurch gekennzeichnet, daß die Spracherkennungseinheit aus einem sprecherunabhängigen Verbundworterkenner und einem sprecherabhängigen Zusatz- Spracherkenner besteht, die beide ausgangsseitig mit einer Einheit zur syntaktisch-grammatikalischen bzw. semantischen Nachverarbeitung verbunden sind, die mit der Ablauf-, Dia¬ log- und Schnittstellensteuerung verbunden ist.
47. Vorrichtung nach Anspruch 46, dadurch gekennzeichnet, daß die Sprachsignalvorverarbeitungseinheit eine Vorrich¬ tung zur Geräuschreduktion und/oder eine Vorrichtung zur Echokompensation und/oder eine Vorrichtung zur Segmentie¬ rung enthält.
48. Vorrichtung nach einem der Ansprüche 46 oder 47, da¬ durch gekennzeichnet, daß die Spracheingabe-/-ausgabeein- heit einen Sprachencoder, einen Sprachdecoder sowie einen Sprachspeicher enthält.
49. Vorrichtung nach einem der Ansprüche 46 bis 48, da¬ durch gekennzeichnet, daß die Ablauf-, Dialog- und Schnitt¬ stellensteuerung, die Sprachein-/-ausgabe sowie die Sprach¬ signalvorverarbeitung, Spracherkennung, syntaktisch-gramma¬ tikalische und semantische Nachverarbeitung mittels Mikro- und Signalprozessoren, Speichern und Schnittstellenbaustei¬ ne erfolgt, vorzugsweise aber mit einem einzigen digitalen Signal- oder Mikroprozessor sowie dem erforderlichen exter¬ nen Daten- und Programmspeicher, den Interfaces sowie den zugehörigen Treiberbausteinen, einem Taktgenerator, einer Steuerlogik und den für Sprachein-/-ausgabe erforderlichen Mikrofonen und Lautsprechern samt zugehörigen Wandlern und Verstärkern sowie gegebenenfalls einer Push-to-talk(PTT) - Taste und einer Abbruchtaste.
50. Vorrichtung nach Anspruch 49, dadurch gekennzeichnet, daß über ein oder mehrere Interfaces
• Daten und/oder Parameter ladbar bzw. nachladbar sind, um z.B. Verfahrensänderungen oder ein Sprachdialogsystem für eine andere Sprache zu realisieren, • die auf einem separaten Rechner festgelegte oder modifi¬ zierte Syntaxstruktur, Dialogstruktur, Ablaufsteuerung, Sprachausgabe etc. auf das Sprachdialogsystem übertragen werden ("off-linie Dialog-Editor") , • Status- oder Diagnoseinformationen vom Sprachdialogsystem angefordert und abgeholt werden können.
51. Vorrichtung nach Anspruch 49, dadurch gekennzeichnet, daß diese mit mehreren der anzusteuernden Geräte über ein Bussystem oder ein ringförmiges Netzwerk verknüpft ist und daß über diesen Bus bzw. das Netzwerk Steuerdaten und/oder Audiosignale und/oder Statusmeldungen des Sprachdialogsy¬ stems und/oder der zu bedienenden Geräte übertragen werden.
52. Vorrichtung nach einem der Ansprüche 46 bis 51 für die Anwendung in Fahrzeugen, dadurch gekennzeichnet, daß die einzelnen anzusteuernden Geräte nicht jeweils ein eigenes Sprachdialogsystem enthalten, sondern von einem einzigen gemeinsamen Sprachdialogsystem bedient werden.
53. Vorrichtung nach einem der Ansprüche 46 bis 52, da¬ durch gekennzeichnet, daß eine oder mehrere Schnittstellen zu Fahrzeugkomponenten oder Fahrzeugrechnern bestehen, wo¬ rüber permanente oder aktuelle Fahrzeugdaten dem Sprachdia- logsystem mitgeteilt werden, wie z. B. Geschwindigkeit.
54. Vorrichtung nach einem der Ansprüche 46 bis 53, da¬ durch gekennzeichnet, daß diese Vorrichtung während der Wartezeiten, in denen keine Sprachein- oder -ausgäbe er- folgt, andere Funktionen z.B. des Radios, des Telefons o.a. übernimmt.
55. Vorrichtung nach einem der Ansprüche 46 bis 54, da¬ durch gekennzeichnet, daß mittels eines erweiterten Spei- chers ein multilinguales sprecherunabhängiges Dialogsystem realisiert ist, wobei zwischen den Dialogsystemen ver¬ schiedener Sprachen umgeschaltet werden kann.
56. Vorrichtung nach einem der Ansprüche 46 bis 55, da- durch gekennzeichnet, daß ein optisches Display mit dem
Sprachdialogsystem über ein spezielles Interface bzw. über den Busanschluß gekoppelt ist.
57. Vorrichtung nach einem der Ansprüche 46 bis 56, da- durch gekennzeichnet, daß das vollständige Sprachdialogsy¬ stem über eine PCMCIA-Schnittstelle mit dem per Sprache zu steuernden bzw. zu bedienenden Gerät bzw. einem Host- oder Applikationsrechner gekoppelt ist.
58. Vorrichtung nach Anspruch 51 oder 57, dadurch gekenn¬ zeichnet, daß dieser Bus oder dieses Netzwerk ein optischer Datenbus ist und hierüber sowohl Steuer- wie Audiosignale bzw. Statusmeldungen des Sprachdialogsystems und der zu be¬ dienenden Geräte übertragen werden.
PCT/EP1996/003939 1995-09-11 1996-09-09 Verfahren zur automatischen steuerung eines oder mehrerer geräte durch sprachkommandos oder per sprachdialog im echtzeitbetrieb und vorrichtung zum ausführen des verfahrens WO1997010583A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
AT96932482T ATE211572T1 (de) 1995-09-11 1996-09-09 Verfahren zur automatischen steuerung eines oder mehrerer geräte durch sprachkommandos oder per sprachdialog im echtzeitbetrieb und vorrichtung zum ausführen des verfahrens
EP96932482A EP0852051B1 (de) 1995-09-11 1996-09-09 Verfahren zur automatischen steuerung eines oder mehrerer geräte durch sprachkommandos oder per sprachdialog im echtzeitbetrieb und vorrichtung zum ausführen des verfahrens
US09/043,134 US6839670B1 (en) 1995-09-11 1996-09-09 Process for automatic control of one or more devices by voice commands or by real-time voice dialog and apparatus for carrying out this process
DE59608614T DE59608614D1 (de) 1995-09-11 1996-09-09 Verfahren zur automatischen steuerung eines oder mehrerer geräte durch sprachkommandos oder per sprachdialog im echtzeitbetrieb und vorrichtung zum ausführen des verfahrens
JP51163997A JP3479691B2 (ja) 1995-09-11 1996-09-09 実時間作動での音声対話又は音声命令による１つ又は複数の機器の自動制御方法及びこの方法を実施する装置
CA002231504A CA2231504C (en) 1995-09-11 1996-09-09 Process for automatic control of one or more devices by voice commands or by real-time voice dialog and apparatus for carrying out this process

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19533541.4 1995-09-11
DE19533541A DE19533541C1 (de) 1995-09-11 1995-09-11 Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens

Publications (1)

Publication Number Publication Date
WO1997010583A1 true WO1997010583A1 (de) 1997-03-20

Family

ID=7771821

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP1996/003939 WO1997010583A1 (de) 1995-09-11 1996-09-09 Verfahren zur automatischen steuerung eines oder mehrerer geräte durch sprachkommandos oder per sprachdialog im echtzeitbetrieb und vorrichtung zum ausführen des verfahrens

Country Status (8)

Country Link
US (1) US6839670B1 (de)
EP (1) EP0852051B1 (de)
JP (1) JP3479691B2 (de)
AT (1) ATE211572T1 (de)
CA (1) CA2231504C (de)
DE (2) DE19533541C1 (de)
ES (1) ES2170870T3 (de)
WO (1) WO1997010583A1 (de)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138994A (ja) * 1997-07-17 1999-02-12 Denso Corp 音声認識装置及びナビゲーションシステム
US5938859A (en) * 1995-12-29 1999-08-17 Lawrence Industries, Inc. Molecular level cleaning of contaminants from parts utilizing an environmentally safe solvent
JP2002528751A (ja) * 1998-10-16 2002-09-03 フオルクスヴアーゲン アクチエンゲゼルシヤフト 情報および／またはメッセージを音声によって出力する方法および装置
JP2002372986A (ja) * 2002-05-09 2002-12-26 Denso Corp 音声認識装置及びナビゲーションシステム
EP1433662A2 (de) 2002-12-24 2004-06-30 Robert Bosch Gmbh Informationssystem für Fahrzeuge und Verfahren zur Sprachsteuerung
WO2005104581A1 (en) * 2004-04-21 2005-11-03 Nokia Corporation Push-to-talk mobile communication terminals
JP2013164601A (ja) * 1998-03-23 2013-08-22 Microsoft Corp オペレーティング・システムのアプリケーション・プログラム・インターフェース
US9418679B2 (en) 2014-08-12 2016-08-16 Honeywell International Inc. Methods and apparatus for interpreting received speech data using speech recognition
EP3871944A1 (de) * 2020-02-27 2021-09-01 Siemens Mobility GmbH Verfahren zur dokumentation einer sprachbasierten kommunikation

Families Citing this family (314)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19635754A1 (de) * 1996-09-03 1998-03-05 Siemens Ag Sprachverarbeitungssystem und Verfahren zur Sprachverarbeitung
DE19709518C5 (de) * 1997-03-10 2006-05-04 Harman Becker Automotive Systems Gmbh Verfahren und Vorrichtung zur Spracheingabe einer Zieladresse in ein Zielführungssystem im Echtzeitbetrieb
DE19715101C2 (de) * 1997-04-11 2003-04-10 Saechsisches Inst Fuer Die Dru Verfahren zur Steuerung einer graphischen Maschine
DE19715325A1 (de) * 1997-04-12 1998-10-15 Bayerische Motoren Werke Ag Anzeige- und Bedienvorrichtung für Menüs und/oder Funktionen eines Fahrzeugs
DE19730816A1 (de) * 1997-07-18 1999-01-21 Ise Interactive Systems Entwic Freisprecheinrichtung
DE19730920A1 (de) * 1997-07-18 1999-01-21 Ise Interactive Systems Entwic Computeranlage
DE19730935C2 (de) * 1997-07-18 2002-12-19 Siemens Ag Verfahren zum Generieren einer Sprachausgabe und Navigationssystem
DE19738339C2 (de) 1997-09-02 2000-08-31 Siemens Ag Verfahren zum benutzergesteuerten Abbauen von drahtlosen Telekommunikationsverbindungen in drahtlosen Telekommunikationssystemen, insbesondere DECT-Systemen
DE19818262A1 (de) * 1998-04-23 1999-10-28 Volkswagen Ag Verfahren und Einrichtung zum Betrieb bzw. zum Bedienen verschiedener Geräte in einem Fahrzeug
EP0971330A1 (de) * 1998-07-07 2000-01-12 Otis Elevator Company Verbale Fernsteuerungseinrichtung
EP1116221B1 (de) * 1998-09-30 2003-07-23 Lernout & Hauspie Speech Products N.V. Graphische Benutzerschnittstelle zur Navigation in Grammatiken eines Spracherkennungssystems
US6411926B1 (en) * 1999-02-08 2002-06-25 Qualcomm Incorporated Distributed voice recognition system
JP2000259198A (ja) * 1999-03-04 2000-09-22 Sony Corp パターン認識装置および方法、並びに提供媒体
DE19913677A1 (de) * 1999-03-25 2000-10-05 Groza Igor Sprachsystem im Auto und LKW mit erweiterter Steuerungsmöglichkeit
DE19925064B4 (de) * 1999-04-21 2004-12-16 Thomas Böhner Vorrichtung und Verfahren zur Steuerung von Beleuchtungsanlagen, Maschinen u. dgl.
DE19939065A1 (de) * 1999-08-18 2001-02-22 Volkswagen Ag Multifunktions-Bedieneinrichtung
DE19955890B4 (de) * 1999-11-20 2006-10-05 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ausgabe von Bedienhinweisen
DE19956747C1 (de) * 1999-11-25 2001-01-11 Siemens Ag Verfahren und Vorrichtung zur Spracherkennung sowie ein Telekommunikationssystem
DE10007223B4 (de) 2000-02-17 2019-04-25 Harman Becker Automotive Systems Gmbh System mit einem Sprachbediensystem als einer ersten Systemeinheit und einer zweiten Systemeinheit in einem Kraftfahrzeug
DE10008226C2 (de) * 2000-02-22 2002-06-13 Bosch Gmbh Robert Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung
DE10012572C2 (de) * 2000-03-15 2003-03-27 Bayerische Motoren Werke Ag Vorrichtung und Verfahren zur Spracheingabe eines Zielortes mit Hilfe eines definierten Eingabedialogs in ein Zielführungssystem
DE10012756B4 (de) * 2000-03-16 2017-11-02 Volkswagen Ag Verfahren und Einrichtung zur Abspeicherung und Abrufung individueller Einstellungen
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
DE10017717B4 (de) * 2000-04-11 2006-01-05 Leopold Kostal Gmbh & Co. Kg Spracheingabe gesteuertes Steuergerät
DE10021389A1 (de) * 2000-05-03 2001-11-08 Nokia Mobile Phones Ltd Verfahren zum Steuern eines Systems, insbesondere eines elektrischen und/oder elektronischen Systems mit zumindest einer Anwendungseinrichtung
US6587824B1 (en) * 2000-05-04 2003-07-01 Visteon Global Technologies, Inc. Selective speaker adaptation for an in-vehicle speech recognition system
WO2001091108A1 (fr) * 2000-05-23 2001-11-29 Thomson Licensing S.A. Analyse syntaxique et semantique de commandes vocales
DE10030369A1 (de) * 2000-06-21 2002-01-03 Volkswagen Ag Spracherkennungssystem
DE10034235C1 (de) * 2000-07-14 2001-08-09 Siemens Ag Verfahren zur Spracherkennung und Spracherkenner
DE10037023A1 (de) * 2000-07-29 2002-02-21 Bosch Gmbh Robert Verfahren und System zur akustischen Funktionssteuerung im Kraftfahrzeug
EP1312078A1 (de) * 2000-08-15 2003-05-21 Koninklijke Philips Electronics N.V. Gemeinsame echo-unterdrückung für mehrere audio-video-geräte
DE10040466C2 (de) * 2000-08-18 2003-04-10 Bosch Gmbh Robert Verfahren zur Steuerung einer Spracheingabe und -ausgabe
DE10041456A1 (de) * 2000-08-23 2002-03-07 Philips Corp Intellectual Pty Verfahren zum Steuern von Geräten mittels Sprachsignalen, insbesondere bei Kraftfahrzeugen
US8135589B1 (en) 2000-11-30 2012-03-13 Google Inc. Performing speech recognition over a network and using speech recognition results
US6915262B2 (en) 2000-11-30 2005-07-05 Telesector Resources Group, Inc. Methods and apparatus for performing speech recognition and using speech recognition results
US7203651B2 (en) * 2000-12-07 2007-04-10 Art-Advanced Recognition Technologies, Ltd. Voice control system with multiple voice recognition engines
DE10062669A1 (de) * 2000-12-15 2002-06-20 Bsh Bosch Siemens Hausgeraete Eingabevorrichtung und Verfahren zur Eingabe von Informationen in eine Steuereinheit
DE10103610A1 (de) * 2001-01-28 2002-08-14 Audioton Kabelwerk Gmbh Freisprecheinrichtung für den Betrieb von Mobiltelefonen in Kraftfahrzeugen
DE10103609A1 (de) * 2001-01-28 2002-08-14 Audioton Kabelwerk Gmbh Freisprecheinrichtung für den Betrieb von Mobiltelefonen in Kraftfahrzeugen
DE10103608A1 (de) * 2001-01-28 2002-08-14 Audioton Kabelwerk Gmbh Freisprecheinrichtung für den Betrieb von Mobiltelefonen in Kraftfahrzeugen
JP3919210B2 (ja) * 2001-02-15 2007-05-23 アルパイン株式会社 音声入力案内方法及び装置
DE10110977C1 (de) * 2001-03-07 2002-10-10 Siemens Ag Bereitstellen von Hilfe-Informationen in einem Sprachdialogsystem
DE10115899B4 (de) * 2001-03-30 2005-04-14 Siemens Ag Verfahren zur Erstellung von Computer-Programmen mittels Spracherkennung
JP4724943B2 (ja) * 2001-04-05 2011-07-13 株式会社デンソー 音声認識装置
JP2002304188A (ja) * 2001-04-05 2002-10-18 Sony Corp 単語列出力装置および単語列出力方法、並びにプログラムおよび記録媒体
DE10118668B4 (de) * 2001-04-14 2004-02-05 Schott Glas Koordinatenmeßvorrichtung
DE10127852A1 (de) * 2001-06-08 2002-12-12 Mende Speech Solutions Gmbh & Verfahren zur Erkennung von Sprachinformationen
DE10129720B4 (de) * 2001-06-15 2004-02-19 Forschungsinstitut Für Die Biologie Landwirtschaftlicher Nutztiere Lautverarbeitungsvorrichtung und -verfahren
US20030007609A1 (en) * 2001-07-03 2003-01-09 Yuen Michael S. Method and apparatus for development, deployment, and maintenance of a voice software application for distribution to one or more consumers
DE10228408B4 (de) 2001-07-10 2021-09-30 Sew-Eurodrive Gmbh & Co Kg Bussystem, umfassend mindestens einen Bus und Busteilnehmer und Verfahren zur Sprachsteuerung
DE10151007A1 (de) * 2001-10-16 2003-04-17 Volkswagen Ag Bedienvorrichtung für Fahrzeuge
US7610189B2 (en) 2001-10-18 2009-10-27 Nuance Communications, Inc. Method and apparatus for efficient segmentation of compound words using probabilistic breakpoint traversal
GB2385914B (en) * 2001-10-19 2004-03-03 Visteon Global Tech Inc LCC-Based fluid-level detection sensor
JP3863765B2 (ja) 2001-11-30 2006-12-27 三洋電機株式会社 ナビゲーション装置
US7174300B2 (en) * 2001-12-11 2007-02-06 Lockheed Martin Corporation Dialog processing method and apparatus for uninhabited air vehicles
DE10163214A1 (de) * 2001-12-21 2003-07-10 Philips Intellectual Property Verfahren und Steuersystem zur Sprachsteuerung eines Gerätes
DE10207895B4 (de) * 2002-02-23 2005-11-03 Harman Becker Automotive Systems Gmbh Verfahren zur Spracherkennung und Spracherkennungssystem
DE10208466A1 (de) * 2002-02-27 2004-01-29 BSH Bosch und Siemens Hausgeräte GmbH Elektrisches Haushaltsgerät
JP2003280688A (ja) * 2002-03-25 2003-10-02 Nissan Diesel Motor Co Ltd 情報交換システム
JP2004032430A (ja) * 2002-06-26 2004-01-29 Fujitsu Ltd 制御装置及び制御プログラム
DE10237951A1 (de) * 2002-08-20 2004-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Betrieb eines Roboters zu laufender Musik
JP2004110613A (ja) * 2002-09-20 2004-04-08 Toshiba Corp 制御装置、制御プログラム、対象装置及び制御システム
EP1567941A2 (de) 2002-11-28 2005-08-31 Koninklijke Philips Electronics N.V. Verfahren zur zuordnung von wordklassifikationen
US20040143440A1 (en) * 2003-01-03 2004-07-22 Venkatesh Prasad Vehicle speech recognition system
ES2245546B1 (es) * 2003-03-12 2006-11-01 Carlos Catala Costa Cabinas de ducha, mini piscinas (spas), bañeras de hidromasaje controladas por voz.
DE10334400A1 (de) * 2003-07-28 2005-02-24 Siemens Ag Verfahren zur Spracherkennung und Kommunikationsgerät
DE10338512A1 (de) * 2003-08-22 2005-03-17 Daimlerchrysler Ag Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen
DE102004006467A1 (de) * 2003-09-09 2005-04-21 Volkswagen Ag Verfahren und Vorrichtung zur Navigation eines Kraftfahrzeugführers
US20050071170A1 (en) * 2003-09-30 2005-03-31 Comerford Liam D. Dissection of utterances into commands and voice data
US7555533B2 (en) * 2003-10-15 2009-06-30 Harman Becker Automotive Systems Gmbh System for communicating information from a server via a mobile communication device
JP2005167866A (ja) * 2003-12-05 2005-06-23 Kenwood Corp データ記録装置及びデータ記録方法
EP1555652B1 (de) * 2004-01-19 2007-11-14 Harman Becker Automotive Systems GmbH Betätigung eines Sprachdialogsystems
ATE400871T1 (de) 2004-01-29 2008-07-15 Harman Becker Automotive Sys Multimodale dateneingabe
DE602004017955D1 (de) * 2004-01-29 2009-01-08 Daimler Ag Verfahren und System zur Sprachdialogschnittstelle
EP1562180B1 (de) * 2004-02-06 2015-04-01 Nuance Communications, Inc. Sprachdialogsystem und Verfahren zum Steuern eines elektronischen Gerätes
US20090164215A1 (en) * 2004-02-09 2009-06-25 Delta Electronics, Inc. Device with voice-assisted system
FR2871978B1 (fr) * 2004-06-16 2006-09-22 Alcatel Sa Procede de traitement de signaux sonores pour un terminal de communication et terminal de communication mettant en oeuvre ce procede
DE102004046932A1 (de) * 2004-09-28 2006-04-13 Aug. Winkhaus Gmbh & Co. Kg Schließeinrichtung und Verfahren zur Programmierung einer Schließeinrichtung
US8725505B2 (en) * 2004-10-22 2014-05-13 Microsoft Corporation Verb error recovery in speech recognition
US7689423B2 (en) * 2005-04-13 2010-03-30 General Motors Llc System and method of providing telematically user-optimized configurable audio
US20060235698A1 (en) * 2005-04-13 2006-10-19 Cane David A Apparatus for controlling a home theater system by speech commands
US20060253272A1 (en) * 2005-05-06 2006-11-09 International Business Machines Corporation Voice prompts for use in speech-to-speech translation system
JP4660299B2 (ja) * 2005-06-29 2011-03-30 三菱電機株式会社 移動体用情報装置
US7424431B2 (en) * 2005-07-11 2008-09-09 Stragent, Llc System, method and computer program product for adding voice activation and voice control to a media player
ATE550756T1 (de) * 2005-08-04 2012-04-15 Nuance Communications Inc Sprachdialogsystem
US7904300B2 (en) * 2005-08-10 2011-03-08 Nuance Communications, Inc. Supporting multiple speech enabled user interface consoles within a motor vehicle
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7590541B2 (en) * 2005-09-30 2009-09-15 Rockwell Automation Technologies, Inc. HMI presentation layer configuration system
DE102005059630A1 (de) * 2005-12-14 2007-06-21 Bayerische Motoren Werke Ag Verfahren zur Erzeugung von Sprachmustern für eine sprachgesteuerte Senderwahl
US20090222270A2 (en) * 2006-02-14 2009-09-03 Ivc Inc. Voice command interface device
US20070198271A1 (en) * 2006-02-23 2007-08-23 Dana Abramson Method for training a user of speech recognition software
JP4131978B2 (ja) * 2006-02-24 2008-08-13 本田技研工業株式会社 音声認識機器制御装置
DE102006035780B4 (de) * 2006-08-01 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Unterstützung des Bedieners eines Spracheingabesystems
US7899673B2 (en) * 2006-08-09 2011-03-01 Microsoft Corporation Automatic pruning of grammars in a multi-application speech recognition interface
US20080045256A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Eyes-free push-to-talk communication
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
DE602006002132D1 (de) * 2006-12-14 2008-09-18 Harman Becker Automotive Sys beitung
US8831183B2 (en) * 2006-12-22 2014-09-09 Genesys Telecommunications Laboratories, Inc Method for selecting interactive voice response modes using human voice detection analysis
JP4827721B2 (ja) * 2006-12-26 2011-11-30 ニュアンス コミュニケーションズ，インコーポレイテッド 発話分割方法、装置およびプログラム
US8886545B2 (en) * 2007-03-07 2014-11-11 Vlingo Corporation Dealing with switch latency in speech recognition
US8635243B2 (en) * 2007-03-07 2014-01-21 Research In Motion Limited Sending a communications header with voice recording to send metadata for use in speech recognition, formatting, and search mobile search application
US8886540B2 (en) * 2007-03-07 2014-11-11 Vlingo Corporation Using speech recognition results based on an unstructured language model in a mobile communication facility application
US8949130B2 (en) 2007-03-07 2015-02-03 Vlingo Corporation Internal and external speech recognition use with a mobile communication facility
US10056077B2 (en) 2007-03-07 2018-08-21 Nuance Communications, Inc. Using speech recognition results based on an unstructured language model with a music system
US20090030687A1 (en) * 2007-03-07 2009-01-29 Cerra Joseph P Adapting an unstructured language model speech recognition system based on usage
US20080312934A1 (en) * 2007-03-07 2008-12-18 Cerra Joseph P Using results of unstructured language model based speech recognition to perform an action on a mobile communications facility
US8880405B2 (en) 2007-03-07 2014-11-04 Vlingo Corporation Application text entry in a mobile environment using a speech processing facility
US20080221901A1 (en) * 2007-03-07 2008-09-11 Joseph Cerra Mobile general search environment speech processing facility
US8949266B2 (en) * 2007-03-07 2015-02-03 Vlingo Corporation Multiple web-based content category searching in mobile search application
US20090030691A1 (en) * 2007-03-07 2009-01-29 Cerra Joseph P Using an unstructured language model associated with an application of a mobile communication facility
US8838457B2 (en) * 2007-03-07 2014-09-16 Vlingo Corporation Using results of unstructured language model based speech recognition to control a system-level function of a mobile communications facility
US20080228493A1 (en) * 2007-03-12 2008-09-18 Chih-Lin Hu Determining voice commands with cooperative voice recognition
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
DE102007037567A1 (de) 2007-08-09 2009-02-12 Volkswagen Ag Verfahren zur multimodalen Bedienung mindestens eines Gerätes in einem Kraftfahrzeug
JP5386692B2 (ja) * 2007-08-31 2014-01-15 独立行政法人情報通信研究機構 対話型学習装置
JP5238205B2 (ja) * 2007-09-07 2013-07-17 ニュアンス コミュニケーションズ，インコーポレイテッド 音声合成システム、プログラム及び方法
ATE509345T1 (de) * 2007-09-21 2011-05-15 Boeing Co Gesprochene fahrzeugsteuerung
DE102007046761A1 (de) * 2007-09-28 2009-04-09 Robert Bosch Gmbh Verfahren zum Betrieb eines Navigationssystems, welches über eine Sprachausgabe verfügt
WO2009047858A1 (ja) * 2007-10-12 2009-04-16 Fujitsu Limited エコー抑圧システム、エコー抑圧方法、エコー抑圧プログラム、エコー抑圧装置、音出力装置、オーディオシステム、ナビゲーションシステム及び移動体
DE602007011073D1 (de) * 2007-10-17 2011-01-20 Harman Becker Automotive Sys Sprachdialogsystem mit an den Benutzer angepasster Sprachausgabe
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
DE102008008948A1 (de) 2008-02-13 2009-08-20 Volkswagen Ag Systemarchitektur und Verfahren zur multimodalen Informationseingabe
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US7516068B1 (en) * 2008-04-07 2009-04-07 International Business Machines Corporation Optimized collection of audio for speech recognition
US8958848B2 (en) 2008-04-08 2015-02-17 Lg Electronics Inc. Mobile terminal and menu control method thereof
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8682660B1 (en) * 2008-05-21 2014-03-25 Resolvity, Inc. Method and system for post-processing speech recognition results
US8983841B2 (en) * 2008-07-15 2015-03-17 At&T Intellectual Property, I, L.P. Method for enhancing the playback of information in interactive voice response systems
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US9043209B2 (en) * 2008-11-28 2015-05-26 Nec Corporation Language model creation device
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
DE102009018590B4 (de) * 2009-04-23 2022-11-17 Volkswagen Ag Kraftfahrzeug mit einer Bedienvorrichtung und dazugehöriges Verfahren
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
DE102009025530B4 (de) * 2009-06-19 2019-05-23 Volkswagen Ag Verfahren zur Bedienung eines Fahrzeugs mittels eines automatisierten Sprachdialogs sowie entsprechend ausgestaltetes Sprachdialogsystem und Fahrzeug
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
DE102009041007A1 (de) * 2009-09-10 2011-03-24 Bayerische Motoren Werke Aktiengesellschaft Navigationssystem und Radioempfangssystem
US8428947B2 (en) 2009-12-15 2013-04-23 At&T Intellectual Property I, L.P. Automatic sound level control
EP2339576B1 (de) 2009-12-23 2019-08-07 Google LLC Mehrmodulare Eingabe in eine elektronische Vorrichtung
US11416214B2 (en) 2009-12-23 2022-08-16 Google Llc Multi-modal input on an electronic device
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8700405B2 (en) 2010-02-16 2014-04-15 Honeywell International Inc Audio system and method for coordinating tasks
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8787977B2 (en) 2010-04-08 2014-07-22 General Motors Llc Method of controlling dialing modes in a vehicle
US8265928B2 (en) 2010-04-14 2012-09-11 Google Inc. Geotagged environmental audio for enhanced speech recognition accuracy
US8468012B2 (en) 2010-05-26 2013-06-18 Google Inc. Acoustic model adaptation using geographic information
US20120065972A1 (en) * 2010-09-12 2012-03-15 Var Systems Ltd. Wireless voice recognition control system for controlling a welder power supply by voice commands
KR20120046627A (ko) * 2010-11-02 2012-05-10 삼성전자주식회사 화자 적응 방법 및 장치
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8352245B1 (en) 2010-12-30 2013-01-08 Google Inc. Adjusting language models
US8296142B2 (en) 2011-01-21 2012-10-23 Google Inc. Speech recognition using dock context
US10032127B2 (en) 2011-02-18 2018-07-24 Nuance Communications, Inc. Methods and apparatus for determining a clinician's intent to order an item
US8768723B2 (en) 2011-02-18 2014-07-01 Nuance Communications, Inc. Methods and apparatus for formatting text for clinical fact extraction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
JP2012215673A (ja) * 2011-03-31 2012-11-08 Toshiba Corp 音声処理装置、及び音声処理方法
US9368107B2 (en) * 2011-04-20 2016-06-14 Nuance Communications, Inc. Permitting automated speech command discovery via manual event to command mapping
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
JP5681041B2 (ja) * 2011-06-03 2015-03-04 富士通株式会社 名寄せ規則生成方法、装置、およびプログラム
US20120316884A1 (en) * 2011-06-10 2012-12-13 Curtis Instruments, Inc. Wheelchair System Having Voice Activated Menu Navigation And Auditory Feedback
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
JP2013068532A (ja) * 2011-09-22 2013-04-18 Clarion Co Ltd 情報端末、サーバー装置、検索システムおよびその検索方法
US9847083B2 (en) * 2011-11-17 2017-12-19 Universal Electronics Inc. System and method for voice actuated configuration of a controlling device
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9569594B2 (en) 2012-03-08 2017-02-14 Nuance Communications, Inc. Methods and apparatus for generating clinical reports
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US20140016797A1 (en) * 2012-07-16 2014-01-16 Ford Global Technologies, Llc Method for Changing Audio System Mode for Roof Open/Closed Condition
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
WO2014068788A1 (ja) 2012-11-05 2014-05-08 三菱電機株式会社 音声認識装置
US9148499B2 (en) 2013-01-22 2015-09-29 Blackberry Limited Method and system for automatically identifying voice tags through user operation
DE102013001219B4 (de) * 2013-01-25 2019-08-29 Inodyn Newmedia Gmbh Verfahren und System zur Sprachaktivierung eines Software-Agenten aus einem Standby-Modus
JP2016508007A (ja) 2013-02-07 2016-03-10 アップル インコーポレイテッド デジタルアシスタントのためのボイストリガ
US9734819B2 (en) 2013-02-21 2017-08-15 Google Technology Holdings LLC Recognizing accented speech
US20140278393A1 (en) 2013-03-12 2014-09-18 Motorola Mobility Llc Apparatus and Method for Power Efficient Signal Conditioning for a Voice Recognition System
US9237225B2 (en) 2013-03-12 2016-01-12 Google Technology Holdings LLC Apparatus with dynamic audio signal pre-conditioning and methods therefor
US20140270249A1 (en) 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Estimating Variability of Background Noise for Noise Suppression
US11024406B2 (en) 2013-03-12 2021-06-01 Nuance Communications, Inc. Systems and methods for identifying errors and/or critical results in medical reports
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
US11183300B2 (en) 2013-06-05 2021-11-23 Nuance Communications, Inc. Methods and apparatus for providing guidance to medical professionals
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
CN105265005B (zh) 2013-06-13 2019-09-17 苹果公司 用于由语音命令发起的紧急呼叫的系统和方法
JP6163266B2 (ja) 2013-08-06 2017-07-12 アップル インコーポレイテッド リモート機器からの作動に基づくスマート応答の自動作動
US10163455B2 (en) * 2013-12-03 2018-12-25 Lenovo (Singapore) Pte. Ltd. Detecting pause in audible input to device
KR102210433B1 (ko) * 2014-01-21 2021-02-01 삼성전자주식회사 전자 장치 및 이의 음성 인식 방법
US9842592B2 (en) 2014-02-12 2017-12-12 Google Inc. Language models using non-linguistic context
US9412365B2 (en) 2014-03-24 2016-08-09 Google Inc. Enhanced maximum entropy models
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10373711B2 (en) 2014-06-04 2019-08-06 Nuance Communications, Inc. Medical coding system with CDI clarification request notification
DE102014108371B4 (de) * 2014-06-13 2016-04-14 LOEWE Technologies GmbH Verfahren zur Sprachsteuerung von unterhaltungselektronischen Geräten
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
DE102014111503B4 (de) * 2014-08-12 2016-04-28 Gls It Services Gmbh Intelligentes Zustellsystem
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9792901B1 (en) * 2014-12-11 2017-10-17 Amazon Technologies, Inc. Multiple-source speech dialog input
WO2016103358A1 (ja) * 2014-12-24 2016-06-30 三菱電機株式会社 音声認識装置及び音声認識方法
CN104615052A (zh) * 2015-01-15 2015-05-13 深圳乐投卡尔科技有限公司 Android车载导航全局声控装置及方法
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
JP6481939B2 (ja) * 2015-03-19 2019-03-13 株式会社レイトロン 音声認識装置および音声認識プログラム
US10134394B2 (en) 2015-03-20 2018-11-20 Google Llc Speech recognition using log-linear model
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083697B2 (en) * 2015-05-27 2018-09-25 Google Llc Local persisting of data for selectively offline capable voice action in a voice-enabled electronic device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9966073B2 (en) 2015-05-27 2018-05-08 Google Llc Context-sensitive dynamic update of voice to text model in a voice-enabled electronic device
CN104899002A (zh) * 2015-05-29 2015-09-09 深圳市锐曼智能装备有限公司 机器人基于对话预测的在线与离线的识别切换方法及系统
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10672385B2 (en) * 2015-09-04 2020-06-02 Honeywell International Inc. Method and system for remotely training and commanding the speech recognition system on a cockpit via a carry-on-device in a connected aircraft
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
DE102015222105A1 (de) * 2015-11-10 2017-05-11 Volkswagen Aktiengesellschaft Audiosignalverarbeitung in einem Fahrzeug
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11152084B2 (en) 2016-01-13 2021-10-19 Nuance Communications, Inc. Medical report coding with acronym/abbreviation disambiguation
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9978367B2 (en) 2016-03-16 2018-05-22 Google Llc Determining dialog states for language models
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
EP3270575A1 (de) 2016-07-12 2018-01-17 Veecoo Ug Plattform zur integration von mobilen endgräten und peripheren geräten des nachrüstmarktes in einem fahrzeug
US10832664B2 (en) 2016-08-19 2020-11-10 Google Llc Automated speech recognition using language models that selectively use domain-specific model components
US10949602B2 (en) 2016-09-20 2021-03-16 Nuance Communications, Inc. Sequencing medical codes methods and apparatus
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
KR102588423B1 (ko) * 2016-12-22 2023-10-12 삼성전자주식회사 벤디드 디스플레이를 통한 부품 실장 구조를 갖는 전자 장치
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10311860B2 (en) 2017-02-14 2019-06-04 Google Llc Language model biasing system
WO2018206359A1 (en) * 2017-05-08 2018-11-15 Philips Lighting Holding B.V. Voice control
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
DE102017211202A1 (de) 2017-06-30 2019-01-03 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Steuerung von Klimatisierungseinrichtungen in einem Kraftfahrzeug
US11133091B2 (en) 2017-07-21 2021-09-28 Nuance Communications, Inc. Automated analysis system and method
DE102017212980B4 (de) 2017-07-27 2023-01-19 Volkswagen Aktiengesellschaft Verfahren zur Kompensation von Störgeräuschen bei einer Freisprecheinrichtung in einem Kraftfahrzeug und Freisprecheinrichtung
EP3642835A4 (de) * 2017-08-03 2021-01-06 Telepathy Labs, Inc. Omnikanal, intelligenter, proaktiver virtueller agent
CN107642864B (zh) * 2017-08-18 2021-08-24 重庆海尔空调器有限公司 一种多空调语音控制方法、控制装置和空调系统
US10311874B2 (en) 2017-09-01 2019-06-04 4Q Catalyst, LLC Methods and systems for voice-based programming of a voice-controlled device
DE102017123443A1 (de) * 2017-10-09 2019-04-11 Lenze Automation Gmbh System für die Steuerung und/oder Diagnose eines elektrischen Antriebssystems
US11024424B2 (en) 2017-10-27 2021-06-01 Nuance Communications, Inc. Computer assisted coding systems and methods
US10586537B2 (en) * 2017-11-30 2020-03-10 International Business Machines Corporation Filtering directive invoking vocal utterances
WO2020033595A1 (en) 2018-08-07 2020-02-13 Pangissimo, LLC Modular speaker system
US10978064B2 (en) 2018-11-30 2021-04-13 International Business Machines Corporation Contextually relevant spoken device-to-device communication between IoT devices
RU2761940C1 (ru) 2018-12-18 2021-12-14 Общество С Ограниченной Ответственностью "Яндекс" Способы и электронные устройства для идентификации пользовательского высказывания по цифровому аудиосигналу
US11745351B2 (en) 2019-01-03 2023-09-05 Lucomm Technologies, Inc. Robotic devices
CN110288988A (zh) * 2019-05-16 2019-09-27 平安科技（深圳）有限公司 目标数据筛选方法、装置及存储介质
CN112885340A (zh) * 2019-11-29 2021-06-01 阿里巴巴集团控股有限公司 设备控制方法、装置和系统
CN111274365B (zh) * 2020-02-25 2023-09-19 广州七乐康药业连锁有限公司 基于语义理解的智能问诊方法、装置、存储介质及服务器
CN111724768A (zh) * 2020-04-22 2020-09-29 深圳市伟文无线通讯技术有限公司 用于离线语音识别的实时生成解码文件的系统和方法
KR20210149969A (ko) * 2020-06-02 2021-12-10 삼성전자주식회사 컨텐츠를 수정하기 위한 전자 장치 및 방법
KR102494051B1 (ko) * 2021-01-26 2023-01-31 삼성전자주식회사 전자 장치 및 이의 음성 인식 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4751737A (en) * 1985-11-06 1988-06-14 Motorola Inc. Template generation method in a speech recognition system
US4856072A (en) * 1986-12-31 1989-08-08 Dana Corporation Voice actuated vehicle security system
DE4031638A1 (de) * 1989-10-05 1991-04-18 Ricoh Kk Spracherkennungseinrichtung
EP0535929A2 (de) * 1991-09-30 1993-04-07 Kurzweil Applied Intelligence, Inc. Spracherkennungssystem
US5241619A (en) * 1991-06-25 1993-08-31 Bolt Beranek And Newman Inc. Word dependent N-best search method
US5353376A (en) * 1992-03-20 1994-10-04 Texas Instruments Incorporated System and method for improved speech acquisition for hands-free voice telecommunication in a noisy environment

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS493507A (de) * 1972-04-19 1974-01-12
JPS4957702A (de) * 1972-10-02 1974-06-05
JPS5689799A (en) * 1979-12-22 1981-07-21 Fujitsu Ltd Voice identification device
JPS56102635A (en) * 1980-01-21 1981-08-17 Toshiba Corp Controller for air conditioner
JPS5755240A (en) * 1980-09-17 1982-04-02 Toyota Motor Corp Voice input-output control method for vehicle
JPS5816700U (ja) * 1981-07-27 1983-02-01 日産自動車株式会社 車両用音声認識装置
JPS5823097A (ja) * 1981-08-03 1983-02-10 日本電信電話株式会社 音声認識装置
JPS5830800A (ja) * 1981-08-17 1983-02-23 トヨタ自動車株式会社 車両用音声認識方式
JPS5850598A (ja) * 1981-09-22 1983-03-25 富士通株式会社 音声認識装置の入力監視方式
JPS5870287A (ja) * 1981-10-22 1983-04-26 日産自動車株式会社 音声認識装置
JPS5876893A (ja) * 1981-10-30 1983-05-10 日本電気株式会社 音声認識装置
JPS58117926A (ja) * 1981-12-29 1983-07-13 Matsushita Electric Ind Co Ltd 加熱装置
JPS58120297A (ja) * 1982-01-11 1983-07-18 日本電信電話株式会社 音声応答認識装置
JPS58114625U (ja) * 1982-01-28 1983-08-05 富士通テン株式会社 ラジオ受信機
JPS58151000A (ja) * 1982-03-02 1983-09-07 三菱電機株式会社 音声入力制御装置
JPS5971100A (ja) * 1982-10-18 1984-04-21 日本電信電話株式会社 音声認識方式
JPS59107391A (ja) * 1982-12-13 1984-06-21 株式会社日立製作所 発声法訓練装置
JPS59122634U (ja) * 1983-02-07 1984-08-18 横河電機株式会社 外部スイツチ付音声入力装置
JPS59180600A (ja) * 1983-03-31 1984-10-13 日本電気ホームエレクトロニクス株式会社 車載用音声認識制御装置
JPS59211099A (ja) * 1983-05-16 1984-11-29 富士通株式会社 音声認識装置
JPS59228434A (ja) * 1983-06-09 1984-12-21 Fujitsu Ltd 音声入力制御方式
JPS6062221A (ja) * 1983-09-14 1985-04-10 Hitachi Micro Comput Eng Ltd 選局装置
JPS60104999A (ja) * 1983-11-14 1985-06-10 松下電器産業株式会社 音声認識装置
JPS60122850A (ja) * 1983-12-07 1985-07-01 Sharp Corp 空気調和機等の音声入力装置
JPS60198596A (ja) * 1984-03-21 1985-10-08 電子計算機基本技術研究組合 音声入力装置
JPS6135494A (ja) * 1984-07-27 1986-02-19 日本電気株式会社 音声認識処理装置
JPS61112198A (ja) * 1984-11-07 1986-05-30 株式会社日立製作所 音声認識装置
JPS61130999A (ja) * 1984-11-30 1986-06-18 株式会社神戸製鋼所 音声認識装置
JPS61151600A (ja) * 1984-12-26 1986-07-10 株式会社日立製作所 音声認識方法
JPH068999B2 (ja) * 1985-08-21 1994-02-02 株式会社日立製作所 音声入力方法
DE3570569D1 (en) * 1985-09-03 1989-06-29 Motorola Inc Hands-free control system for a radiotelephone
JPS62105198A (ja) * 1985-10-31 1987-05-15 富士通株式会社 音声出力制御方式
JPS62138900A (ja) * 1985-12-12 1987-06-22 日本電気株式会社 正規化ケプストラム分析装置
JPS62245296A (ja) * 1986-04-18 1987-10-26 シチズン時計株式会社 音声認識装置
JPS6332596A (ja) * 1986-07-25 1988-02-12 日本電信電話株式会社 音声認識装置
JPS63116199A (ja) * 1986-11-05 1988-05-20 富士通株式会社 音声入力装置の音声辞書格納方式
JPS63281199A (ja) * 1987-05-13 1988-11-17 日本電気株式会社 音声セグメンテ−ション装置
JPS63301998A (ja) * 1987-06-02 1988-12-08 日本電気株式会社 音声認識応答装置
DE3819178A1 (de) * 1987-06-04 1988-12-22 Ricoh Kk Spracherkennungsverfahren und -einrichtung
JPH0766272B2 (ja) * 1987-08-24 1995-07-19 日本電気株式会社 音声セグメンテ−ション装置
JPH0197044A (ja) * 1987-10-08 1989-04-14 Nec Corp 音声ダイヤル装置
US4870686A (en) * 1987-10-19 1989-09-26 Motorola, Inc. Method for entering digit sequences by voice command
JPH02184899A (ja) * 1989-01-11 1990-07-19 Ricoh Co Ltd 標準パターン及び電話番号登録方式
JPH02184900A (ja) * 1989-01-11 1990-07-19 Ricoh Co Ltd 音声ダイヤル装置
US5033087A (en) * 1989-03-14 1991-07-16 International Business Machines Corp. Method and apparatus for the automatic determination of phonological rules as for a continuous speech recognition system
JPH02312426A (ja) * 1989-05-29 1990-12-27 Nissan Motor Co Ltd 車両用電話装置
JP2867425B2 (ja) * 1989-05-30 1999-03-08 日本電気株式会社 音声認識用前処理装置
DE3928049A1 (de) * 1989-08-25 1991-02-28 Grundig Emv Sprachgesteuertes archivsystem
JPH03155598A (ja) * 1989-11-14 1991-07-03 Nec Corp 認識対象テンプレート差し替え型音声認識装置
US5303299A (en) * 1990-05-15 1994-04-12 Vcs Industries, Inc. Method for continuous recognition of alphanumeric strings spoken over a telephone network
US5125022A (en) * 1990-05-15 1992-06-23 Vcs Industries, Inc. Method for recognizing alphanumeric strings spoken over a telephone network
US5127043A (en) * 1990-05-15 1992-06-30 Vcs Industries, Inc. Simultaneous speaker-independent voice recognition and verification over a telephone network
JPH04120850A (ja) * 1990-09-12 1992-04-21 Toshiba Corp 音声合成装置
JP3029654B2 (ja) * 1990-09-17 2000-04-04 株式会社東芝 音声認識装置
JPH04172052A (ja) * 1990-11-06 1992-06-19 Toshiba Corp 音声合成装置
JPH04301697A (ja) * 1991-03-29 1992-10-26 Nippon Telegr & Teleph Corp <Ntt> 音声認識装置
DE4130632A1 (de) * 1991-09-14 1993-03-18 Philips Patentverwaltung Verfahren zum erkennen der gesprochenen woerter in einem sprachsignal
JPH05216618A (ja) * 1991-11-18 1993-08-27 Toshiba Corp 音声対話システム
US5297183A (en) * 1992-04-13 1994-03-22 Vcs Industries, Inc. Speech recognition system for electronic switches in a cellular telephone or personal communication network
JPH05290101A (ja) * 1992-04-13 1993-11-05 Mitsubishi Electric Corp 連続音声認識処理方法およびその装置
JPH06133039A (ja) * 1992-10-16 1994-05-13 Oki Electric Ind Co Ltd 気象情報自動案内装置
JP3277579B2 (ja) * 1992-12-28 2002-04-22 ソニー株式会社 音声認識方法および装置
US5475791A (en) * 1993-08-13 1995-12-12 Voice Control Systems, Inc. Method for recognizing a spoken word in the presence of interfering speech
JPH08307509A (ja) * 1995-04-19 1996-11-22 Texas Instr Inc <Ti> 手を使わずに電話機のダイアル操作を行う方法および装置
US5893059A (en) * 1997-04-17 1999-04-06 Nynex Science And Technology, Inc. Speech recoginition methods and apparatus
US5913192A (en) * 1997-08-22 1999-06-15 At&T Corp Speaker identification with user-selected password phrases

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4751737A (en) * 1985-11-06 1988-06-14 Motorola Inc. Template generation method in a speech recognition system
US4856072A (en) * 1986-12-31 1989-08-08 Dana Corporation Voice actuated vehicle security system
DE4031638A1 (de) * 1989-10-05 1991-04-18 Ricoh Kk Spracherkennungseinrichtung
US5241619A (en) * 1991-06-25 1993-08-31 Bolt Beranek And Newman Inc. Word dependent N-best search method
EP0535929A2 (de) * 1991-09-30 1993-04-07 Kurzweil Applied Intelligence, Inc. Spracherkennungssystem
US5353376A (en) * 1992-03-20 1994-10-04 Texas Instruments Incorporated System and method for improved speech acquisition for hands-free voice telecommunication in a noisy environment

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5938859A (en) * 1995-12-29 1999-08-17 Lawrence Industries, Inc. Molecular level cleaning of contaminants from parts utilizing an environmentally safe solvent
JPH1138994A (ja) * 1997-07-17 1999-02-12 Denso Corp 音声認識装置及びナビゲーションシステム
JP2013164601A (ja) * 1998-03-23 2013-08-22 Microsoft Corp オペレーティング・システムのアプリケーション・プログラム・インターフェース
JP2002528751A (ja) * 1998-10-16 2002-09-03 フオルクスヴアーゲン アクチエンゲゼルシヤフト 情報および／またはメッセージを音声によって出力する方法および装置
JP4705242B2 (ja) * 1998-10-16 2011-06-22 フオルクスヴアーゲン アクチエンゲゼルシヤフト 情報および／またはメッセージを音声によって出力する方法および装置
US7991618B2 (en) 1998-10-16 2011-08-02 Volkswagen Ag Method and device for outputting information and/or status messages, using speech
JP2002372986A (ja) * 2002-05-09 2002-12-26 Denso Corp 音声認識装置及びナビゲーションシステム
EP1433662A2 (de) 2002-12-24 2004-06-30 Robert Bosch Gmbh Informationssystem für Fahrzeuge und Verfahren zur Sprachsteuerung
EP1433662A3 (de) * 2002-12-24 2005-06-08 Robert Bosch Gmbh Informationssystem für Fahrzeuge und Verfahren zur Sprachsteuerung
WO2005104581A1 (en) * 2004-04-21 2005-11-03 Nokia Corporation Push-to-talk mobile communication terminals
US9418679B2 (en) 2014-08-12 2016-08-16 Honeywell International Inc. Methods and apparatus for interpreting received speech data using speech recognition
EP3871944A1 (de) * 2020-02-27 2021-09-01 Siemens Mobility GmbH Verfahren zur dokumentation einer sprachbasierten kommunikation

Also Published As

Publication number Publication date
JPH11506845A (ja) 1999-06-15
ES2170870T3 (es) 2002-08-16
CA2231504A1 (en) 1997-03-20
EP0852051B1 (de) 2002-01-02
DE19533541C1 (de) 1997-03-27
US6839670B1 (en) 2005-01-04
EP0852051A1 (de) 1998-07-08
ATE211572T1 (de) 2002-01-15
DE59608614D1 (de) 2002-02-28
CA2231504C (en) 2005-08-02
JP3479691B2 (ja) 2003-12-15

Similar Documents

Publication Publication Date Title
EP0852051B1 (de) Verfahren zur automatischen steuerung eines oder mehrerer geräte durch sprachkommandos oder per sprachdialog im echtzeitbetrieb und vorrichtung zum ausführen des verfahrens
EP1256936B1 (de) Verfahren zum Training oder zur Adaption eines Spracherkenners
DE102011120315B4 (de) Anpassung männlicher Akustikmodelle auf der Basis von sprachunabhängigen weiblichen Sprechdaten
CN1637857B (zh) 噪音消除系统、语音识别系统以及汽车导航系统
DE102018128006A1 (de) Natürlichsprachliche generierung basierend auf dem benutzersprachstil
DE102008062542A1 (de) Fahrzeuginterne die Umstände berücksichtigende Spracherkennung
DE102018103188B4 (de) Verfahren zur spracherkennung in einem fahrzeug zur verbesserung der aufgabenerledigung
WO2005013261A1 (de) Verfahren zur spracherkennung und kommunikationsgerät
DE102019111529A1 (de) Automatisierte spracherkennung unter verwendung einer dynamisch einstellbaren hörzeitüberschreitung
DE102012220796B4 (de) Verfahren zum Initiieren eines Freisprechkonferenzgesprächs
EP2176858A1 (de) Verfahren zur spracherkennung
DE102010034433B4 (de) Verfahren zum Erkennen von Sprache
DE102017121059A1 (de) Identifikation und erzeugung von bevorzugten emoji
DE102019107624A1 (de) System und Verfahren zur Erfüllung einer Sprachanforderung
DE10338512A1 (de) Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen
DE102018116832A1 (de) Spracherkennungsbenutzermakros zum verbessern von fahrzeuggrammatiken
EP3095114B1 (de) Verfahren und system zur erzeugung eines steuerungsbefehls
DE60014583T2 (de) Verfahren und vorrichtung zur integritätsprüfung von benutzeroberflächen sprachgesteuerter geräte
EP3735688B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zum verarbeiten einer spracheingabe, kraftfahrzeug und nutzerendgerät mit einer sprachverarbeitung
EP1083479B1 (de) Verfahren zum Betrieb einer sprachgesteuerten Befehlseingabeeinheit in einem Kraftfahrzeug
DE102013216427B4 (de) Vorrichtung und Verfahren zur fortbewegungsmittelbasierten Sprachverarbeitung
DE102010049869A1 (de) Verfahren zum Bereitstellen einer Sprachschnittstelle in einem Fahrzeug und Vorrichtung dazu
DE102022213058A1 (de) Fahrzeug und steuerungsverfahren dafür
EP1302928A1 (de) Verfahren zur Spracherkennung, insbesondere von Namen, und Spracherkenner
DE102022133571A1 (de) Vorrichtung zur verarbeitung natürlicher sprache und verfahren zur verarbeitung natürlicher sprache

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CA JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1996932482

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2231504

Country of ref document: CA

ENP Entry into the national phase

Ref country code: JP

Ref document number: 1997 511639

Kind code of ref document: A

Format of ref document f/p: F

WWP Wipo information: published in national office

Ref document number: 1996932482

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09043134

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 1996932482

Country of ref document: EP