WO2006092359A1 - Method for the management of data streams in a data processing system - Google Patents

Method for the management of data streams in a data processing system Download PDF

Info

Publication number
WO2006092359A1
WO2006092359A1 PCT/EP2006/050855 EP2006050855W WO2006092359A1 WO 2006092359 A1 WO2006092359 A1 WO 2006092359A1 EP 2006050855 W EP2006050855 W EP 2006050855W WO 2006092359 A1 WO2006092359 A1 WO 2006092359A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
type
processing system
data stream
data processing
Prior art date
Application number
PCT/EP2006/050855
Other languages
German (de)
French (fr)
Inventor
Kay Kittel
Klaus Lukas
Michael LÜTZELER
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to EP06708197A priority Critical patent/EP1854002A1/en
Publication of WO2006092359A1 publication Critical patent/WO2006092359A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals

Definitions

  • the present invention relates to a method for managing data streams in a data processing system, and to a data processing system which is designed to distribute data streams according to their content to specific output devices associated with the data processing system.
  • Mobile devices such as cell phones or organizers, are limited in their ability to render multi-modal content or content with different types of output. For example, the size, color depth and repetition rate of display devices for the graphic output, or the volume and quality of the audio playback are limited. However, it is possible to overcome these limitations by coupling with external devices. After a corresponding
  • the terminal Although there are architectures for the terminal, which are able to process multimedia data and distribute correspondingly multimedia data streams to output devices.
  • the distribution of the data streams is done according to the file type from which the multimedia data
  • JPG Joint Experts Picture Group
  • MP3 MP3 data to MP3 players.
  • the output data has hitherto been distributed to individual output devices ("user agents": UA) in accordance with their supported modality.
  • the object of the present invention is to provide a way to specifically address the output devices of a data processing system to optimally use their output capabilities.
  • the principle of the invention is now the use of a content-based set of rules to distribute data streams or output data finely granularly to different output devices.
  • a method for managing or controlling data streams in a data processing system which are assigned at least two first output devices of the same first output type, which have different output capabilities, comprises the following steps.
  • a data stream of the first output type is provided by an application or software application that is executed on the data processing system. More specifically, this data stream is provided for output on an output device.
  • the data stream or its content is analyzed with regard to the output type and with regard to its output properties.
  • the data stream is supplied to those of the at least two first output devices, which are in accordance with a first predetermined set of rules, ie, one or more predetermined rules, for output with respect to the first output type and the analyzed output characteristics is provided.
  • a first predetermined set of rules ie, one or more predetermined rules
  • a modality or an output type may include a graphic output, an audio output or a mechanical output.
  • a graphic output can be realized by a screen or a display, such as a liquid crystal display.
  • Data streams that are now associated with an output type in the form of a graphical output may include different output characteristics.
  • data streams originating from an image file or representing an image include an image size or an image resolution or a color depth of an image.
  • Color depth refers to the number of colors used, which are the basis of an image or graphic.
  • a repetition rate for the output of the image sequences per time as output property can also be defined as an additional output property.
  • An audio output can be realized for example by an output device in the form of one or more speakers.
  • data streams which are assigned to the output type in the form of an audio output, as output characteristics a required frequency range or a possible output channel number, for example, a channel for mono, two channels for stereo, or five or more channels for Dolby surround systems include.
  • a mechanical output may, for example, be provided by an output device in the form of a vibration device. are given.
  • an output characteristic of a data stream associated with the output type in the form of a mechanical output may include a required vibration frequency for the vibration device.
  • the corresponding output devices or output devices may also have output characteristics.
  • a graphical output device such as a screen or a display, can thus support a specific image size, image resolution or a specific color depth.
  • an output device for the audio output such as a speaker system, may have output capabilities with respect to possible output channel number for a mono, stereo, or Dolby
  • a maximum vibration frequency can be defined as the output capability of the vibrator.
  • the data processing system not only output devices of a first output type, but also a second output device for outputting a data stream of a second output type. Furthermore, it is conceivable to assign to the data processing system not only a second output device but at least two second output devices for outputting a data stream of a second output type, wherein the at least two second output devices have different output capabilities.
  • a data stream after its analysis can then be supplied to that of the at least two output devices which are in accordance with a second predetermined set of rules, ie a second set consisting of one or more rules for output with respect to the second output type and the analyzed output properties is provided.
  • the first output type includes, for example, a graphic output
  • the second output type comprises an audio output
  • a data stream provided by an application which is intended for output on an output device may comprise at least two sub-data streams, to each of which a different output type is assigned. That is, a data stream of an application may include, for example, a sub-data stream associated with a graphical output and may include a second sub-data stream associated with an audio output. Accordingly, it is then possible for a first of the at least two partial data streams associated with the first output type to be forwarded to a specific one of the first output devices according to the first set of rules, while a second of the at least two partial data streams assigned to the second output type is to be forwarded according to second set of rules of a particular one of the second output devices is assigned.
  • markup-based output systems it is possible, for example, to extract individual partial data streams from the overall data stream during the analysis of a data stream of an application and to selectively send them to individual output devices. Thus, not the entire data stream is sent to an output device, but only a partial data stream.
  • the first predetermined and / or the second predetermined set of rules can be adapted by a user to his preferences. It can be assumed that a first or a first second set of rules, for example, by a manufacturer, and then adapted by a user to his needs. That is, a rule may be provided in the first and / or second predetermined rules by default that a standard output device be used to output a data stream of a particular output type, where a user may add rules for certain output characteristics of the data streams to be output, other than the standard output devices are to be used.
  • a data processing system which serves in particular for carrying out the method described above.
  • the data processing system has at least two first output devices of a same first output type, which have different output capabilities.
  • This output devices can be integrated in the data processing system, be firmly connected to this, but also be connected as an external device or external component detachably connected to the data processing system.
  • a detachable connection can be realized by means of a data cable between the DVA and the output device, wherein respective releasable plug connections are provided on the respective components and the data cable.
  • the data processing system and an output device can each have a wireless transmission module, such as a radio module or an infrared module, to produce a wireless and thus detachable connection.
  • the data processing system also has a processor device for executing an application and for providing a data stream of the first output type for output on an output device.
  • the data processing system has a control device for analyzing the data flow with regard to the output type and with respect to its output properties, the control device being designed to supply the data stream to those of the at least two first output devices which are available according to a first certain rules are provided for output with respect to the first output type and the analyzed output characteristics.
  • the output type may again include a graphic output, an audio output or a mechanical output.
  • the respective data streams to be output can in turn comprise specific output characteristics with respect to a respective output type, and the output devices can comprise specific output capabilities with respect to a respective output type, as has been described with regard to the method above.
  • the data processing system further comprises a second output device for outputting a data stream of a second output type. It is also conceivable that the data processing system has at least two second output devices for outputting a data stream of a second output type, wherein the at least two second output devices have different output capabilities. Thus, it is possible to forward a data stream after its analysis to that of the at least two second output devices, which is provided according to a second predetermined set of rules for output with respect to the second output type and the analyzed output characteristics.
  • a data stream of an application provided for output can be at least two
  • Partial data streams include, each of which is assigned a different output type.
  • first output devices In a configuration of the data processing system in which both at least two first output devices and at least two second output devices are provided, it is then possible to connect a first of at least two partial data streams associated with the first output type according to the first set of rules first output means while a second one of at least two partial data streams associated with the second output type is allocated to one of the at least two second output devices in accordance with the second set of rules.
  • the data processing system has an adjusting device for adapting the first predetermined set of rules and / or the second predetermined set of rules by a user.
  • an adjustment means may comprise, on the one hand, a keyboard for inputting characters and control instructions for creating new rules or for editing existing rules, and, on the other hand, a display device for graphically outputting the rules to a user.
  • a user can then specify any rules or rules for different output types and thus achieve a finely granular distribution of data streams or partial data streams.
  • the data processing system is designed as a portable electronic device, which may be formed, for example, as a mobile device or a portable computer.
  • the mobile device may be configured to be a mobile phone
  • the portable computer may be a PDA (PDA: Personal Digital Assistant) or an organizer.
  • PDA Personal Digital Assistant
  • Figure 1 is a schematic representation of the architecture of a data processing system in the form of a mobile phone according to a preferred embodiment
  • Figure 2 is a mobile phone according to Figure 1, which is connected to an external screen
  • FIG. 3 shows an example of a set of rules for the finely granular distribution of data streams
  • Figure 4 is a schematic representation of the distribution of data streams to predetermined output devices according to the present invention.
  • FIG. 1 shows a schematic architecture of a data processing system in the form of a mobile telephone MFG according to a preferred embodiment.
  • the architecture essentially corresponds to the architecture of a mobile terminal specified by the OMA (Open Mobile Alliance).
  • the mobile telephone MFG has several input / output devices EA1, EA2 and EA3, which are also referred to as so-called "user agents" (UAs), for inputting or outputting data.
  • a first input / output device EA1 which is integrated in the mobile telephone MFG, thereby supports a first modality or a first input / output type, namely in the form of a voice input and voice output.
  • the voice input is realized by an automatic speech recognition (ASR) input device for detecting and recognizing a user's voice input signals.
  • ASR automatic speech recognition
  • TTS which is designed to convert text into speech stored in the mobile telephone and to be transmitted to a user ("text-to-speech").
  • the second input / output device EA2 also integrated in the mobile phone is for inputting and outputting
  • the input of a character can be done in the form of the input of a handwriting element, the is detected by a handwriting recognition device HRE.
  • the handwriting recognition device HRE serves to detect or recognize a handwriting of a user and to derive control instructions therefrom.
  • the handwriting recognition can take place, for example, by means of a built-in or a sensor which can be connected to the mobile telephone MFG, for example an acceleration sensor which detects the movement of a user to describe a character and converts it into control instructions by means of a handwriting recognition system.
  • an output device more precisely a display device DSP, which is capable of outputting graphic contents of applications or software applications, can then be provided.
  • external input / output devices such as the third input / output device EA3, to the mobile telephone MFG in addition to the input / output devices EA1 and EA2 integrated in the mobile telephone.
  • Such a connection can take place, for example, by means of a data cable provided for this purpose, whereby a wireless connection, for example by means of an infrared interface or a Bluetooth interface, is also conceivable.
  • External input / output devices can have properties that are particularly adapted to a particular output type. It is thus possible for the input / output device EA3 to have an output device in the form of a display device DSP2 that is capable of reproducing images of large size or high resolution.
  • the mobile telephone MFG further comprises a device BGE for storing user preferences and device characteristics (for example the input / output devices as just described). In this case, it can be recorded as device properties which type of keyboard KBD is assigned to the mobile telephone MFG, or which display device DSP1 or DSP2 is provided with which output capabilities.
  • the output capabilities may include a maximum possible resolution or a maximum possible image size, a maximum possible color depth, or, in particular in the representation of moving images important, a maximum possible frame rate.
  • the mobile telephone MFG has a device LAE for the local execution of applications or applications (as a local Application Execution Enviroment).
  • the device LAE comprises a processor device which is designed to execute the applications.
  • a central control device or management device of the mobile telephone MFG which is in communication with the components just mentioned (as shown in FIG. 1), serves a so-called interaction manager CIM, which, as a mobile telephone, also acts as a client of a central computer application
  • the mobile telephone is connected, for example, via radio communication modules (not shown) and an antenna ANT to a network infrastructure or a mobile radio network infrastructure, to which a central output side for multi-modal services SB and an application logic AL connected thereto are also connected is.
  • the mobile radio network can operate, for example, according to the GSM (Global System for Mobile communication) or the UMTS (Universal Mobile Telecommunications System) standard.
  • GSM Global System for Mobile communication
  • UMTS Universal Mobile Telecommunications System
  • the interaction manager CIM has been extended by a component CRM that deals with the management of data streams based on content-based rules ("Content Rule -Based Management ").
  • this component CRM accesses content-based rules ("content rules") which are provided in a component or storage component CR for storing content-based rules or in rules sets with combined sets of rules.
  • content rules content rules
  • the component CRM is able to provide a fine-grained, content-based distribution of output data or data streams to different ones
  • the interaction manager can now, based on the rules, for example, send images of a certain size on the display device DSP2 of the third input / output device EA3, while other images are routed by default to the display device DSPL integrated in the mobile telephone MFG.
  • FIG. 2 is intended to explain a method for managing or controlling data streams in a data processing system in the form of a mobile telephone.
  • 2 shows an arrangement of a data processing system, here in the form of the mobile telephone MFG, and an external component connected to the mobile telephone, here in the form of the third input.
  • the mobile telephone MFG shown in the left-hand section of FIG. 2 corresponds to the mobile telephone MFG shown in FIG. 1, but here it is shown in a manner in which less is provided on the components provided inside, but on a top view from the outside onto the mobile telephone as the user perceives when executing applications) should be received.
  • the mobile telephone MFG visible from the outside
  • the mobile telephone MFG has an antenna ANT, a display device or display DSPL for displaying graphic contents, as well as a keyboard KBD for inputting control instructions, in particular for controlling applications.
  • the mobile phone MFG (not shown in Fig. 1) has a speaker LS for outputting audio data.
  • an application for realizing a virtual photo album is executed by the device LAE for locally executing applications on the mobile telephone MFG. More specifically, the application may be executed on the processor device of the device LAE. It is possible for the application data (application code) to be downloaded via the network N from the central output side for multi-modal services SB. Likewise, it is conceivable that the individual images or photos which are to be presented as part of the photo album application can be downloaded via the network N from the central output side for multimodal services SB. It is, however It is conceivable that the corresponding images or photos for the photo album are stored in a memory device (such as an exchangeable memory card) set up for this purpose on the mobile telephone MFG itself.
  • a memory device such as an exchangeable memory card
  • a first rule R1 means that images or photos in the "bitmap" format are to be routed to the input / output device EA2 in the standard case ("default").
  • Such a rule can be predetermined by the manufacturer of the mobile telephone, for example.
  • the keyboard KBD and the display device DSPL for displaying input characters can be used as an input device or setting device for content-based rules for the division of content to certain input / output devices. It is also conceivable that, for example, a mobile telephone, as in the embodiment of a folding telephone, has two different (internal) output devices with different output characteristics, whereby by means of the rules stored in the device CR one of the two internal output devices of the same output type can also be targeted can.
  • a user has set up a second rule R2, which states that images of the format "bitmap", which have a "resolution"> 320x240, the input / output device EA3 are to be supplied, since the display device DSP2 can output a high image resolution, which is not feasible from the DSPL display of the second input / output device.
  • the two rules R1 and R2 can be understood by the mobile telephone MFG such that in the first case all images of the format "bitmap" are to be fed to the input / output device EA2 by default, while only images are fed to the third input / output device
  • the rules can be interpreted in an exclusive way, with the second rule having a higher priority, so with such an exclusive interpretation, all images that have a resolution> 320 "240 pixels, the input / output device EA3 fed, while the remaining images of the default-set input / output device EA2 are fed.
  • MFG affiliated third input / output device EA3 and the display device DSP2 is shown only the image FO. It is assumed that the image FO is in the "bitmap" format and has a resolution> 320-240 pixels, so that it is due to this high resolution according to rule R2 on the external device or the third input / output device EA3 is reproduced. Since the Output means EA3 has a larger display DSP2 (as the display DSPL) capable of reproducing an image with a high resolution, by supplying the image FO to the display DSP2, the perception of the image FO for one User improved.
  • the display device DSPl of the mobile phone MFG is used in the present case more or less as a control display for the user, in addition to a small representation of the image FO also, as already mentioned, the control element STE, is shown here in the form of an arrow.
  • an arrow provided by the photo album application signals the user that there are more images in the photo album that can be displayed by pressing a control key on the keyboard KBD.
  • rule R3 in addition to the rules Rl and R2 also a third rule R3 is shown, which has been entered for example by a user via the keyboard KBD in the mobile phone MFG.
  • Rule R3 here does not refer to the output of images, but to another type of output, namely audio data. It indicates that audio data or audio streams having output characteristics provide a stereo output to be supplied to the third input / output device EA3.
  • the third input / output device EA3 has both a left speaker LSL and a right speaker LRL, and thus is capable of adequately outputting audio streams having a stereo output characteristic.
  • the mobile telephone MFG has only one loudspeaker LS for monaural output.
  • GD represented overall data stream GD consisting of a first partial data stream TDl, which represents the image FO, and a second partial data stream TD2, which represents the background music, analyzed by the interaction manager CIM or its component CRM with regard to its content and according to the rules R1, R2 and R3 of the device CR to the intended input / output devices EA2, EA3 or their concrete output devices DSP1, DSP2 or LS, LSL, LSR (display, speakers, etc.) supplied.
  • the provision of content-based rules which can also be combined to form respective regulations depending on the type of output, enables finely granular output specifically for certain input / output devices, and thus also an intelligent connection of external devices in particular to mobile devices is possible, so that multi-modal services can be offered with added value for the user.
  • the user has the advantage that he receives the output data, such as image and audio data automatically (according to the predetermined rules) on the appropriate output device for this data.

Abstract

Disclosed is a method for controlling data streams regarding output data in a data processing system (MFG). At least two first output devices (EA2, DSP1; EA3, DSP2) of an identical first output type, which have different output capabilities, are allocated to the data processing system. The data processing system further comprises a processor device (LAE) for executing an application and providing a data stream of the first output type to be output on an output device. The data processing system finally comprises a control device (CIM) for analyzing a data stream that is to be output regarding the output properties thereof and directing the data stream to the one of the at least two first output devices which is provided for outputting regarding the first output type and the analyzed output properties according to a first predetermined set of rules (CR).

Description

Beschreibungdescription
Verfahren zum Verwalten von Datenströmen in einer DatenverarbeitungsanlageMethod for managing data streams in a data processing system
Die vorliegende Erfindung betrifft ein Verfahren zum Verwalten bzw. Steuern von Datenströmen in einer Datenverarbeitungsanlage, sowie eine Datenverarbeitungsanlage, die dafür ausgelegt ist, Datenströme entsprechend ihres Inhalts auf be- stimmte der Datenverarbeitungsanlage zugeordnete Ausgabeeinrichtungen zu verteilen.The present invention relates to a method for managing data streams in a data processing system, and to a data processing system which is designed to distribute data streams according to their content to specific output devices associated with the data processing system.
Mobile Endgeräte, wie Mobiltelefone oder Organizer, sind begrenzt in ihrer Fähigkeit, multi-modale Inhalte bzw. Inhalte mit verschiedenen Ausgabetypen wiederzugeben. So sind beispielsweise Größe, Farbtiefe und Wiederholungsrate von Anzeigeeinrichtungen für die grafische Ausgabe, oder die Lautstärke und Qualität bei der Audio-Wiedergabe limitiert. Es ist jedoch möglich, diese Einschränkungen durch die Kopplung mit externen Geräten zu überwinden. Nach einer entsprechendenMobile devices, such as cell phones or organizers, are limited in their ability to render multi-modal content or content with different types of output. For example, the size, color depth and repetition rate of display devices for the graphic output, or the volume and quality of the audio playback are limited. However, it is possible to overcome these limitations by coupling with external devices. After a corresponding
Kopplung stehen dann prinzipiell mehrere Ausgabemöglichkeiten für die gleiche Modalität bzw. den gleichen Ausgabetyp zur Verfügung. Zwar stehen durch die Kopplung externer Geräte nun verschiedene Ausgabemöglichkeiten zur Verfügung, jedoch ist dadurch noch nicht das Problem gelöst, welche Datenströme bzw. welche Inhalte auf welche Ausgabegeräte (ob intern im Endgerät oder extern) ausgegeben werden sollen. Das bedeutet, es besteht keine Möglichkeit einer feinergranularen Aufteilung von Datenströmen bei mehreren Ausgabeeinrichtungen, wel- che die gleiche Modalität bzw. den gleichen Ausgabetyp unterstützen.In principle, several output options are available for the same modality or the same output type. Although different output options are available through the coupling of external devices, this does not solve the problem of which data streams or which contents are to be output to which output devices (whether internally in the terminal or externally). This means that there is no possibility of a finely granular distribution of data streams in the case of several output devices which support the same modality or the same output type.
Es sind zwar Architekturen für Endgerät vorhanden, die in der Lage sind, multimediale Daten zu verarbeiten und entsprechend multimediale Datenströme auf Ausgabeeinrichtungen zu verteilen. Jedoch erfolgt die Verteilung der Datenströme gemäß dem Dateityp, aus dem die multimedialen Daten hervorgehen (bei- spielsweise JPG (Joint Experts Picture Group) -Daten an JPG- Player, oder MP3-Daten an MP3-Player) . Entsprechend werden in der Architekturspezifikation für multi-modale Dienste auf mobilen Endgeräten bisher die Ausgabedaten an einzelne Ausgabe- einrichtungen ("User Agents": UA) entsprechend ihrer unterstützten Modalität verteilt.Although there are architectures for the terminal, which are able to process multimedia data and distribute correspondingly multimedia data streams to output devices. However, the distribution of the data streams is done according to the file type from which the multimedia data For example, JPG (Joint Experts Picture Group) data to JPG players, or MP3 data to MP3 players). Accordingly, in the architecture specification for multi-modal services on mobile terminals, the output data has hitherto been distributed to individual output devices ("user agents": UA) in accordance with their supported modality.
Somit besteht die Aufgabe der vorliegenden Erfindung darin, eine Möglichkeit zu schaffen, die Ausgabeeinrichtungen einer Datenverarbeitungsanlage gezielt anzusprechen, um deren Ausgabefähigkeiten optimal zu nutzen.Thus, the object of the present invention is to provide a way to specifically address the output devices of a data processing system to optimally use their output capabilities.
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprü- che.This object is solved by the independent claims. Advantageous embodiments are the subject of the subclaims.
Das Prinzip der Erfindung liegt nun in der Verwendung eines inhaltsbasierten Regelwerks, um Datenströme bzw. Ausgabedaten feingranular auf unterschiedliche Ausgabeeinrichtungen zu verteilen.The principle of the invention is now the use of a content-based set of rules to distribute data streams or output data finely granularly to different output devices.
Dabei umfasst ein Verfahren zum Verwalten bzw. Steuern von Datenströmen in einer Datenverarbeitungsanlage, der zumindest zwei erste Ausgabeeinrichtungen eines gleichen ersten Ausga- betyps zugeordnet sind, welche unterschiedliche Ausgabefähigkeiten haben, folgende Schritte. Es wird zunächst ein Datenstrom des ersten Ausgabetyps von einer Applikation bzw. Software-Anwendung bereitgestellt, die auf der Datenverarbeitungsanlage ausgeführt wird. Dieser Datenstrom wird genauer gesagt zur Ausgabe auf einer Ausgabeeinrichtung bereitgestellt. Anschließend wird der Datenstrom bzw. dessen Inhalt bezüglich des Ausgabetyps und bezüglich seiner Ausgabeeigenschaften analysiert. Dann wird der Datenstrom derjenigen der zumindest zwei ersten Ausgabeeinrichtungen zugeleitet, die gemäß einem ersten vorbestimmten Regelwerk, d. h. einer oder mehreren vorbestimmten Regeln, für eine Ausgabe bezüglich des ersten Ausgabetyps und den analysierten Ausgabeeigenschaften vorgesehen ist. Durch die Verwendung des inhaltsbasierten Regelwerks ist somit eine intelligente und fein granuläre Aufteilung von Ausgabeinhalten nicht nur auf Ausgabeeinrichtungen unterschiedlicher Modalität bzw. unterschiedlichen Ausga- betyps möglich, sondern auch eine gezielte Aufteilung von Ausgabeinhalten auf bestimmte Ausgabeeinrichtungen gleichen Ausgabetyps .In this case, a method for managing or controlling data streams in a data processing system, which are assigned at least two first output devices of the same first output type, which have different output capabilities, comprises the following steps. First, a data stream of the first output type is provided by an application or software application that is executed on the data processing system. More specifically, this data stream is provided for output on an output device. Subsequently, the data stream or its content is analyzed with regard to the output type and with regard to its output properties. Then, the data stream is supplied to those of the at least two first output devices, which are in accordance with a first predetermined set of rules, ie, one or more predetermined rules, for output with respect to the first output type and the analyzed output characteristics is provided. By using the content-based rules, an intelligent and finely granular distribution of output contents is thus possible not only on output devices of different modality or different output type, but also a targeted distribution of output contents to specific output devices of the same output type.
Eine Modalität bzw. ein Ausgabetyp kann dabei eine grafische Ausgabe, eine Audio-Ausgabe oder eine mechanische Ausgabe umfassen. Eine grafische Ausgabe kann dabei durch einen Bildschirm oder ein Display, wie ein Flüssigkristall-Display, realisiert werden. Datenströme, die nun einem Ausgabetyp in der Form einer grafischen Ausgabe zugeordnet sind, können ver- schiedene Ausgabeeigenschaften umfassen. Dabei umfassen insbesondere Datenströme, welche von einer Bilddatei stammen bzw. ein Bild darstellen, eine Bildgröße bzw. eine Bildauflösung oder eine Farbtiefe eines Bildes . Unter der Farbtiefe versteht man dabei die Anzahl der verwendeten Farben, die ei- nem Bild bzw. einer Grafik zu Grunde liegen. In dem Fall, in dem Datenströme nicht nur einzelne Bilder, sondern Bildsequenzen oder Videos repräsentieren, kann als zusätzliche Ausgabeeigenschaft auch noch eine Wiederholungsrate bei der Ausgabe der Bildsequenzen pro Zeit als Ausgabeeigenschaft defi- niert sein.A modality or an output type may include a graphic output, an audio output or a mechanical output. A graphic output can be realized by a screen or a display, such as a liquid crystal display. Data streams that are now associated with an output type in the form of a graphical output may include different output characteristics. In particular, data streams originating from an image file or representing an image include an image size or an image resolution or a color depth of an image. Color depth refers to the number of colors used, which are the basis of an image or graphic. In the case in which data streams represent not only individual images but also image sequences or videos, a repetition rate for the output of the image sequences per time as output property can also be defined as an additional output property.
Eine Audio-Ausgabe kann beispielsweise durch eine Ausgabeeinrichtung in der Form eines oder mehrerer Lautsprecher realisiert werden. Dabei können Datenströme, die den Ausgabetyp in der Form einer Audio-Ausgabe zugeordnet sind, als Ausgabeeigenschaften ein benötigten Frequenzbereich oder eine mögliche Ausgabekanalzahl, beispielsweise einen Kanal für Mono, zwei Kanäle für Stereo, bzw. fünf oder mehr Kanäle für Dolby- Surround-Systeme, umfassen.An audio output can be realized for example by an output device in the form of one or more speakers. In this case, data streams which are assigned to the output type in the form of an audio output, as output characteristics a required frequency range or a possible output channel number, for example, a channel for mono, two channels for stereo, or five or more channels for Dolby surround systems , include.
Eine mechanische Ausgabe kann beispielsweise durch eine Ausgabeeinrichtung in der Form einer Vibrationseinrichtung aus- gegeben werden. Dabei kann als Ausgabeeigenschaft eines Datenstroms, der dem Ausgabetyp in der Form einer mechanischen Ausgabe zugeordnet ist, eine erforderliche Vibrationsfrequenz für die Vibrationseinrichtung umfassen.A mechanical output may, for example, be provided by an output device in the form of a vibration device. are given. Herein, as an output characteristic of a data stream associated with the output type in the form of a mechanical output, may include a required vibration frequency for the vibration device.
Entsprechend den Ausgabeeigenschaften, die Datenströme bei der Ausgabe haben können, können auch die entsprechenden Ausgabeeinrichtungen bzw. Ausgabegeräte Ausgabeeigenschaften aufweisen bzw. unterstützen. Bezüglich der grafischen Ausgabe kann somit eine grafische Ausgabeeinrichtung, wie ein Bildschirm oder ein Display eine bestimmte Bildgröße, Bildauflösung oder eine bestimmte Farbtiefe unterstützen. Entsprechend kann eine Ausgabeeinrichtung für die Audio-Ausgabe, wie ein Lautsprechersystem, Ausgabefähigkeiten mit Bezug auf mögliche Ausgabekanalzahl für eine Mono-, Stereo-, oder Dolby-According to the output characteristics that data streams may have on output, the corresponding output devices or output devices may also have output characteristics. With regard to the graphic output, a graphical output device, such as a screen or a display, can thus support a specific image size, image resolution or a specific color depth. Accordingly, an output device for the audio output, such as a speaker system, may have output capabilities with respect to possible output channel number for a mono, stereo, or Dolby
Surround-Ausgabe oder einen möglichen ausgebbaren Frequenzbereich unterstützen. Mit Bezug auf die mechanische Ausgabe, die beispielsweise durch eine Vibrationseinrichtung verwirklicht wird, kann eine maximale Vibrationsfrequenz als Ausga- befähigkeit der Vibrationseinrichtung definiert werden.Support surround output or a possible outputable frequency range. With respect to the mechanical output realized by, for example, a vibrator, a maximum vibration frequency can be defined as the output capability of the vibrator.
Gemäß einer vorteilhaften Ausgestaltung ist es möglich, der Datenverarbeitungsanlage nicht nur Ausgabeeinrichtungen eines ersten Ausgabetyps zuzuordnen, sondern überdies noch eine zweite Ausgabeeinrichtung zur Ausgabe eines Datenstroms eines zweiten Ausgabetyps. Ferner ist es denkbar, der Datenverarbeitungsanlage nicht nur eine zweite Ausgabeeinrichtung, sondern zumindest zwei zweite Ausgabeeinrichtungen zur Ausgabe eines Datenstroms eines zweiten Ausgabetyps zuzuordnen, wobei die zumindest zwei zweiten Ausgabeeinrichtungen unterschiedliche Ausgabefähigkeiten haben. In dem Fall von zumindest zwei zweiten Ausgabeeinrichtungen kann dann ein Datenstrom nach dessen Analyse derjenigen der zumindest zwei Ausgabeeinrichtungen zugeleitet werden, die gemäß einem zweiten vorbe- stimmten Regelwerk, d.h. einem zweiten Satz bestehend aus einer oder mehreren Regeln, für eine Ausgabe bezüglich des zweiten Ausgabetyps und den analysierten Ausgabeeigenschaften vorgesehen ist. Das bedeutet, umfasst der erste Ausgabetyp beispielsweise eine grafische Ausgabe und umfasst der zweite Ausgabetyp eine Audio-Ausgabe, so ist es gemäß der gerade erläuterten Ausgestaltung möglich, Datenströme bezüglich einer grafischen Ausgabe feingranular nach dem ersten Regelwerk an eine bestimmte Ausgabeeinrichtung zu verteilen und ist es ferner möglich, Datenströme mit Audio-Inhalten gemäß dem zweiten vorbestimmten Regelwerk auf eine entsprechende Ausgabeeinrichtung feingranular zu verteilen.According to an advantageous embodiment, it is possible to assign the data processing system not only output devices of a first output type, but also a second output device for outputting a data stream of a second output type. Furthermore, it is conceivable to assign to the data processing system not only a second output device but at least two second output devices for outputting a data stream of a second output type, wherein the at least two second output devices have different output capabilities. In the case of at least two second output devices, a data stream after its analysis can then be supplied to that of the at least two output devices which are in accordance with a second predetermined set of rules, ie a second set consisting of one or more rules for output with respect to the second output type and the analyzed output properties is provided. That is, if the first output type includes, for example, a graphic output, and the second output type comprises an audio output, it is possible according to the embodiment just described to distribute data streams with respect to a graphic output fine granularly according to the first set of rules to a particular output device Furthermore, possible to distribute data streams with audio content according to the second predetermined set of rules to a corresponding output device finely granular.
Gemäß einer weiteren Ausgestaltung ist es denkbar, dass ein von einer Applikation bereitgestellter Datenstrom der zur Ausgabe auf einer Ausgabeeinrichtung bestimmt ist, zumindest zwei Teildatenströme umfasst, denen jeweils ein unterschied- licher Ausgabetyp zugeordnet ist. Das bedeutet, ein Datenstrom einer Applikation kann beispielsweise einen Teildatenstrom umfassen, der einer grafischen Ausgabe zugeordnet ist, und kann einen zweiten Teildatenstrom umfassen, der einer Audio-Ausgabe zugeordnet ist. Entsprechend ist es dann möglich, dass ein erster der zumindest zwei Teildatenströme, der dem ersten Ausgabetyp zugeordnet ist, gemäß dem ersten Regelwerk einer bestimmten der ersten Ausgabeeinrichtungen zugeleitet wird, während ein zweiter der zumindest zwei Teildatenströme, der dem zweiten Ausgabetyp zugeordnet ist, gemäß dem zweiten Regelwerk einer bestimmten der zweiten Ausgabeeinrichtungen zugeordnet wird. Somit ist es beispielsweise bei Markupbasierten Ausgangssystemen möglich, bei der Analyse eines Datenstroms einer Applikation einzelne Teildatenströme aus dem Gesamtdatenstrom zu extrahieren und an einzelne Ausgabeein- richtungen gezielt zuzuleiten. Dadurch wird also nicht der gesamte Datenstrom an eine Ausgabeeinrichtung geschickt, sondern nur ein Teildatenstrom.In accordance with a further embodiment, it is conceivable for a data stream provided by an application which is intended for output on an output device to comprise at least two sub-data streams, to each of which a different output type is assigned. That is, a data stream of an application may include, for example, a sub-data stream associated with a graphical output and may include a second sub-data stream associated with an audio output. Accordingly, it is then possible for a first of the at least two partial data streams associated with the first output type to be forwarded to a specific one of the first output devices according to the first set of rules, while a second of the at least two partial data streams assigned to the second output type is to be forwarded according to second set of rules of a particular one of the second output devices is assigned. Thus, in the case of markup-based output systems, it is possible, for example, to extract individual partial data streams from the overall data stream during the analysis of a data stream of an application and to selectively send them to individual output devices. Thus, not the entire data stream is sent to an output device, but only a partial data stream.
Gemäß einer weiteren vorteilhaften Ausgestaltung ist das ers- te vorbestimmte und/oder das zweite vorbestimmte Regelwerk von einem Benutzer an dessen Präferenzen anpassbar. Dabei kann vorausgesetzt werden, dass zunächst ein erstes bzw. ein zweites Regelwerk beispielsweise durch einen Hersteller festgelegt wurde, und dann von einem Benutzer an dessen Bedürfnisse angepasst wurde. Das bedeutet, es kann von Haus aus eine Regel in dem ersten und/oder dem zweiten vorbestimmten Re- gelwerk vorgesehen sein, dass für die Ausgabe eines Datenstroms eines bestimmten Ausgabetyps eine Standard- Ausgabeeinrichtung verwendet werden soll, wobei ein Benutzer Regeln hinzufügen kann, dass bei bestimmten Ausgabeeigenschaften der auszugebenden Datenströme andere als die Stan- dard-Ausgabeeinrichtungen zu verwenden sind.According to a further advantageous embodiment, the first predetermined and / or the second predetermined set of rules can be adapted by a user to his preferences. It can be assumed that a first or a first second set of rules, for example, by a manufacturer, and then adapted by a user to his needs. That is, a rule may be provided in the first and / or second predetermined rules by default that a standard output device be used to output a data stream of a particular output type, where a user may add rules for certain output characteristics of the data streams to be output, other than the standard output devices are to be used.
Gemäß einem weiteren Aspekt der Erfindung wird eine Datenverarbeitungsanlage geschaffen, die insbesondere zur Ausführung des oben beschriebenen Verfahrens dient. Dabei hat die Daten- Verarbeitungsanlage zumindest zwei erste Ausgabeeinrichtungen eines gleichen ersten Ausgabetyps, welche unterschiedliche Ausgabefähigkeiten haben. Diese Ausgabeeinrichtungen können dabei in der Datenverarbeitungsanlage integriert sein, mit dieser fest verbunden sein, jedoch auch als externes Gerät oder externe Komponente lösbar mit der Datenverarbeitungsanlage verbunden sein. Eine lösbare Verbindung kann dabei mittels eines Datenkabels zwischen der DVA und der Ausgabeeinrichtung realisiert sein, wobei an den jeweiligen Komponenten und dem Datenkabel jeweilige lösbare Steckverbindungen vorge- sehen sind. Ferner kann die Datenverarbeitungsanlage sowie eine Ausgabeeinrichtung jeweils ein drahtloses Übertragungsmodul, wie ein Funkmodul oder ein Infrarot-Modul aufweisen, um eine drahtlose und somit lösbare Verbindung herzustellen. Die Datenverarbeitungsanlage hat außerdem eine Prozessorein- richtung zum Ausführen einer Applikation und zum Bereitstellen eines Datenstroms des ersten Ausgabetyps für die Ausgabe auf einer Ausgabeeinrichtung. Schließlich hat die Datenverarbeitungsanlage eine Steuereinrichtung zum Analysieren des Datenstroms bezüglich des Ausgabetyps und bezüglich dessen Aus- gabeeigenschaften, wobei die Steuereinrichtung dafür ausgelegt ist, den Datenstrom derjenigen der zumindest zwei ersten Ausgabeeinrichtungen zuzuleiten, die gemäß einem ersten vor- bestimmten Regelwerk für eine Ausgabe bezüglich des ersten Ausgabetyps und den analysierten Ausgabeeigenschaften vorgesehen ist.According to a further aspect of the invention, a data processing system is provided, which serves in particular for carrying out the method described above. In this case, the data processing system has at least two first output devices of a same first output type, which have different output capabilities. This output devices can be integrated in the data processing system, be firmly connected to this, but also be connected as an external device or external component detachably connected to the data processing system. A detachable connection can be realized by means of a data cable between the DVA and the output device, wherein respective releasable plug connections are provided on the respective components and the data cable. Furthermore, the data processing system and an output device can each have a wireless transmission module, such as a radio module or an infrared module, to produce a wireless and thus detachable connection. The data processing system also has a processor device for executing an application and for providing a data stream of the first output type for output on an output device. Finally, the data processing system has a control device for analyzing the data flow with regard to the output type and with respect to its output properties, the control device being designed to supply the data stream to those of the at least two first output devices which are available according to a first certain rules are provided for output with respect to the first output type and the analyzed output characteristics.
Entsprechend obiger Beschreibung bezüglich des Verfahrens kann der Ausgabetyp wieder eine grafische Ausgabe, eine Audio-Ausgabe oder eine mechanische Ausgabe umfassen. Dabei können die jeweiligen auszugebenden Datenströme wiederum bestimmte Ausgabeeigenschaften bezüglich eines jeweiligen Aus- gabetyps umfassen, und können die Ausgabeeinrichtungen bestimmte Ausgabefähigkeiten bezüglich eines jeweiligen Ausgabetyps umfassen, wie es bezüglich des Verfahrens oben beschrieben worden ist.According to the above description regarding the method, the output type may again include a graphic output, an audio output or a mechanical output. In this case, the respective data streams to be output can in turn comprise specific output characteristics with respect to a respective output type, and the output devices can comprise specific output capabilities with respect to a respective output type, as has been described with regard to the method above.
Gemäß einer vorteilhaften Ausgestaltung umfasst die Datenverarbeitungsanlage ferner eine zweite Ausgabeeinrichtung zur Ausgabe eines Datenstroms eines zweiten Ausgabetyps. Es ist ferner denkbar, dass die Datenverarbeitungsanlage zumindest zwei zweite Ausgabeeinrichtungen zur Ausgabe eines Daten- Stroms eines zweiten Ausgabetyps aufweist, wobei die zumindest zwei zweiten Ausgabeeinrichtungen unterschiedliche Ausgabefähigkeiten haben. Somit ist es möglich, einen Datenstrom nach dessen Analyse derjenigen der zumindest zwei zweiten Ausgabeeinrichtungen zuzuleiten, die gemäß einem zweiten vor- bestimmten Regelwerk für eine Ausgabe bezüglich des zweiten Ausgabetyps und den analysierten Ausgabeeigenschaften vorgesehen ist.According to an advantageous embodiment, the data processing system further comprises a second output device for outputting a data stream of a second output type. It is also conceivable that the data processing system has at least two second output devices for outputting a data stream of a second output type, wherein the at least two second output devices have different output capabilities. Thus, it is possible to forward a data stream after its analysis to that of the at least two second output devices, which is provided according to a second predetermined set of rules for output with respect to the second output type and the analyzed output characteristics.
Gemäß einer weiteren Ausgestaltung kann ein zur Ausgabe be- reitgestellter Datenstrom einer Applikation zumindest zweiAccording to a further refinement, a data stream of an application provided for output can be at least two
Teildatenströme umfassen, denen jeweils ein unterschiedlicher Ausgabetyp zugeordnet ist. Bei einer Konfiguration der Datenverarbeitungsanlage, bei der sowohl zumindest zwei erste Ausgabeeinrichtungen und zumindest zwei zweite Ausgabeeinrich- tungen vorgesehen sind, ist es dann möglich, einen ersten von zumindest zwei Teildatenströmen, der dem ersten Ausgabetyp zugeordnet ist, entsprechend dem ersten Regelwerk einer der ersten Ausgabeeinrichtungen zuzuleiten, während ein zweiter von zumindest zwei Teildatenströmen, der dem zweiten Ausgabetyp zugeordnet ist, entsprechend dem zweiten Regelwerk einer der zumindest zwei zweiten Ausgabeeinrichtungen zugeordnet wird.Partial data streams include, each of which is assigned a different output type. In a configuration of the data processing system in which both at least two first output devices and at least two second output devices are provided, it is then possible to connect a first of at least two partial data streams associated with the first output type according to the first set of rules first output means while a second one of at least two partial data streams associated with the second output type is allocated to one of the at least two second output devices in accordance with the second set of rules.
Gemäß einer weiteren Ausgestaltung hat die Datenverarbeitungsanlage eine Einstelleinrichtung zum Anpassen des ersten vorbestimmten Regelwerks und/oder des zweiten vorbestimmten Regelwerks durch einen Benutzer. Eine derartige Einstelleinrichtung kann dabei zum einen eine Tastatur zum Eingeben von Schriftzeichen und Steueranweisungen zum Erstellen neuer Regeln oder zum Bearbeiten bestehender Regeln, und zum anderen eine Anzeigeeinrichtung zur grafischen Ausgabe der Regeln an einen Benutzer umfassen. Mittels dieser Einstellungseinrichtung kann dann ein Benutzer beliebige Regeln bzw. Regelwerke für verschiedene Ausgabetypen festlegen und somit eine feingranulare Verteilung von Datenströme bzw. Teildatenströmen erreichen.According to a further embodiment, the data processing system has an adjusting device for adapting the first predetermined set of rules and / or the second predetermined set of rules by a user. Such an adjustment means may comprise, on the one hand, a keyboard for inputting characters and control instructions for creating new rules or for editing existing rules, and, on the other hand, a display device for graphically outputting the rules to a user. By means of this setting device, a user can then specify any rules or rules for different output types and thus achieve a finely granular distribution of data streams or partial data streams.
Gemäß einer vorteilhaften Ausgestaltung ist die Datenverarbeitungsanlage als ein tragbares elektronisches Gerät ausgebildet, das beispielsweise als ein Mobilfunkgerät oder ein tragbarer Computer ausgebildet sein kann. Diesbezüglich kann das Mobilfunkgerät beispielsweise in der Ausführung eines Mobiltelefons gestaltet sein und kann der tragbare Computer als ein PDA (PDA: Personal Digital Assistant) oder ein Organizer ausgebildet sein.According to an advantageous embodiment, the data processing system is designed as a portable electronic device, which may be formed, for example, as a mobile device or a portable computer. In this regard, for example, the mobile device may be configured to be a mobile phone, and the portable computer may be a PDA (PDA: Personal Digital Assistant) or an organizer.
Bevorzugte Ausführungsformen der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:Preferred embodiments of the present invention will be explained in more detail below with reference to the accompanying drawings. Show it:
Figur 1 eine schematische Darstellung der Architektur einer Datenverarbeitungsanlage in der Form eines Mobiltelefons gemäß einer bevorzugten Ausführungsform; Figur 2 ein Mobiltelefon nach Figur 1, das mit einem externen Bildschirm verbunden ist;Figure 1 is a schematic representation of the architecture of a data processing system in the form of a mobile phone according to a preferred embodiment; Figure 2 is a mobile phone according to Figure 1, which is connected to an external screen;
Figur 3 ein Beispiel eines Regelwerks zur fein granulären Verteilung von Datenströmen;FIG. 3 shows an example of a set of rules for the finely granular distribution of data streams;
Figur 4 eine schematische Darstellung der Verteilung von Datenströmen an vorbestimmte Ausgabeeinrichtungen gemäß der vorliegenden Erfindung.Figure 4 is a schematic representation of the distribution of data streams to predetermined output devices according to the present invention.
Es sei zunächst auf Figur 1 verwiesen, in der eine schematische Architektur einer Datenverarbeitungsanlage in der Form eines Mobiltelefons MFG gemäß einer bevorzugten Ausführungsform gezeigt ist. Die Architektur entspricht dabei im Wesent- liehen der von der OMA (OMA: Open Mobile Alliance) spezifizierten Architektur eines mobilen Endgeräts.Reference is first made to FIG. 1, which shows a schematic architecture of a data processing system in the form of a mobile telephone MFG according to a preferred embodiment. The architecture essentially corresponds to the architecture of a mobile terminal specified by the OMA (Open Mobile Alliance).
Das Mobiltelefon MFG hat dabei mehrere Ein-/Ausgabeeinrich- tungen EAl, EA2 und EA3, welche auch als so genannte "User Agents" (UA' s) bezeichnet werden, zum Eingeben bzw. Ausgeben von Daten. Eine erste Ein-/Ausgabeeinrichtung EAl, welche in dem Mobiltelefon MFG integriert ist, unterstützt dabei eine erste Modalität bzw. einen ersten Eingabe/Ausgabetyp, nämlich in der Form einer Spracheingabe und Sprachausgabe. Die Spracheingabe wird durch eine Eingabeeinrichtung ASR zur automatischen Spracherkennung ("Automatic Speech Recognition") zum Erfassen und Erkennen von Spracheingabesignalen eines Benutzers realisiert. Die Sprachausgabe wird durch eine Ausgabeeinrichtung TTS realisiert, die dafür ausgelegt ist, im Mo- biltelefon gespeicherten und einem Benutzer zu übermittelnden Text in Sprache umzusetzen bzw. zu synthetisieren ("Text-to- Speech") .The mobile telephone MFG has several input / output devices EA1, EA2 and EA3, which are also referred to as so-called "user agents" (UAs), for inputting or outputting data. A first input / output device EA1, which is integrated in the mobile telephone MFG, thereby supports a first modality or a first input / output type, namely in the form of a voice input and voice output. The voice input is realized by an automatic speech recognition (ASR) input device for detecting and recognizing a user's voice input signals. The speech output is realized by an output device TTS, which is designed to convert text into speech stored in the mobile telephone and to be transmitted to a user ("text-to-speech").
Die zweite ebenso in dem Mobiltelefon integrierte Ein- /Ausgabeeinrichtung EA2 ist zum Eingeben und Ausgeben vonThe second input / output device EA2 also integrated in the mobile phone is for inputting and outputting
Zeichen ausgelegt. Die Eingabe eines Zeichens kann dabei in der Form der Eingabe eines Handschriftelements erfolgen, das durch eine Handschrifterkennungseinrichtung HRE erfasst wird. Die Handschrifterkennungseinrichtung HRE dient dazu, eine Handschrift eines Benutzers zu erfassen bzw. zu erkennen, und daraus Steueranweisungen herzuleiten. Dabei kann die Hand- schrifterkennung beispielsweise mittels eines eingebauten o- der eines mit dem Mobiltelefon MFG verbindbaren Sensors, beispielsweise eines Beschleunigungssensors, erfolgen, der die Bewegung eines Benutzers zur Beschreibung eines Schriftzeichens erfasst und mittels eines Handschrifterkennungssystems in Steueranweisungen umsetzt. Neben der Handschrifterkennung ist es auch denkbar, mittels haptischer Eingabemöglichkeiten, beispielsweise durch eine Tastatur KBD Zeichen bzw. Steueranweisungen in das Mobiltelefon MFG einzugeben. Zur Ausgabe von Informationen für einen Benutzer kann dann ein Ausgabeein- richtung, genauer eine Anzeigeeinrichtung DSPl vorgesehen sein, die in der Lage ist, grafische Inhalte von Applikationen bzw. Software-Anwendungen auszugeben.Characters designed. The input of a character can be done in the form of the input of a handwriting element, the is detected by a handwriting recognition device HRE. The handwriting recognition device HRE serves to detect or recognize a handwriting of a user and to derive control instructions therefrom. In this case, the handwriting recognition can take place, for example, by means of a built-in or a sensor which can be connected to the mobile telephone MFG, for example an acceleration sensor which detects the movement of a user to describe a character and converts it into control instructions by means of a handwriting recognition system. In addition to handwriting recognition, it is also conceivable to input characters or control statements into the mobile telephone MFG by means of haptic input options, for example by means of a keyboard KBD. In order to output information for a user, an output device, more precisely a display device DSP, which is capable of outputting graphic contents of applications or software applications, can then be provided.
Nun ist es jedoch auch denkbar, neben den im Mobiltelefon in- tegrierten Ein-/Ausgabeeinrichtungen EAl und EA2 externe Ein- /Ausgabeeinrichtungen, wie die dritte Ein-/Ausgabeeinrichtung EA3, mit dem Mobiltelefon MFG zu verbinden. Eine derartige Verbindung kann beispielsweise mittels eines dafür vorgesehenen Datenkabels stattfinden, wobei auch eine drahtlose Ver- bindung, beispielsweise mittels einer Infrarot-Schnittstelle oder einer Bluetooth-Schnittstelle denkbar ist. Externer Ein- /Ausgabeeinrichtungen können dabei an einen bestimmten Ausgabetyp besonders angepasste Eigenschaften aufweisen. So ist es möglich, dass die Ein-/Ausgabeeinrichtung EA3 eine Ausgabe- einrichtung in der Form einer Anzeigeeinrichtung DSP2 aufweist, die in der Lage ist, Bilder großer Größe bzw. großer Auflösung wiederzugeben. Das bedeutet, durch Anbindung der Anzeigeeinrichtung DSP2 an das Mobiltelefon MFG ist es möglich, auf dem Mobiltelefon MFG gespeicherte Bilder hoher Auf- lösung zur vollwertigen Ausgabe nicht auf der Anzeigeeinrichtung DSPl, sondern auf der externen Anzeigeeinrichtung DSP2 auszugeben. Eine genaue Verteilung von Datenströmen, bei- spielsweise solcher, welche ein Bild repräsentieren, wird unten noch genauer mit Bezug auf eine bevorzugte Ausführungsform erläutert.However, it is also conceivable to connect external input / output devices, such as the third input / output device EA3, to the mobile telephone MFG in addition to the input / output devices EA1 and EA2 integrated in the mobile telephone. Such a connection can take place, for example, by means of a data cable provided for this purpose, whereby a wireless connection, for example by means of an infrared interface or a Bluetooth interface, is also conceivable. External input / output devices can have properties that are particularly adapted to a particular output type. It is thus possible for the input / output device EA3 to have an output device in the form of a display device DSP2 that is capable of reproducing images of large size or high resolution. This means that by connecting the display device DSP2 to the mobile telephone MFG, it is possible to output images of high resolution for full-value output stored on the mobile telephone MFG not on the display device DSP1 but on the external display device DSP2. An accurate distribution of data streams, while For example, those representing an image will be explained in more detail below with reference to a preferred embodiment.
Das Mobiltelefon MFG umfasst ferner eine Einrichtung BGE zum Speichern von Benutzerpräferenzen und Geräteeigenschaften (beispielsweise der Ein-/Ausgabeeinrichtungen wie gerade erläutert) . Als Geräteeigenschaften können dabei festgehalten werden, welche Art von Tastatur KBD dem Mobiltelefon MFG zu- geordnet ist, oder welche Anzeigeeinrichtung DSPl bzw. DSP2 mit welchen Ausgabefähigkeiten vorgesehen ist. Die Ausgabefähigkeiten können dabei eine maximal mögliche Auflösung bzw. eine maximal mögliche Bildgröße, eine maximal mögliche Farbtiefe, oder insbesondere bei der Darstellung von bewegten Bildern wichtig, eine maximal mögliche Bildwiederholungsrate umfassen. Des Weiteren weist das Mobiltelefon MFG eine Einrichtung LAE zum lokalen Ausführen von Applikationen bzw. Anwendungen (als lokales Application Execution Enviroment) auf. Die Einrichtung LAE umfasst dabei eine Prozessoreinrichtung, die zum Ausführen der Applikationen ausgelegt ist. Als zentrale Steuereinrichtung oder Verwaltungseinrichtung des Mobiltelefons MFG, die mit den gerade erwähnten Komponenten in Verbindung steht (wie es in Figur 1 gezeigt ist) , dient ein so genannter Interaktions-Manager CIM, der, da ein Mobiltele- fon auch als ein Klient einer zentralen Applikations-The mobile telephone MFG further comprises a device BGE for storing user preferences and device characteristics (for example the input / output devices as just described). In this case, it can be recorded as device properties which type of keyboard KBD is assigned to the mobile telephone MFG, or which display device DSP1 or DSP2 is provided with which output capabilities. The output capabilities may include a maximum possible resolution or a maximum possible image size, a maximum possible color depth, or, in particular in the representation of moving images important, a maximum possible frame rate. Furthermore, the mobile telephone MFG has a device LAE for the local execution of applications or applications (as a local Application Execution Enviroment). The device LAE comprises a processor device which is designed to execute the applications. As a central control device or management device of the mobile telephone MFG, which is in communication with the components just mentioned (as shown in FIG. 1), serves a so-called interaction manager CIM, which, as a mobile telephone, also acts as a client of a central computer application
Verwaltungseinheit gesehen werden kann, als ein Klientseitiger Interaktions-Manager ("dient interaction manager") bezeichnet werden kann. Das Mobiltelefon steht beispielsweise über Funkkommunikationsmodule (nicht dargestellt) und eine Antenne ANT mit einer Netz-Infrastruktur bzw. einer Mobilfunknetz-Infrastruktur in Verbindung, mit der ferner eine zentrale Ausgangsseite für multi-modale Dienste SB sowie einer mit dieser verbundenen Applikations-Logik AL verbunden ist. Das Mobilfunknetz kann dabei beispielsweise nach dem GSM-(GSM: Global System for Mobile communication) oder dem UMTS-(UMTS: Universal Mobile Telecommunications System) Standard arbeiten. Als Kennzeichen der in Figur 1 dargestellten Architektur einer bevorzugten Ausführungsform für ein mobiles Endgerät ist, dass der Interaktions-Manager CIM um eine Komponente bzw. Verwaltungskomponente CRM erweitert wurde, die sich mit der Verwaltung von Datenströmen auf der Grundlage von inhaltsbasierten Regeln ("Content Rule-Based Management") beschäftigt. Diese Komponente CRM greift dabei auf inhaltsbasierte Regeln ("Content Rules") zu, welche in einer Komponen- te bzw. Speicherkomponente CR zum Speichern von inhaltsbasierten Regeln oder in Regelwerken mit zusammengefassten Sätzen von Regeln vorgesehen sind. Durch den Zugriff auf die inhaltsbasierten Regeln der Komponente CR ist die Komponente CRM in der Lage, eine feingranulare, inhaltsbasierte Auftei- lung von Ausgabedaten bzw. Datenströmen auf verschiedenenCan be considered a client-side interaction manager. The mobile telephone is connected, for example, via radio communication modules (not shown) and an antenna ANT to a network infrastructure or a mobile radio network infrastructure, to which a central output side for multi-modal services SB and an application logic AL connected thereto are also connected is. The mobile radio network can operate, for example, according to the GSM (Global System for Mobile communication) or the UMTS (Universal Mobile Telecommunications System) standard. As an indication of the architecture of a preferred embodiment for a mobile terminal illustrated in Figure 1, the interaction manager CIM has been extended by a component CRM that deals with the management of data streams based on content-based rules ("Content Rule -Based Management "). In this case, this component CRM accesses content-based rules ("content rules") which are provided in a component or storage component CR for storing content-based rules or in rules sets with combined sets of rules. By accessing the content-based rules of the component CR, the component CRM is able to provide a fine-grained, content-based distribution of output data or data streams to different ones
Ein-/Ausgabeeinrichtungen durchzuführen. Das bedeutet, durch die inhaltsbasierten Regeln ist es nicht nur möglich, Datenströme auf Ein-/Ausgabeeinrichtungen verschiedenen Ausgabetyps (wie grafische Ausgabe oder Audio-Ausgabe) zu verteilen, sondern auch gezielt auf bestimmte Ein-/Ausgabeeinrichtungen bzw. diesen zugeordneten Ausgabeeinrichtungen oder Ausgabegeräten (wie Anzeige oder Lautsprecher) des gleichen Ausgabetyps. Der Interaktions-Manager (einschließlich seiner Komponente CRM) kann nun basierend auf den Regeln beispielsweise Bilder ab einer bestimmten Größe auf der Anzeigeeinrichtung DSP2 der dritten Ein-/Ausgabeeinrichtung EA3 zuleiten, während andere Bilder standardmäßig auf die im Mobiltelefon MFG integrierte Anzeigeeinrichtung DSPl geleitet werden.To perform input / output devices. This means that the content-based rules not only make it possible to distribute data streams to input / output devices of different output types (such as graphic output or audio output), but also specifically to specific input / output devices or output devices or output devices associated therewith ( like display or speaker) of the same output type. The interaction manager (including its component CRM) can now, based on the rules, for example, send images of a certain size on the display device DSP2 of the third input / output device EA3, while other images are routed by default to the display device DSPL integrated in the mobile telephone MFG.
In Markup-basierten Systemen ist es dann auch möglich, dass ein Gesamtdatenstrom getrennt wird, so dass einzelne Teildatenströme, welche beispielsweise Bilder repräsentieren, an eine externe Ein-/Ausgabeeinrichtungen EA3 geschickt werden, das "volle" Applikations-Markup jedoch an die interne Ein- /Ausgabeeinrichtung EA2 gesendet wird, welche eine graphische Benutzerschnittelle bereitstellt . Es sei nun auf Figur 2 verwiesen, anhand der ein Verfahren zum Verwalten beziehungsweise Steuern von Datenströmen in einer Datenverarbeitungsanlage in der Form eines Mobiltelefons erläutert werden soll. Dazu zeigt Figur 2 eine Anordnung aus einer Datenverarbeitungsanlage, hier in Form des Mobiltelefons MFG, und einer mit dem Mobiltelefon verbunden externen Komponente, hier in der Form der dritten Ein-In markup-based systems, it is then also possible for an overall data stream to be separated, so that individual partial data streams representing, for example, images are sent to an external input / output device EA3, but the "full" application markup is sent to the internal one / EA2 output device which provides a graphical user interface. Reference is now made to FIG. 2, which is intended to explain a method for managing or controlling data streams in a data processing system in the form of a mobile telephone. 2 shows an arrangement of a data processing system, here in the form of the mobile telephone MFG, and an external component connected to the mobile telephone, here in the form of the third input.
/Ausgabeeinrichtung EA3, welche beispielsweise von einem Computerbildschirm bzw. Fernseher gebildet werden kann. Das im linken Bildabschnitt von Figur 2 gezeigte Mobiltelefon MFG entspricht dabei dem in Figur 1 dargestellten Mobiltelefon MFG, jedoch ist es hier in einer Art und Weise gezeigt, in der weniger auf die im Inneren vorgesehenen Komponenten, sondern auf eine Draufsicht von außen auf das Mobiltelefon, wie es der Benutzer bei der Ausführung von Applikationen wahrnimmt) eingegangen werden soll. Wie bereits bezüglich Figur 1 erwähnt, hat das Mobiltelefon MFG (von außen sichtbar) eine Antenne ANT, eine Anzeigeeinrichtung bzw. ein Display DSPl zum Anzeigen von grafischen Inhalten, sowie eine Tastatur KBD zum Eingeben von Steueranweisungen, insbesondere zur Steuerung von Applikationen. Außerdem hat das Mobiltelefon MFG (in Figur 1 nicht dargestellt) einen Lautsprecher LS zum Ausgeben von Audio-Daten./ Output device EA3, which can be formed for example by a computer screen or television. The mobile telephone MFG shown in the left-hand section of FIG. 2 corresponds to the mobile telephone MFG shown in FIG. 1, but here it is shown in a manner in which less is provided on the components provided inside, but on a top view from the outside onto the mobile telephone as the user perceives when executing applications) should be received. As already mentioned with regard to FIG. 1, the mobile telephone MFG (visible from the outside) has an antenna ANT, a display device or display DSPL for displaying graphic contents, as well as a keyboard KBD for inputting control instructions, in particular for controlling applications. In addition, the mobile phone MFG (not shown in Fig. 1) has a speaker LS for outputting audio data.
Zur Erläuterung eines Verfahrens zum Verwalten von Datenströmen wird angenommen, dass eine Applikation zum Realisieren eines virtuellen Fotoalbums durch die Einrichtung LAE zum lokalen Ausführen von Applikationen auf dem Mobiltelefon MFG ausgeführt wird. Genauer gesagt, kann die Applikation auf der Prozessoreinrichtung der Einrichtung LAE ausgeführt werden. Dabei ist es möglich, dass die Applikationsdaten (Applikationscode) über das Netzwerk N von der zentralen Ausgangsseite für multi-modale Dienste SB herunter geladen wird. Ebenso ist es denkbar, dass die einzelnen Bilder bzw. Fotos, die im Rah- men der Fotoalbum-Applikation präsentiert werden sollen, über das Netzwerk N von der zentralen Ausgangsseite für multimodale Dienste SB herunterladbar sind. Es ist jedoch auch denkbar, dass die entsprechenden Bilder oder Fotos für das Fotoalbum in einer dafür eingerichteten Speichereinrichtung (wie einer auswechselbaren Speicherkarte) auf dem Mobiltelefon MFG selbst gespeichert sind.To explain a method for managing data streams, it is assumed that an application for realizing a virtual photo album is executed by the device LAE for locally executing applications on the mobile telephone MFG. More specifically, the application may be executed on the processor device of the device LAE. It is possible for the application data (application code) to be downloaded via the network N from the central output side for multi-modal services SB. Likewise, it is conceivable that the individual images or photos which are to be presented as part of the photo album application can be downloaded via the network N from the central output side for multimodal services SB. It is, however It is conceivable that the corresponding images or photos for the photo album are stored in a memory device (such as an exchangeable memory card) set up for this purpose on the mobile telephone MFG itself.
Des Weiteren wird vorausgesetzt, dass in der Einrichtung CR inhaltsbasierte Regeln abgelegt sind, die ein Verteilen von Datenströmen (insbesondere solche, die Bilder repräsentieren) in feingranularer Weise auf Ein-/Ausgabeeinrichtungen auch des selben Ausgabetyps ermöglichen. Ein Beispiel für derartige inhaltsbasierte Regeln findet sich in Figur 3. Dabei bedeutet eine erste Regel Rl, dass Bilder bzw. Fotos in dem Format "Bitmap" im Standardfall ("default") auf die Ein- /Ausgabeeinrichtung EA2 geleitet werden sollen. Eine derarti- ge Regel kann dabei beispielsweise vom Hersteller des Mobiltelefons vorbestimmt sein. Es ist jedoch auch möglich, dass ein Benutzer weitere Regeln hinzufügt, insbesondere für den Fall, dass er mit seiner Datenverarbeitungsanlage bzw. seinem Mobiltelefon weitere externe Geräte verbunden hat, die andere Ausgabeeigenschaften als die internen Ausgabegeräte oder Ausgabeeinrichtungen haben. Die Tastatur KBD sowie die Anzeigeeinrichtung DSPl zur Darstellung von eingegebenen Zeichen können dabei als Eingabeeinrichtung beziehungsweise Einstelleinrichtung für inhaltsbasierte Regeln zur Aufteilung von In- halten an bestimmte Ein-/Ausgabeeinrichtungen verwendet werden. Es ist ferner der Fall denkbar, dass beispielsweise ein Mobiltelefon, wie in der Ausführung eines Klapptelefons, zwei verschiedene (interne) Ausgabeeinrichtungen mit unterschiedlichen Ausgabeeigenschaften hat, wobei mittels den in der Einrichtung CR gespeicherten Regeln auch gezielt eine der beiden internen Ausgabeeinrichtungen gleichen Ausgabetyps angesprochen werden kann.Furthermore, it is assumed that content-based rules are stored in the device CR, which enable the distribution of data streams (especially those representing images) in a finely granular manner to input / output devices of the same output type. An example of such content-based rules can be found in FIG. 3. Here, a first rule R1 means that images or photos in the "bitmap" format are to be routed to the input / output device EA2 in the standard case ("default"). Such a rule can be predetermined by the manufacturer of the mobile telephone, for example. However, it is also possible for a user to add further rules, especially in the event that he has connected to his data processing system or his mobile phone other external devices that have different output properties than the internal output devices or output devices. The keyboard KBD and the display device DSPL for displaying input characters can be used as an input device or setting device for content-based rules for the division of content to certain input / output devices. It is also conceivable that, for example, a mobile telephone, as in the embodiment of a folding telephone, has two different (internal) output devices with different output characteristics, whereby by means of the rules stored in the device CR one of the two internal output devices of the same output type can also be targeted can.
Neben der ersten Regel Rl, die den Standardfall bei der BiId- ausgäbe definiert, hat im Beispiel von Figur 3 ein Benutzer eine zweite Regel R2 aufgestellt, die besagt, dass Bilder des Formats "Bitmap", welche eine "Auflösung" >320x240 aufweisen, der Ein-/Ausgabeeinrichtung EA3 zugeleitet werden sollen, da die Anzeigeeinrichtung DSP2 eine hohe Bildauflösung ausgeben kann, welche von der Anzeige DSPl der zweiten Ein-/Ausgabe- einrichtung nicht realisierbar ist.In addition to the first rule R1, which defines the standard case for the image output, in the example of FIG. 3 a user has set up a second rule R2, which states that images of the format "bitmap", which have a "resolution"> 320x240, the input / output device EA3 are to be supplied, since the display device DSP2 can output a high image resolution, which is not feasible from the DSPL display of the second input / output device.
Die beiden Regeln Rl und R2 können dabei derart vom Mobiltelefon MFG verstanden werden, dass im ersten Fall alle Bilder des Formats "Bitmap" standardmäßig der Ein-/Ausgabeeinrich- tung EA2 zugeleitet werden sollen, während nur Bilder der dritten Ein-/Ausgabeeinrichtung zugeleitet werden, welche eine Auflösung >320"240 Bildpunkte aufweisen. Im zweiten Fall können die Regeln in einer sich ausschließenden Weise interpretiert werden, wobei die zweite Regel höhere Priorität hat. Bei einer derartigen sich ausschließenden Interpretation wür- den somit alle Bilder, die eine Auflösung >320"240 Bildpunkte aufweisen, der Ein-/Ausgabeeinrichtung EA3 zugeleitet, während die übrigen Bilder der standardmäßig-eingestellten Ein- /Ausgabeeinrichtung EA2 zugeleitet werden.In this case, the two rules R1 and R2 can be understood by the mobile telephone MFG such that in the first case all images of the format "bitmap" are to be fed to the input / output device EA2 by default, while only images are fed to the third input / output device In the second case, the rules can be interpreted in an exclusive way, with the second rule having a higher priority, so with such an exclusive interpretation, all images that have a resolution> 320 "240 pixels, the input / output device EA3 fed, while the remaining images of the default-set input / output device EA2 are fed.
Im Folgenden wird von der ersten Interpretationsmöglichkeit der Regeln Rl und R2 ausgegangen, dass alle Bilder bzw. deren Datenströme zum standardmäßig eingestellten Gerät bzw. der standardmäßig eingestellten Ein-/Ausgabeeinrichtung (im vorliegenden Fall der Ein-/Ausgabeeinrichtung EA2) zugeleitet werden. Es sei nun wieder auf Figur 2 verwiesen, in der ein Beispiel für eine derartige Interpretation der Regeln Rl und R2 gezeigt ist. Dabei ist zu erkennen, dass auf der Anzeige DSPl des Mobiltelefons MFG zwei Bilder, genauer gesagt ein Bild FO sowie ein Steuerelement STE (bzw. ein Bild eines Steuerelements) gezeigt sind. Auf der mit dem MobiltelefonIn the following, it is assumed that the first possible interpretation of the rules Rl and R2 that all images or their data streams to the default set device or the default input / output device (in the present case the input / output device EA2) are supplied. Referring again to Figure 2, an example of such an interpretation of the rules R1 and R2 is shown. It can be seen that on the display DSPl of the mobile phone MFG two images, more specifically an image FO and a control STE (or an image of a control) are shown. On the with the mobile phone
MFG verbundenen dritten Ein-/Ausgabeeinrichtung EA3 bzw. deren Anzeigeeinrichtung DSP2 ist lediglich das Bild FO dargestellt. Es wird dabei angenommen, dass das Bild FO im Format "Bitmap" vorliegt, und eine Auflösung >320-240 Bildpunkte aufweist, so dass es auf Grund dieser hohen Auflösung gemäß Regel R2 auf dem externen Gerät bzw. der dritten Ein- /Ausgabeeinrichtung EA3 wiedergegeben wird. Da die Ein- /Ausgabeeinrichtung EA3 über eine größere Anzeigeeinrichtung DSP2 (als die Anzeigeeinrichtung DSPl) verfügt, welche in der Lage ist, ein Bild mit einer hohen Auflösung wiederzugeben, wird durch die Zuleitung des Bilds FO zu der Anzeigeeinrich- tung DSP2 die Wahrnehmung des Bildes FO für einen Benutzer verbessert. Die Anzeigeeinrichtung DSPl des Mobiltelefons MFG dient im vorliegenden Fall mehr oder weniger als Steueranzeige für den Benutzer, wobei neben einer kleinen Darstellung des Bildes FO auch noch, wie bereits erwähnt, das Steuerele- ment STE, hier in Form eines Pfeils eingeblendet ist. DerMFG affiliated third input / output device EA3 and the display device DSP2 is shown only the image FO. It is assumed that the image FO is in the "bitmap" format and has a resolution> 320-240 pixels, so that it is due to this high resolution according to rule R2 on the external device or the third input / output device EA3 is reproduced. Since the Output means EA3 has a larger display DSP2 (as the display DSPL) capable of reproducing an image with a high resolution, by supplying the image FO to the display DSP2, the perception of the image FO for one User improved. The display device DSPl of the mobile phone MFG is used in the present case more or less as a control display for the user, in addition to a small representation of the image FO also, as already mentioned, the control element STE, is shown here in the form of an arrow. Of the
Pfeil, der von der Fotoalbum-Applikation bereitgestellt wird, signalisiert beispielsweise dem Benutzer, dass weitere Bilder im Fotoalbum vorhanden sind, welche durch Drücken einer Steuertaste der Tastatur KBD angezeigt werden können.For example, an arrow provided by the photo album application signals the user that there are more images in the photo album that can be displayed by pressing a control key on the keyboard KBD.
Es sei nun wieder auf Figur 3 verwiesen, in der neben den Regeln Rl und R2 ferner eine dritte Regel R3 dargestellt ist, die beispielsweise von einem Benutzer über die Tastatur KBD in das Mobiltelefon MFG eingegeben worden ist. Die Regel R3 bezieht sich hier nicht auf die Ausgabe von Bildern, sondern auf einen weiteren Ausgabetyp, nämlich von Audio-Daten. Sie gibt an, dass Audio-Daten oder Audio-Datenströme, welche als Ausgabeeigenschaft aufweisen, dass sie eine Stereo-Ausgabe bereitstellen, die zu der dritten Ein-/Ausgabeeinrichtung EA3 zugeleitet werden sollen. Wie es in Figur 2 zu sehen ist, besitzt die dritte Ein-/Ausgabeeinrichtung EA3 sowohl einen linken Lautsprecher LSL, als auch einen rechten Lautsprecher LRL, und ist somit in der Lage, Audio-Datenströme mit Stereo- Ausgabeeigenschaft adäquat auszugeben. Hingegen weist das Mo- biltelefon MFG lediglich eine Lautsprecher LS für eine Mono- ausgabe auf. Werden nun beispielsweise durch die Fotoalbum- Applikation die jeweiligen Bilder, wie das Bild FO, mit Hintergrundmusik (Audio-Daten) unterlegt, so wird gemäß der Regel R3 nun die Hintergrundmusik auf der Ein-/Ausgabeeinrich- tungen EA3 und nicht durch das Mobiltelefon MFG selbst ausgegeben. Anders ausgedrückt, wie es Figur 4 anschaulich dargestellt ist, wird ein von der Fotoalbum-Applikation bereitge- stellter Gesamtdatenstrom GD bestehend aus einem ersten Teildatenstrom TDl, der das Bild FO repräsentiert, und einem zweiten Teildatenstrom TD2, der die Hintergrundmusik repräsentiert, von dem Interaktions-Manager CIM bzw. dessen Kompo- nente CRM bezüglich seines Inhalts analysiert und entsprechend der Regeln Rl, R2 und R3 der Einrichtung CR an die vorgesehenen Ein-/Ausgabeeinrichtungen EA2, EA3 bzw. deren konkrete Ausgabegeräte DSPl, DSP2 oder LS, LSL, LSR (Anzeige, Lautsprecher, usw.) zugeleitet.Reference is again made to Figure 3, in addition to the rules Rl and R2 also a third rule R3 is shown, which has been entered for example by a user via the keyboard KBD in the mobile phone MFG. Rule R3 here does not refer to the output of images, but to another type of output, namely audio data. It indicates that audio data or audio streams having output characteristics provide a stereo output to be supplied to the third input / output device EA3. As can be seen in Fig. 2, the third input / output device EA3 has both a left speaker LSL and a right speaker LRL, and thus is capable of adequately outputting audio streams having a stereo output characteristic. By contrast, the mobile telephone MFG has only one loudspeaker LS for monaural output. If, for example, the respective images, such as the image FO, are underlaid with background music (audio data) by means of the photo album application, then the background music on the input / output devices EA3 and not by the mobile telephone MFG is now according to rule R3 even issued. In other words, as shown clearly in FIG. 4, an image album provided by the photo album application is displayed. represented overall data stream GD consisting of a first partial data stream TDl, which represents the image FO, and a second partial data stream TD2, which represents the background music, analyzed by the interaction manager CIM or its component CRM with regard to its content and according to the rules R1, R2 and R3 of the device CR to the intended input / output devices EA2, EA3 or their concrete output devices DSP1, DSP2 or LS, LSL, LSR (display, speakers, etc.) supplied.
Zusammenfassend kann also gesagt werden, dass durch das Vorsehen von inhaltsbasierten Regeln, die auch je nach Ausgabetyp zu jeweiligen Regelwerken zusammengefasst werden können, eine feingranulare Ausgabe gezielt auf bestimmte Ein-/Ausga- beeinrichtungen möglich ist, und somit auch eine intelligente Anbindung von externen Geräten insbesondere an mobile Endgeräte möglich ist, so dass multi-modale Dienste mit einem Mehrwert für den Benutzer angeboten werden können. Der Benutzer hat dabei den Vorteil, dass er die Ausgabedaten, wie Bild- und Audio-Daten automatisch (entsprechend der vorbestimmten Regeln) auf dem für diese Daten geeigneten Ausgabegerät erhält. In summary, it can therefore be said that the provision of content-based rules, which can also be combined to form respective regulations depending on the type of output, enables finely granular output specifically for certain input / output devices, and thus also an intelligent connection of external devices in particular to mobile devices is possible, so that multi-modal services can be offered with added value for the user. The user has the advantage that he receives the output data, such as image and audio data automatically (according to the predetermined rules) on the appropriate output device for this data.

Claims

Patentansprüche claims
1. Verfahren zum Steuern von Datenströmen in einer Datenver- arbeitungsanlage (MFG) , der zumindest zwei erste Ausgabeeinrichtungen (EA2,DSP1; EA3, DSP2) eines gleichen ersten Ausgabetyps zugeordnet sind, welche unterschiedliche Ausgabefähigkeiten haben, wobei das Verfahren folgende Schritte umfasst:Method for controlling data streams in a data processing system (MFG), which are associated with at least two first output devices (EA2, DSP1, EA3, DSP2) of the same first output type, which have different output capabilities, the method comprising the steps of:
- Bereitstellen eines ersten Datenstroms (GD, TDl) des ersten Ausgabetyps von einer Applikation, welche auf der Datenverarbeitungsanlage (MFG) ausgeführt wird;- Providing a first data stream (GD, TDl) of the first type output from an application, which is executed on the data processing system (MFG);
- Analysieren des Inhalts des Datenstroms (GD, TDl) bezüg- lieh des Ausgabetyps und bezüglich dessen Ausgabeeigenschaften;- Analyzing the content of the data stream (GD, TDl) with respect to the type of output and with respect to its output characteristics;
- Zuleiten des Datenstroms derjenigen der zumindest zwei ersten Ausgabeeinrichtungen (EA2,DSPl; EA3, DSP2), die ge- maß einem ersten vorbestimmten Regelwerk (Rl, R2) für eine Ausgabe bezüglich des ersten Ausgabetyps und den analysierten Ausgabeeigenschaften vorgesehen ist.Supplying the data stream of those of the at least two first output devices (EA2, DSP1, EA3, DSP2) which is provided according to a first predetermined set of rules (R1, R2) for output with respect to the first output type and the analyzed output characteristics.
2. Verfahren nach Anspruch 1, bei dem der Ausgabetyp eine grafische Ausgabe, eine Audio- Ausgabe oder eine mechanische Ausgabe umfasst.2. The method of claim 1, wherein the output type comprises a graphic output, an audio output or a mechanical output.
3. Verfahren nach Anspruch 2, bei dem die Ausgabeeigenschaften bezüglich der grafischen Ausgabe eine Bildauflösung oder eine Farbtiefe eines Bildes umfassen.A method according to claim 2, wherein the output characteristics with respect to the graphic output include an image resolution or a color depth of an image.
4. Verfahren nach Anspruch 2, bei dem die Ausgabeeigenschaften bezüglich der Audio-Ausgabe eine mögliche Ausgabekanalzahl oder einen benötigten Frequenzbereich umfassen. A method according to claim 2, wherein the output characteristics with respect to the audio output include a possible output channel number or a required frequency range.
5. Verfahren nach Anspruch 2, bei dem die Ausgabefähigkeiten bezüglich der grafischen Ausgabe eine Bildauflösung oder eine Farbtiefe eines Bildes um- fassen.5. The method of claim 2, wherein the output capabilities with respect to the graphic output include an image resolution or a color depth of an image.
6. Verfahren nach Anspruch 2, bei dem die Ausgabefähigkeiten bezüglich der Audio-Ausgabe eine Ausgabekanalzahl oder einen ausgebbaren Frequenzbereich umfassen.6. The method of claim 2, wherein the output capabilities with respect to the audio output include an output channel number or a frequency range that can be output.
7. Verfahren nach einem der Ansprüche 1 bis 6, bei dem der Datenverarbeitungsanlage (MFG) ferner eine zweite Ausgabeeinrichtung (EA2, LS; EA3, LSL, LSR) zur Ausgabe eines Datenstroms (GD, TD2) eines zweiten Ausgabetyps zugeordnet ist .7. The method according to any one of claims 1 to 6, wherein the data processing system (MFG) is further associated with a second output device (EA2, LS, EA3, LSL, LSR) for outputting a data stream (GD, TD2) of a second output type.
8. Verfahren nach einem der Ansprüche 1 bis 6, bei dem der Datenverarbeitungsanlage (MFG) ferner zumindest zwei zweite Ausgabeeinrichtungen (EA2, LS; EA3, LSL, LSR) zur Ausgabe eines Datenstroms (GD, TD2) eines zweiten Ausgabetyps zugeordnet sind, welche unterschiedliche Ausgabefähigkeiten haben, wobei ein Datenstrom nach dessen Analyse derjenigen der zumindest zwei zweiten Ausgabeeinrichtungen zugeleitet wird, die gemäß einem zweiten vorbestimmten Regelwerk (R3) für eine Ausgabe bezüglich des zweiten Ausgabetyps und den analysierten Ausgabeeigenschaften vorgesehen ist.8. The method according to any one of claims 1 to 6, wherein the data processing system (MFG) are further assigned at least two second output devices (EA2, LS, EA3, LSL, LSR) for outputting a data stream (GD, TD2) of a second output type, which have different output capabilities, wherein a data stream after its analysis is supplied to that of the at least two second output devices provided according to a second predetermined set of rules (R3) for output with respect to the second output type and the analyzed output characteristics.
9. Verfahren nach einem der Ansprüche 1 bis 8, bei dem der bereitgestellte Datenstrom (GD) einer Applikation zumindest zwei Teilströme (TDl, TD2) umfasst, denen jeweils ein unterschiedlicher Ausgabetyp zugeordnet ist.9. The method according to any one of claims 1 to 8, wherein the provided data stream (GD) of an application comprises at least two partial streams (TDl, TD2), each of which is assigned a different output type.
10. Verfahren nach Anspruch 8 und 9, bei dem ein erster (TDl) der zumindest zwei Teildatenströme10. The method of claim 8 and 9, wherein a first (TDl) of the at least two partial data streams
(TDl, TD2), dem der erste Ausgabetyp zugeordnet ist, entsprechend dem ersten Regelwerk (Rl, R2) einer der zumindest ers- ten zwei Ausgabeeinrichtungen (EA2, DSPl; EA3, DSP2) zugeleitet wird, während ein zweiter (TD2) der zumindest zwei Teildatenströme, dem der zweite Ausgabetyp zugeordnet ist, entsprechend dem zweiten Regelwerk (R3) einer der zumindest zwei zweiten Ausgabeeinrichtungen (EA2, LS; EA3, LSL, LSR) zugeordnet wird.(TD1, TD2) to which the first output type is assigned, corresponding to the first set of rules (R1, R2) of one of the at least first two output devices (EA2, DSP1, EA3, DSP2) are supplied, while a second one (TD2) of the at least two partial data streams to which the second output type is assigned, in accordance with the second set of rules (R3) of one of the at least two second output devices (EA2, LS EA3, LSL, LSR).
11. Datenverarbeitungsanlage mit folgenden Merkmalen:11. Data processing system with the following features:
- zumindest zwei ersten Ausgabeeinrichtungen (EA2, DSPl;at least two first output devices (EA2, DSPL;
EA3, DSP2) eines gleichen ersten Ausgabetyps, welche unterschiedliche Ausgabefähigkeiten haben;EA3, DSP2) of a same first output type having different output capabilities;
- einer Prozessoreinrichtung (LAE) zum Ausführen einer Ap- plikation und zum Bereitstellen eines Datenstroms (GD,a processor device (LAE) for executing an application and for providing a data stream (GD,
TDl) des ersten Ausgabetyps für die Ausgabe auf einer Ausgabeeinrichtung;TD1) of the first output type for output on an output device;
- einer Steuereinrichtung (CIM) zum Analysieren des auszuge- benden Datenstroms (GD, TDl) bezüglich des Ausgabetyps und bezüglich dessen Ausgabeeigenschaften, und zum Zuleiten des Datenstroms derjenigen der zumindest zwei ersten Ausgabeeinrichtungen, die gemäß einem ersten vorbestimmten Regelwerk (Rl, R2) für eine Ausgabe bezüglich des ersten Ausgabetyps und den analysierten Ausgabeeigenschaften vorgesehen ist.- Control means (CIM) for analyzing the output data stream (GD, TDl) with respect to the output type and its output characteristics, and for supplying the data stream of those of the at least two first output devices, according to a first predetermined set of rules (Rl, R2) for an output regarding the first output type and the analyzed output characteristics is provided.
12. Datenverarbeitungsanlage nach Anspruch 11, die ferner eine zweite Ausgabeeinrichtung (EA2, LS; EA3, LSL, LSR) zur Ausgabe eines Datenstroms (GD, TD2) eines zweiten Ausgabetyps aufweist.A data processing system according to claim 11, further comprising second output means (EA2, LS; EA3, LSL, LSR) for outputting a data stream (GD, TD2) of a second output type.
13. Datenverarbeitungsanlage nach Anspruch 11, die ferner zumindest zwei zweite Ausgabeeinrichtungen (EA2, LS; EA3, LSL, LSR) zur Ausgabe eines Datenstroms (GD, TD2) eines zweiten Ausgabetyps aufweist, welche unterschiedliche Ausgabefähigkeiten haben, wobei ein Datenstrom nach dessen Analyse derjenigen der zumindest zwei Ausgabeeinrichtungen zugeleitet wird, die gemäß einem zweiten vorbestimmten Regelwerk (R3) für eine Ausgabe bezüglich des zweiten Ausgabetyps und den analysierten Ausgabeeigenschaften vorgesehen ist.The data processing system according to claim 11, further comprising at least two second output means (EA2, LS; EA3, LSL, LSR) for outputting a data stream (GD, TD2) of a second output type having different output capabilities, one data stream after the latter Analysis of the at least two output devices is provided, which is provided according to a second predetermined set of rules (R3) for output with respect to the second output type and the analyzed output characteristics.
14. Datenverarbeitungsanlage nach einem der Ansprüche 11 bis 13, bei der der bereitgestellte Datenstrom (GD) einer Applikation zumindest zwei Teildatenströme (TDl, TD2) umfasst, denen ein unterschiedlicher Ausgabetyp zugeordnet ist.14. Data processing system according to one of claims 11 to 13, wherein the provided data stream (GD) of an application comprises at least two partial data streams (TDl, TD2), which is assigned a different output type.
15. Datenverarbeitungsanlage nach Anspruch 13 und 14, bei der ein erster (TDl) der zumindest zwei Teildatenströme, dem der erste Ausgabetyp zugeordnet ist, entsprechend dem ersten Regelwerk (Rl, R2) einer der zumindest zwei ersten Ausgabeeinrichtungen zugeleitet wird, während ein zweiter15. Data processing system according to claim 13, wherein a first (TD1) of the at least two partial data streams to which the first output type is assigned is fed to one of the at least two first output devices in accordance with the first set of rules (R1, R2)
(TD2) der zumindest zwei Teildatenströme, dem der zweite Ausgabetyp zugeordnet ist, entsprechend dem zweiten Regelwerk (R3) einer der zumindest zwei zweiten Ausgabeeinrichtungen zugeordnet wird.(TD2) of the at least two partial data streams to which the second output type is assigned is assigned to one of the at least two second output devices in accordance with the second set of rules (R3).
16. Datenverarbeitungsanlage nach einem der Ansprüche 12 bis16. Data processing system according to one of claims 12 to
15, die ferner eine Einstelleinrichtung (KBD, DSPl) zum Anpassen des ersten vorbestimmten Regelwerks (Rl, R2) und/oder des zweiten vorbestimmten Regelwerks (R3) umfasst.15, further comprising adjusting means (KBD, DSPL) for adjusting the first predetermined rule (Rl, R2) and / or the second predetermined rule (R3).
17. Datenverarbeitungsanlage nach einem der Ansprüche 12 bis17. Data processing system according to one of claims 12 to
16, die als ein Mobilfunkgerät (MFG) oder als ein kleiner tragbarer Computer ausgebildet ist. 16, which is designed as a mobile radio (MFG) or as a small portable computer.
PCT/EP2006/050855 2005-02-28 2006-02-10 Method for the management of data streams in a data processing system WO2006092359A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP06708197A EP1854002A1 (en) 2005-02-28 2006-02-10 Method for the management of data streams in a data processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE200510009082 DE102005009082A1 (en) 2005-02-28 2005-02-28 Method for managing data streams in a data processing system
DE102005009082.6 2005-02-28

Publications (1)

Publication Number Publication Date
WO2006092359A1 true WO2006092359A1 (en) 2006-09-08

Family

ID=36293429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2006/050855 WO2006092359A1 (en) 2005-02-28 2006-02-10 Method for the management of data streams in a data processing system

Country Status (3)

Country Link
EP (1) EP1854002A1 (en)
DE (1) DE102005009082A1 (en)
WO (1) WO2006092359A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087683A1 (en) * 2000-12-28 2002-07-04 Nokia Corporation WAP network printing
US20030229900A1 (en) * 2002-05-10 2003-12-11 Richard Reisman Method and apparatus for browsing using multiple coordinated device sets
US20040017788A1 (en) * 2002-07-25 2004-01-29 Oded Shmueli Routing of data including multimedia between electronic devices
EP1406460A2 (en) * 2002-10-02 2004-04-07 Nec Corporation Management apparatus, management system, management method, and management program for memory capacity
US20040214561A1 (en) * 2001-07-26 2004-10-28 Kyocera Wireless Corp. Dynamic interface software for wireless communication devices

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5928331A (en) * 1997-10-30 1999-07-27 Matsushita Electric Industrial Co., Ltd. Distributed internet protocol-based real-time multimedia streaming architecture
US6246985B1 (en) * 1998-08-20 2001-06-12 International Business Machines Corporation Method and apparatus for automatic segregation and routing of signals of different origins by using prototypes
US8463912B2 (en) * 2000-05-23 2013-06-11 Media Farm, Inc. Remote displays in mobile communication networks
FI113898B (en) * 2000-11-21 2004-06-30 Nokia Corp Process for producing content in a wireless communication device
AU2003243345A1 (en) * 2002-05-31 2003-12-19 The Texas A And M University System Communicating medical information in a communication network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087683A1 (en) * 2000-12-28 2002-07-04 Nokia Corporation WAP network printing
US20040214561A1 (en) * 2001-07-26 2004-10-28 Kyocera Wireless Corp. Dynamic interface software for wireless communication devices
US20030229900A1 (en) * 2002-05-10 2003-12-11 Richard Reisman Method and apparatus for browsing using multiple coordinated device sets
US20040017788A1 (en) * 2002-07-25 2004-01-29 Oded Shmueli Routing of data including multimedia between electronic devices
EP1406460A2 (en) * 2002-10-02 2004-04-07 Nec Corporation Management apparatus, management system, management method, and management program for memory capacity

Also Published As

Publication number Publication date
EP1854002A1 (en) 2007-11-14
DE102005009082A1 (en) 2006-09-07

Similar Documents

Publication Publication Date Title
EP0814611B1 (en) Communication system and method for recording and managing digital images
DE60219678T2 (en) TARGETED MEDIA CAPTION VIA A COMMUNICATION DEVICE
DE602004006670T2 (en) Mobile information services based on pre-stored information in the terminal
DE60311608T2 (en) Method and device for switching the control between connected devices
DE202009019054U1 (en) Mobile terminal
EP2389753B1 (en) Conference system and associated signalling method
WO2006092362A1 (en) Display device managing method
DE102015104344A1 (en) SYSTEM AND METHOD FOR A VEHICLE SYSTEM HAVING A HIGH-SPEED NETWORK
DE102008057904A1 (en) System and method for profile-based insertion of advertising in content for single and multi-user scenarios
DE69925711T2 (en) SERVICE LEAVE IN A COMMUNICATION SYSTEM
DE112013002349T5 (en) Device for a vehicle, computer-readable medium for displaying information and system for a vehicle
DE102014114714A1 (en) System and method for mixed signal
DE102010028449A1 (en) Car speakerphone
DE60017821T2 (en) Telephone terminal with means for managing menu display and associated method
DE19848791A1 (en) Interface device
DE10123823A1 (en) Parallel presentation of several audio information sources involves reconfiguring at least one source selected by speech input to be acoustically distinguished from other sources
DE102018220603A1 (en) METHOD FOR SETTING A DISPLAY OF A VEHICLE INFOTAINMENT SYSTEM AND VEHICLE INFOTAINMENT SYSTEM TO WHICH THE METHOD IS APPLIED
EP1854002A1 (en) Method for the management of data streams in a data processing system
DE10354886A1 (en) Media control system and method
DE102018120010A1 (en) ROUTE DISPLAY METHOD, DEVICE AND SYSTEM, GROUND STATION AND COMPUTER READABLE STORAGE MEDIUM
DE60303578T2 (en) An interaction server, computer program and method for adapting dialogue modalities between a client and a server
EP3158689B1 (en) Router and method for receiving and distributing data
DE102006017936A1 (en) News Integration Process
DE10020831A1 (en) Interactive information interrogation method using mobile telephone has speech information analysed at mobile radio service device for providing required data response
DE102005048205A1 (en) Content searching method for use during e.g. conference in auditorium, involves automatically selecting information data which correlates with content, and transmitting set of data and/or link to access data to terminal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2006708197

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2006708197

Country of ref document: EP