DE102013102001A1

DE102013102001A1 - Method for influencing composition used as e.g. audio stream for audio reproduction for playing online audio game, involves influencing reproduction of audio data and/or visual activation element of associated tracks by control signals

Info

Publication number: DE102013102001A1
Application number: DE201310102001
Authority: DE
Inventors: Sebastian Bulas; Erich Graham; Wolf Lang; Steve Liesche; Denis Rogic
Original assignee: THREAKS GmbH
Current assignee: THREAKS GmbH
Priority date: 2013-02-28
Filing date: 2013-02-28
Publication date: 2014-08-28

Abstract

The method involves controlling a game character (30), which is reproduced in a loudspeaker (28), by a joystick (20). The loudspeaker is provided with a representation region, which corresponds to time sections of audio data. Control signals for influencing tracks are derived from temporal and/or local relationship of the game character to a visual activation element (38) e.g. dynamic activation element, where the tracks are associated to the activation element. Reproduction of audio data and/or the visual activation element of the associated tracks is influenced by the control signals. An independent claim is also included for a system for performing a method for influencing audio data.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Beeinflussung von Audiodaten mittels wenigstens eines Eingabegerätes und eines Bildschirms.The present invention relates to a method for influencing audio data by means of at least one input device and a screen.

In dem Verfahren wird als Audiodaten vorzugsweise ein Musikstück verwendet, das in eine Vielzahl von Tracks (Stimmen) aufgesplittet ist. Nachfolgend wird die Erfindung mit Bezug auf ein Musikstück beschrieben. Es soll jedoch klargestellt sein, dass die Erfindung auf jegliche Art von Audiodaten angewendet werden kann. Jeder Track umfasst jeweils eine Teilmenge der in dem Musikstück vorhandenen Stimmen, vorzugsweise jeweils eine Stimme. Die Teilmengen in den unterschiedlichen Tracks weichen voneinander ab, das heißt, dass jeder Track eine andere Stimme des Musikstücks oder eine andere Stimmenkombination des Musikstücks enthält.In the method, as the audio data, it is preferable to use a piece of music which is split into a plurality of tracks (voices). The invention will be described below with reference to a piece of music. However, it should be understood that the invention is applicable to any type of audio data. Each track comprises in each case a subset of the voices present in the music piece, preferably in each case one voice. The subsets in the different tracks are different, that is, each track contains a different part of the piece of music or a different combination of parts of the piece of music.

Wenigstens ein Track wird in dem Verfahren laufend wiedergegeben, z. B. eine Grundrhythmusstimme und eine Melodiestimme. Diese Stimmen bilden den klanglichen Background, um den sich die Beeinflussung der anderen Stimmen mittel des Verfahrens orientiert.At least one track is played in the process continuously, z. B. a Grundrhythmusstimme and a melody voice. These voices form the sonic background around which the influence of the other voices is oriented by means of the procedure.

In dem Verfahren werden zumindest einzelnen Tracks des Musikstücks wenigstens ein, vorzugsweise mehrere visuelle Aktivierungselemente zugeordnet, die auf dem Bildschirm in einer – zumindest zweidimensionalen – visuellen Darstellung wiedergegeben werden. Die visuelle Darstellung hat hierbei einen Darstellungsbereich, der einem Zeitabschnitt des Musikstücks entspricht. Es ist prinzipiell vorstellbar, einen Darstellungsbereich zu wählen, der den gesamten Zeitablauf des Musikstücks umfasst. Aus Gründen der Auflösung ist es jedoch vorzuziehen, dass der Darstellungsbereich lediglich einen Zeitabschnitt des Musikstücks in einer begrenzten Länge, zum Beispiel von maximal 1 Minute, darstellt.In the method, at least individual tracks of the music piece are assigned at least one, preferably a plurality of visual activation elements, which are reproduced on the screen in a - at least two-dimensional - visual representation. The visual representation in this case has a display area that corresponds to a period of time of the piece of music. It is conceivable, in principle, to select a display area that encompasses the entire time sequence of the piece of music. However, for reasons of resolution, it is preferable that the display area represent only a period of the music piece in a limited length, for example, a maximum of 1 minute.

Das visuelle Aktivierungselement ist der Bereich, über welchen der zugeordnete Track beeinflusst wird. Einem visuellen Aktivierungselement können selbstverständlich auch mehrere oder alle beeinflussbaren Tracks des Musikstücks zugeordnet sein. In diesem Fall werden die zugeordneten Tracks gleichzeitig über das visuelle Aktivierungselement beeinflusst. Es kann jedem Track ein visuelles Aktivierungselement oder mehrere visuelle Aktivierungselement zugeordnet werden. Dadurch, dass man mit der Zuordnung des visuellen Aktivierungselements zu den unterschiedlichen Tracks sehr viele Möglichkeiten hat, ergibt sich ein weites Feld von Beeinflussungsmöglichkeiten einzelner Tracks oder von Track-Kombinationen, die als Kombination einem visuellen Aktivierungselement zugeordnet sind.The visual activation element is the area over which the associated track is influenced. Of course, several or all influenceable tracks of the piece of music can also be assigned to a visual activation element. In this case, the assigned tracks are simultaneously influenced by the visual activation element. Each track can be assigned a visual activation element or several visual activation elements. The fact that there are many possibilities with the assignment of the visual activation element to the different tracks, results in a wide field of influence possibilities of individual tracks or of track combinations, which are assigned as a combination to a visual activation element.

Für die Beeinflussung des Tracks gibt es mehrere Optionen.There are several options for influencing the track.

Zum einen können über das Eingabegerät, welches vorzugsweise ein Touchscreen oder eine Computermaus ist, Eingaben gemacht werden, die in einer zeitlichen und/oder örtlichen Beziehung zu dem visuellen Aktivierungselement stehen. Aus dieser Beziehung wird ein Steuersignal für die Beeinflussung des Tracks bzw. der Track-Kombination abgeleitet, der bzw. dem das visuelle Aktivierungselement zugeordnet ist. Durch das Steuersignal wird die Wiedergabe der einzelnen Tracks bzw. Stimmen des Musikstücks und/oder der dem Track zugeordneten visuellen Aktivierungselemente beeinflusst, z. B. ein- oder ausgeschaltet oder in der Lautstärke variiert.On the one hand, inputs can be made via the input device, which is preferably a touch screen or a computer mouse, which are in temporal and / or spatial relationship to the visual activation element. From this relationship, a control signal is derived for influencing the track or track combination to which the visual activation element is assigned. The control signal influences the reproduction of the individual tracks or voices of the piece of music and / or the visual activation elements associated with the track, eg, B. on or off or varies in volume.

Es ist auch in einer anderen Art der Beeinflussung des Tracks auch möglich, in der visuellen Darstellung ein Triggerfeld vorzusehen, z. B. in Form einer Spielfigur, dessen Ort in der visuellen Darstellung mittels des Eingabegeräts gesteuert wird. In diesem Fall wird das Triggerfeld mittels des Eingabegeräts durch die visuelle Darstellung bewegt und das Steuersignal wird abgeleitet aus der örtlichen und/oder zeitlichen Beziehung dieses Triggerfeldes zu dem visuellen Aktivierungselement. Die Eingaben des Eingabegeräts erfolgen nicht direkt auf das visuelle Aktivierungselement sondern indirekt über die Spielfigur.It is also possible in another way of influencing the track to provide a trigger field in the visual representation, e.g. In the form of a playing figure whose location is controlled in the visual representation by means of the input device. In this case, the trigger field is moved by the visual display by means of the input device and the control signal is derived from the local and / or temporal relationship of this trigger field to the visual activation element. The inputs of the input device are not directly on the visual activation element but indirectly on the character.

Ein derartiges erfindungsgemäßes Verfahren erlaubt eine visuelle Darstellung in Verbindung mit dem Abspielen eines Musikstücks und eine über die visuelle Darstellung ermöglichte Beeinflussung des Musikstücks in einem Spielgeschehen. Durch die Erfindung werden aus dem Musikstück visuelle Aktivierungselemente zur Beeinflussung des Musikstücks abgeleitet, die wiederum in der Interaktion mit dem Eingabegerät oder mit der Spielfigur zur Generierung von Steuersignalen verwendet werden. Hierüber werden die zugeordneten Tracks beeinflusst, d. h. ein- oder ausgeschaltet, in der Lautstärke verändert oder mit Effekten belegt.Such a method according to the invention allows a visual representation in connection with the playing of a piece of music and an influencing of the piece of music in a game event made possible by means of the visual representation. By means of the invention, visual activation elements for influencing the piece of music are derived from the piece of music, which in turn are used in interaction with the input device or with the playing piece to generate control signals. This affects the assigned tracks, ie. H. switched on or off, changed in volume or filled with effects.

Für die Eingabe kann jedes an sich bekannte Eingabegerät für Computer verwendet werden, so also auch Computertastaturen und körperbasierte Eingabegeräte, zum Beispiel neurale Impulsaktuatoren.For input any known per se input device can be used for computers, including computer keyboards and body-based input devices, for example, neural Impulsaktuatoren.

Vorzugsweise werden als Audiodaten zum Ableiten der visuellen Aktivierungselemente Steueraudiodaten, insb. MIDI-Daten verwendet, von denen bereits jetzt eine Vielzahl von Musikstücken aufgesplittet in viele Stimmen bzw. Tracks am Markt erhältlich ist. Diese MIDI-Dateien sind digitale Daten, die sich hervorragend zur Steuerung eines Spiels oder eines Musikbearbeitungsystems verwenden lassen, z. B. zum Erzeugen von visuellen Aktivierungselementen in der visuellen Darstellung.Preferably, as audio data for deriving the visual activation elements control audio data, esp. MIDI data is used, of which already a variety of pieces of music is split into many voices or tracks available on the market. These MIDI files are digital data that can be used to control a game or music editing system, such as music. To create visual activation elements in the visual presentation.

Vorzugsweise erfolgt die Audiowiedergabe über Wiedergabeaudiodaten, insbesondere einen Audiostream des Musikstücks, der vorzugsweise in gleicher Weise wie die MIDI-Dateien, in Stimmen aufgesplittet ist. Die unterschiedlichen Stimmen des Audiostreams spiegeln die entsprechenden Stimmen des Musikstücks exakt wieder im Gegensatz zu einer Audiowiedergabe durch die MIDI-Dateien, die nur Steuerinformation für das Soundsystem des Computers enthalten. Deshalb werden vorzugsweise die MIDI-Daten nur zum Steuern der Ereignisse in der visuellen Darstellung, z. B. zum Erzeugen von visuellen Aktivierungselementen, verwendet, während die Wiedergabe über den Audiostream erfolgt. Preferably, the audio playback via playback audio data, in particular an audio stream of the piece of music, which is preferably in the same way as the MIDI files, split into votes. The different voices of the audio stream accurately reflect the corresponding parts of the piece of music, as opposed to audio playback through the MIDI files, which contain only control information for the computer's sound system. Therefore, preferably the MIDI data is only used to control the events in the visual representation, e.g. For example, to generate visual activation elements while playback is via the audio stream.

Die vorliegende Erfindung ermöglicht eine selbständige Zentrierung der visuellen Darstellung auf die Spielfigur entsprechend dem Spielgeschehen. Vorzugsweise sind hierzu die Audiodaten in mehrere, vorzugsweise zwischen 5 und 50 Zeitabschnitte unterteilt. Die Videodaten können anders organisiert sein, z. B. als zusammenhängender visueller Bereich, bei dem lediglich der Bereich auf dem Bildschirm dargestellt wird, in welchem sich die Spielfigur aufhält. Vorzugsweise wird die visuelle Darstellung so gesteuert, dass die visuelle Darstellung auf die Spielfigur zentriert ist. Die ermöglicht eine spielergonomisch bessere und flüssige Steuerung der Spielfigur durch das Spielgeschehen. So ist es möglich, das Verfahren und die visuelle Darstellung in Echtzeit zusammen mit der Wiedergabe der Audiodaten (z. B. eines Musikstücks) ablaufen zu lassen.The present invention enables an independent centering of the visual representation on the game character according to the game action. For this purpose, the audio data are preferably divided into a plurality of, preferably between 5 and 50, time periods. The video data can be organized differently, eg. B. as a contiguous visual area in which only the area is displayed on the screen in which the character is staying. Preferably, the visual representation is controlled so that the visual representation is centered on the toy character. This allows a player ergonomically better and more fluid control of the character through the game. Thus, it is possible to run the process and the visual display in real time along with the reproduction of the audio data (eg, a music piece).

Um die Interaktion zwischen der Bilddarstellung und der Eingabe interessanter zu gestalten, können einzelne Tracks, zum Beispiel eine Grundmelodie und ein Grundbeat, ununterbrochen wiedergegeben werden, wobei durch das Eingabegerät dann die anderen Tracks des Musikstücks beeinflusst, z. B. dazu geschaltet bzw. wieder abgeschaltet werden können. Hierdurch wird sichergestellt, dass das Musikstück zumindest in seinem Grundkonzept von Anfang über eventuelle Loops zwischendrin bis zum Ende ununterbrochen wiedergegeben wird. Mit der Beeinflussung eines Tracks ist die Audiowiedergabe des Tracks gemeint, welche generell über Lautsprecher oder Kopfhörer erfolgt. Die Beeinflussung umfasst alle Möglichkeiten der Beeinflussung der Wiedergabe von Audiodaten, z. B. Ein- und Ausschalten, Verändern der Lautstärke, Aufbringen von Effekten, wie z. B. Hall, Chorus, Flanger, Verzerrung, Aufdopplung einer Stimme mit Transponation etc. Es wird also durch die Erfindung das rhythmische und melodiöse Grundgerüst des Musikstücks nicht verändert, sondern lediglich hinsichtlich der Wiedergabe und Veränderung weiterer Stimmen beeinflusst. So können über die Aktivierungselemente z. B. Saxophonsolos oder Gitarrenriffs zu- und abgeschaltet werden. Zudem lassen sich die Gesangsstimmen zu und abschalten. Das Verfahren kann somit auch zu Übungs- und Lernzwecken z. B. für Instrumente oder für den Gesang bzw. als Karaokeanwendung verwendet werden.In order to make the interaction between the image display and the input more interesting, individual tracks, for example a basic melody and a basic beat, can be reproduced continuously, whereby the input device then influences the other tracks of the piece of music, e.g. B. can be switched or turned off again. This ensures that the music piece is at least reproduced in its basic concept from the beginning about any loops in between to the end uninterrupted. By influencing a track is meant the audio playback of the track, which generally takes place via loudspeakers or headphones. The influence includes all possibilities of influencing the reproduction of audio data, eg. B. switching on and off, changing the volume, applying effects such. As reverb, chorus, flanger, distortion, doubling a voice with transposition, etc. So it is not changed by the invention, the rhythmic and melodious structure of the piece of music, but only affected in terms of playback and changing other voices. Thus, about the activation elements z. B. saxophone solos or guitar riffs on and off. In addition, the vocals can be switched on and off. The method can thus also for training and learning purposes z. B. used for instruments or for singing or as a karaoke application.

Zur Generierung eines Steuersignals wird vorzugsweise ein Algorithmus verwendet, der den örtlichen und/oder zeitlichen Abstand eines Eingabevorgangs von einem visuellen Aktivierungselement erfasst und daraus das Steuersignal für das Beeinflussen des zugeordneten Tracks ableitet. Für die Ermittlung des örtlichen Abstandes wird die Koordinate der Eingabe bzw. des Triggerfeldes mit der Koordinate des visuellen Aktivierungselements verglichen und aus der Differenz das Steuersignal abgeleitet. Das Steuersignal kann ein binäres Signal sein, z. B. Ein/Aus oder ein analoges Signal, das sich z. B. mit der Größe des Abstandes ändert.To generate a control signal, an algorithm is preferably used which detects the local and / or temporal distance of an input process from a visual activation element and derives therefrom the control signal for influencing the assigned track. For the determination of the local distance, the coordinate of the input or of the trigger field is compared with the coordinate of the visual activation element, and the control signal is derived from the difference. The control signal may be a binary signal, e.g. B. On / Off or an analog signal z. B. changes with the size of the distance.

Der Vorteil der Erfindung liegt darin, dass sie ein Videospiel erlaubt, welches auf kreative Weise eine Interaktion zwischen einem abgespielten Musikstück und einem Spielverlauf ermöglicht.The advantage of the invention is that it allows a video game that creatively enables interaction between a played piece of music and a game play.

Die Interaktion beruht auf einer Eingabe im Spielverlauf mittels des Eingabegeräts oder auf der Steuerung einer Spielfigur in oben genannter Weise. Der Spieler kann somit die Wiedergabe des Musikstücks entsprechend seiner eigenen Aktion in dem Spielverlauf verändern bzw. steuern.The interaction is based on an input in the course of the game by means of the input device or on the control of a character in the above manner. The player can thus change or control the reproduction of the piece of music according to his own action in the course of the game.

In der visuellen Darstellung auf dem Bildschirm wird vorzugsweise nur ein begrenzter Zeitabschnitt des Musikstücks dargestellt, da bei der Darstellung der gesamten Länge des Musikstücks die zeitliche Auflösung am Bildschirm zu gering wäre. Vorteilhaft ist die Darstellung eines Zeitabschnitt zwischen 20 s und 2 Min., insbesondere zwischen 30 s und 1 Min. Bei insbesondere kürzeren Musikstücken ist es auch möglich, die gesamte Länge in der visuellen Darstellung anzuzeigen.In the visual display on the screen, only a limited period of time of the piece of music is preferably displayed since, in the representation of the entire length of the piece of music, the temporal resolution on the screen would be too low. Advantageously, the representation of a time period between 20 s and 2 min., In particular between 30 s and 1 min. In particular shorter pieces of music, it is also possible to display the entire length in the visual representation.

Das Verfahren kann auf jedem Einzelplatzrechner als auch auf einem Server ausgeführt werden, der über ein Netzwerk, insbesondere über das Internet, mit Arbeitsplätzen (Clients) verbunden ist, die vorzugsweise lediglich als Ein/Ausgabestationen dienen. Auf diesen Arbeitsplätzen wird dann die einem Zeitabschnitt des Musikstücks zugeordnete visuelle Darstellung über den Bildschirm wiedergegeben, das Musikstück über die Lautsprecher bzw. den Kopfhörer abgespielt und die Eingabeaktionen des Eingabegerätes des Arbeitsplatzes dem Server übermittelt, der daraufhin entsprechend der Interaktion einen oder mehrere Tracks beeinflusst.The method can be carried out on any standalone computer as well as on a server which is connected via a network, in particular via the Internet, to workstations (clients), which preferably serve only as input / output stations. On these workstations, the visual representation associated with a time segment of the music piece is then displayed on the screen, the music piece is played via the loudspeakers or the headphones and the input actions of the input device of the workstation are transmitted to the server, which then influences one or more tracks according to the interaction.

Auch wenn derzeit eine Realisierung des Verfahrens auf einzelnen Rechnern bevorzugt wird, kann für mögliche zukünftige Cloud-Anwendungen sehr einfach ein serverbasiertes Videospiel, z. B. als Client Game für PC/MAC und Spielekonsolen kreiert werden, welches auf Online-Portalen spielbar ist.Even if a realization of the method is currently preferred on individual computers, for possible future cloud applications can very easily a server-based video game, z. B. as a client Game for PC / MAC and game consoles are created, which is playable on online portals.

In einer bevorzugten Ausführungsform werden aus einem Track dynamische visuelle Aktivierungselemente erzeugt, d. h. visuelle Aktivierungselemente, welche nur für eine begrenzte Zeitspanne in der visuellen Darstellung sichtbar sind. Die Zeitspanne kann dann vorzugsweise in Übereinstimmung mit dem Takt des Musikstücks gewählt werden.In a preferred embodiment, dynamic visual activation elements are generated from a track, i. H. visual activation elements, which are only visible in the visual representation for a limited period of time. The period of time may then preferably be selected in accordance with the clock of the piece of music.

In dem erfindungsgemäßen Verfahren ist vorzugsweise zumindest ein Track, vorzugsweise alle Tracks des Musikstücks in zeitlich aufeinanderfolgende Zeitabschnitte unterteilt, und die Wiedergabe zumindest eines Zeitabschnitts wird in Abhängigkeit von den Steuersignalen wiederholt. Auf diese Weise kann beispielsweise eine Basismelodiestimme und ein Basistakt der Percussion-Instrumente laufend wiedergegeben werden und in einer gewünschten Weise gelooped werden, solange keine Eingaben über das Eingabegerät gemacht werden, die zu einer Beeinflussung, z. B. dem Zu- oder Abschalten von Tracks führen. Das Weiterschieben des Zeitfensters in dem Musikstück von einem Zeitabschnitt zum nächsten erfolgt dann vorzugsweise über die Tätigung von Eingaben oder eine entsprechende Steuerung der Spielfigur (Triggerfeld).In the method according to the invention, preferably at least one track, preferably all tracks of the piece of music, are subdivided into temporally successive time segments, and the reproduction of at least one time segment is repeated in dependence on the control signals. In this way, for example, a base melody voice and a base clock of the percussion instruments can be played back continuously and looped in a desired manner, as long as no inputs are made via the input device, which can be influenced, e.g. B. lead to the switching on or off of tracks. The advancement of the time window in the piece of music from one period to the next is then preferably carried out by making inputs or a corresponding control of the character (trigger field).

Die Unterteilung in möglichst feine Zeitabschnitte kann auch dazu genutzt werden, die visuelle Darstellung am Bildschirm auf die Spielfigur in sehr unauffälliger Weise zu zentrieren. Wenn das Musikstück beispielsweise in 40 Zeitabschnitte t1 bis t40 unterteilt ist, so können auf dem Bildschirm z. B. acht bis zwölf Zeitabschnitte dargestellt werden. Mit dem Weiterbewegen der Spielfigur im Spielgeschehen wird dann in Bewegungsrichtung der Spielfigur ein nur sehr kleiner Zeitabschnitt weitergeschoben. Durch die feine Unterteilung in viele Zeitabschnitte ist der in Bewegungsrichtung hinzukommende und der auf der anderen Seite wegfallende Zeitabschnitt bzw. Darstellungsbereich sehr klein. Die selbständige Zentrierung der visuellen Darstellung auf die Spielfigur erfolgt damit äußerst glatt und ruckelfrei und damit unmerklich.The subdivision into the finest possible time segments can also be used to center the visual representation on the screen on the character in a very inconspicuous manner. For example, if the piece of music is divided into 40 periods t1 to t40, z. B. eight to twelve time periods are shown. With the further movement of the character in the game then a very small period of time is then pushed in the direction of movement of the character. Due to the fine subdivision into many time segments, the time segment or display area added in the direction of movement and the time interval on the other side are very small. The independent centering of the visual representation on the character is thus extremely smooth and smooth and thus imperceptible.

Es ist hier zu vermerken, dass im Fall des Verwendens von getrennten Steuer-Audiodaten, z. B. MIDI, und Wiedergabeaudiodaten, z. B. ein Audiostream in herkömmlichen Formaten wie wav, mp3, aiff etc. ein synchrones Loopen der Zeitabschnitte bei den Steueraudiodaten und den Wiedergabeaudiodaten erfolgen muss. So müssen beide Daten in gleiche Zeitabschnitte unterteilt sein, die im Rahmen des Interaktionsgeschehens synchron wiederholt bzw. beeinflusst werden. Mit der Abhängigkeit der Wiederholung eines Zeitabschnitts von der Eingabe ist somit in diesem Fall vorzugsweise eine Abhängigkeit dahingehend gemeint, dass eine Wiederholung eines Zeitabschnitts solange ausgeführt wird, als über eine definierte Zeitspanne keine Eingabe oder Interaktion mittels der Spielfigur erfolgt ist. Lediglich Eingaben und Interaktionen über das Eingabegerät führen dazu, dass die Wiedergabe der Audiodaten entsprechend dem ursprünglichen zeitlichen Ablauf weitergeführt wird.It should be noted here that in the case of using separate control audio data, e.g. MIDI, and playback audio, e.g. B. an audio stream in conventional formats such as wav, mp3, aiff, etc., a synchronous Loopen the periods must be done in the control audio data and the playback audio. Thus, both data must be subdivided into equal periods of time, which are repeated or influenced synchronously in the context of interaction. With the dependency of the repetition of a period of time on the input, a dependency is thus preferably meant in this case that a repetition of a time period is carried out as long as there has been no input or interaction by means of the character over a defined period of time. Only inputs and interactions via the input device result in the reproduction of the audio data being continued according to the original time sequence.

Vorzugsweise können für unterschiedliche Arten der Beeinflussung z. B. das Einschalten und das Ausschalten, bzw. die Effektbeaufschlagung eines Tracks unterschiedliche Steuersignale verwendet werden. So wird zum Beispiel für das Einschalten eines Tracks ein erstes Steuersignal verwendet und für das Ausschalten eines Tracks ein zweites Steuersignal. Die Bedingungen für die Abgabe eines ersten und zweiten Steuersignals können hierbei unterschiedlich gesetzt werden. So kann zum Beispiel für das Einschalten eines Tracks eine engere zeitliche und/oder örtliche Übereinstimmung mit einer Solleingabezeit oder einem Solleingabebereich zum Beispiel entsprechend einem dynamischen visuellen Aktivierungselement gefordert sein, während das Ausschalten eine größere zeitliche und/oder örtliche Abweichung von einem dynamischen visuellen Aktivierungselement ermöglicht. Es ist auch möglich unterschiedliche visuelle Aktivierungselemente für unterschiedliche Arten der Beeinflussung vorzusehen, die bei Aktivierung dann zu unterschiedlichen Steuersignalen führen.Preferably, for different types of influence z. B. the switching on and off, or the effect of a track different control signals are used. For example, turning on a track uses a first control signal, and turning off a track uses a second control signal. The conditions for the delivery of a first and second control signal can be set differently. For example, turning on a track may require closer timing and / or local matching with a default input time or a set input range, for example, corresponding to a dynamic visual activation element, while turning off allows greater temporal and / or spatial deviation from a dynamic visual activation element , It is also possible to provide different visual activation elements for different types of influencing, which then lead to different control signals when activated.

In gleicher Weise können nicht für die unterschiedliche Beeinflussung eines Tracks, sondern auch für die unterschiedlichen Tracks der Audiodaten unterschiedlichen Bedingungen für die Generierung eines Steuersignals definiert werden. So können zum Beispiel die Interaktionsbedingungen für das Ein- oder Ausschalten von Basisstimmen großzügiger gesetzt werden als die Interaktionsbedingungen für detailliertere Stimmen wie zum Beispiel Gitarrenriffs.In the same way, different conditions for the generation of a control signal can not be defined for the different influencing of a track, but also for the different tracks of the audio data. For example, the interaction conditions for switching on or off base voices can be set more generously than the interaction conditions for more detailed voices such as guitar riffs.

Somit werden vorzugsweise für die unterschiedlichen Tracks als auch für die unterschiedlichen Beeinflussungsarten unterschiedliche visuelle Aktivierungselemente verwendet. Diese können bei Aktivierung durch eine Interaktion selbstverständlich eine Art von Steuersignal oder entsprechend viele unterschiedliche Steuersignale erzeugen. Die Steuerung der Beeinflussung erfolgt somit vorzugsweise entweder durch ein einziges Steuersignal und die Information über die Art des visuellen Aktivierungselements oder allein durch den Typ des Steuersignals.Thus, different visual activation elements are preferably used for the different tracks as well as for the different types of influence. When activated by an interaction, these can, of course, generate a type of control signal or a correspondingly large number of different control signals. The control of the influence is thus preferably carried out either by a single control signal and the information about the type of visual activation element or solely by the type of the control signal.

Selbstverständlich erlaubt das erfindungsgemäße Verfahren nicht nur die Interaktion bzw. die Beeinflussung der Wiedergabe von Audiodaten, z. B. eines Musikstücks, in einem Videospiel, sondern bildet auch eine Möglichkeit zur Beeinflussung von Audiodaten zur Schaffung zum Beispiel eines neuen Musikstücks in einem kreativen Prozess oder wie oben ausgeführt zum Lernen einzelner Instrumentenparts oder zum Singen bzw. für Karaokeanwendungen.Of course, the inventive method not only allows the interaction or influencing the playback of audio data, z. As a piece of music, in a video game, but also forms a possibility for influencing audio data to create for example a new one Piece of music in a creative process or as discussed above for learning individual instrument parts or for singing or for karaoke applications.

Ziel der Erfindung ist auf jeden Fall das vollständige Abspielen eines Musikstücks, d. h. von Anfang bis Ende mit eventuellen Wiederholungen im dazwischen liegenden Bereich, welches durch Interaktion in seiner Stimmenzusammensetzung und/oder anderen Effekten durch die Erfindung beeinflusst wird.The aim of the invention is in any case the complete playback of a piece of music, d. H. from beginning to end, with possible repetitions in the intervening area, which is influenced by interaction in its voice composition and / or other effects by the invention.

Obwohl das Spiel bislang dazu konzipiert ist, lediglich auf einem Einzelgerät abgespielt zu werden, eignet sich das Verfahren auch zur Bereitstellung eines online-Spiels. Dies wird begünstigt durch die geringe Datentransferrate zwischen einem Rechner (z. B. Server) auf welchem das Verfahren läuft und einem Client, welche Transferrate letztlich nur auf dem Transfer von Eingabe/Ausgabedaten für Computerperipherie basiert. Die Computerperipherie wird dann in Form von Spielstationen (Clients) realisiert, durch über das Internet mit dem Spielserver verbunden sind. Diese Clients benötigen keinen eigenen vollwertigen Computer, sondern mehr oder weniger eine Kommunikations/Eingabe/Ausgabeeinheit, die mit einem Minimum an eigener Rechenleistung auskommt.Although the game has been designed to be played on a single device, the process is also suitable for providing an online game. This is favored by the low data transfer rate between a computer (eg server) on which the process is running and a client, which transfer rate is ultimately based only on the transfer of input / output data for computer peripherals. The computer peripherals are then implemented in the form of game stations (clients) connected to the game server via the Internet. These clients do not require their own full-fledged computer, but more or less a communication / input / output unit that manages with a minimum of own computing power.

Die Erfindung ermöglicht ein kreatives und anregendes Spielerlebnis eines Audio/Videospiels, welches das Spielgeschehen weg von den üblichen actionlastigen Spielen zu mehr sensitiv und intuitiv erlebbaren Spielwelten hinführt.The invention enables a creative and stimulating gaming experience of an audio / video game, which leads the game away from the usual action-heavy games to more sensitive and intuitive game worlds.

Die Erfindung wird nachfolgend beispielsweise anhand der schematischen Zeichnung beschrieben. In dieser zeigen:The invention will be described below by way of example with reference to the schematic drawing. In this show:

1 eine schematische Darstellung eines erfindungsgemäßen Systems zur Beeinflussung von Audiodaten, und 1 a schematic representation of a system according to the invention for influencing audio data, and

2 eine schematische Darstellung der Datenstruktur des Systems aus 1. 2 a schematic representation of the data structure of the system 1 ,

1 zeigt in beispielhafter und schematischer Weise ein System 10 zur Beeinflussung von Audiodaten, nämlich von Musikstücken 41 (2), die in dem Speicher 12 eines Computers oder einer Spielekonsole 14 abgelegt sind. Mit dem Computer 14 ist wenigstens ein Eingabegerät 20 verbunden, zum Beispiel einen Joystick mit einem seitlich und vor- und rückwärts bewegbaren Steuerstab 22, und wenigstens einer Schalttaste 24. Anstelle des Joysticks 20 können auch andere Eingabegeräte verwendet werden wie Computermäuse, Tastaturen, Touchscreens oder neuronal gestützte Systeme, die per se an sich bekannt sind. Mit dem Computer 14 sind weiterhin ein Monitor 26 als auch ein oder mehrere Lautsprecher 28 verbunden. Der Einfachheit halber sind hier für jeden Computer 14 nur ein Monitor 26, ein Eingabegerät 20 und ein Lautsprecher 28 dargestellt. Es ist jedoch klar, dass mehrere unterschiedliche Eingabe/Ausgabegeräte vorgesehen sein können, wie zum Beispiel Tastatur und Joystick als auch mehrere Lautsprecher zur Stereo- oder Surround-Wiedergabe oder auch mehrere Monitore, um einen größeren Bereich anzuzeigen. Das dargestellte System 10 ist ein System zur Handhabung eines Videospiels, welches durch eine Interaktion des am Monitor 26 angezeigten Spielgeschehens mittels des Eingabegeräts 20 eine Beeinflussung bzw. Abänderung des Musikstücks erlaubt. 1 shows a system in an exemplary and schematic way 10 for influencing audio data, namely pieces of music 41 ( 2 ) in the memory 12 a computer or game console 14 are stored. With the computer 14 is at least an input device 20 connected, for example, a joystick with a laterally and forward and backward movable control rod 22 , and at least one switch button 24 , Instead of the joystick 20 Other input devices may also be used, such as computer mice, keyboards, touchscreens or neuronically-based systems, which are known per se. With the computer 14 are still a monitor 26 as well as one or more speakers 28 connected. For simplicity, here are for each computer 14 just a monitor 26 , an input device 20 and a speaker 28 shown. However, it is clear that several different input / output devices can be provided, such as keyboard and joystick as well as multiple speakers for stereo or surround playback or even multiple monitors to display a larger area. The illustrated system 10 is a system for handling a video game by interacting with the monitor 26 displayed game by means of the input device 20 an influence or modification of the piece of music allowed.

Hierfür wird auf dem Monitor 26 eine visuelle Darstellung 28 wiedergegeben, im vorliegenden Fall eine Art Höhlenlabyrinth 32, in welcher eine Spielfigur 30 mittels des Eingabegerätes 20 gesteuert wird. Der am Monitor 26 wiedergegebene Abschnitt der visuellen Darstellung entspricht einem Zeitabschnitt (2: t1, t2, t3, t4) des über den Lautsprecher 28 wiedergegebenen Musikstück. Die Spielfigur 30 agiert in der Art eines Triggerfeldes, welches ein Höhlenlabyrinth 32 entlanggesteuert wird. Die visuelle Darstellung folgt vorzugsweise selbstständig den Bewegungen der Spielfigur, so dass die Spielfigur im Zentrum des Spielgeschehens bleibt, was wiederum eine einfachere Interaktion der Spielfigur mit dem Spielgeschehen ermöglicht. In dem Höhlenlabyrinth 32 sind unterschiedliche visuelle Aktivierungselemente 34, 36, 38 wiedergegeben, die unterschiedlichen Tracks bzw. Stimmen des Musikstücks zugeordnet sind, wie später noch detaillierter beschrieben wird. Wenn die Spielfigur 30 durch das Eingabegerät 20 derart gesteuert wird, dass sie ein Aktivierungselement 34, 36, 38 berührt, wird die dem Aktivierungselement zugeordnete Stimme des Musikstücks beeinflusst, z. B. ein- oder ausgeschaltet. So dient in der Darstellung das erste Aktivierungselement 34 dem Einschalten der Tom Toms, das zweite Aktivierungselement 36 dem Einschalten des Saxophons und das dritte Aktivierungselement 38 dem Einschalten der Leadgitarre. Vorzugsweise werden im Spielverlauf wenigstens eine Stimme, vorzugsweise zwischen 1 und 4 Stimmen des Musikstücks, wie zum Beispiel die Bassdrum, die Rhythmusgitarre und ein Base-Synthesizer laufend wiedergegeben, die somit als Art Backgroundmusik agieren. Diese Stimmen können nicht durch Aktivierungselemente ein- oder ausgeschaltet werden. Wenn keine Interaktion erfolgt, kann das Musikstück in einem Zeitabschnitt beliebig lange wiederholt (gelooped) werden.This is done on the monitor 26 a visual representation 28 reproduced, in the present case a kind of cave labyrinth 32 in which a character 30 by means of the input device 20 is controlled. The on the monitor 26 reproduced portion of the visual representation corresponds to a period of time ( 2 : t1, t2, t3, t4) of the speaker 28 reproduced piece of music. The character 30 acts in the manner of a trigger field, which is a cave labyrinth 32 is controlled along. The visual representation preferably follows automatically the movements of the character, so that the character remains in the center of the game, which in turn allows for easier interaction of the character with the game. In the cave labyrinth 32 are different visual activation elements 34 . 36 . 38 reproduced, which are assigned to different tracks or voices of the piece of music, as will be described in more detail later. When the play figure 30 through the input device 20 is controlled so that they are energizer 34 . 36 . 38 touched, the activation element associated with the voice of the piece of music is affected, for. B. on or off. Thus, in the illustration, the first activation element is used 34 turning on the Tom Toms, the second activation element 36 turning on the saxophone and the third activation element 38 turning on the lead guitar. Preferably, at least one voice, preferably between 1 and 4 voices of the piece of music, such as the bass drum, the rhythm guitar and a base synthesizer, are played continuously in the game, thus acting as background music. These voices can not be turned on or off by activating elements. If there is no interaction, the piece of music can be repeated (looped) in a time period as long as desired.

Im obigen Beispiel wurde als örtliche Beziehung zur Ableitung eines Steuersignals zum Ein- oder Ausschalten eines Tracks das Berühren eines Aktivierungselementes 34, 36, 38 mit der Spielfigur 30 gewertet. Es kann stattdessen auch vorgesehen sei, dass ein gewisser Abstand zwischen einem Aktivierungselement 34, 36, 38 und der Spielfigur 30 unterschritten wird.In the example above, touching an activation element was considered a local relationship to deriving a control signal to turn a track on or off 34 . 36 . 38 with the character 30 scored. It may instead be provided that a certain distance between an activation element 34 . 36 . 38 and the character 30 is fallen short of.

Wenigstens eines dieser Aktivierungselemente 34, 36, 38 kann zudem als dynamisches Aktivierungselement vorgesehen sein, das nur wiederholt in einem engen zeitlichen Fenster, zum Beispiel für 1 s, auftaucht. In diesem Fall ist es gefordert, dass die Spielfigur genau im Zeitraum des Auftauchens des dynamischen Aktivierungselements dieses berührt oder sich in einem gewissen Mindestabstand von diesem befindet.At least one of these activation elements 34 . 36 . 38 can also be provided as a dynamic activation element that appears only repeatedly in a narrow time window, for example for 1 s. In this case, it is required that the character touched or at a certain minimum distance from this exactly in the period of the emergence of the dynamic activation element.

Die Beziehung kann allerdings auch so aussehen, dass über die Spielfigur irgendeine Aktion gestartet wird, die auf ein Aktivierungselement gerichtet ist, wobei nur dann ein Steuersignal generiert wird, wenn die Aktion der Spielfigur hinsichtlich des Aktivierungselements erfolgreich ist, zum Beispiel Richten eines Strahls auf ein Aktivierungselement oder dergleichen.However, the relationship may also be such as to start over the game piece any action directed to an activation element, generating a control signal only if the action of the game piece is successful with respect to the activation element, for example directing a beam to Activation element or the like.

2 zeigt den Aufbau der Datenstruktur der Datenbank 12 in detaillierter Form. Wie es in 1 dargestellt ist, hat die Datenbank 12 einen ersten Datenbankbereich 40 in Form eines Songspeichers, auf welchem eine Vielzahl von Musikstücken 41 abgespeichert sind. 2 shows the structure of the data structure of the database 12 in detailed form. As it is in 1 represented, the database has 12 a first database area 40 in the form of a song memory, on which a variety of pieces of music 41 are stored.

Jedem Musikstück 41 ist hierbei ein Steuerdatenbereich 42 und ein Wiedergabedatenbereich 43 zugeordnet. Der Steuerdatenbereich 42 enthält Steueraudiodaten und umfasst vorzugsweise MIDI-Daten zum Steuern bzw. Einflussnahme auf des Spielgeschehen. Der Wiedergabedatenbereich 43 mit den Wiedergabeaudiodaten umfasst Audiostreams, vorzugsweise im komprimierten mp3-Format. Dieser Wiedergabebereich 43 enthält die Wiedergabeaudiodaten, die während des Spiels oder der Anwendung tatsächlich über Lautsprecher oder Kopfhörer wiedergegeben werden.Every piece of music 41 is a control data area 42 and a playback data area 43 assigned. The control data area 42 contains control audio data and preferably includes MIDI data for controlling or influencing the game. The playback data area 43 with the playback audio data comprises audio streams, preferably in compressed mp3 format. This playback area 43 Contains the playback audio that is actually played back via speakers or headphones during the game or the application.

Jedes Musikstück 41 setzt sich darüber hinaus aus einer Vielzahl von Stimmen 44 bis 52 zusammen, sowohl in dem Steuerdatenbereich 42 als auch in dem Wiedergabedatenbereich 43. Die in der Darstellung dem zweiten Musikstück zugeordnete Steuerdaten- und Wiedergabedatenbereiche 42, 43 enthalten erste Tracks 44–49, welche mittels des Videospiels beeinflusst, zum Beispiel ein- oder ausgeschaltet oder in ihrer Lautstärke verändert werden können, als auch zweite Tracks 50–52, welche z. B. durch Marker 54 gekennzeichnet sind. Mittels der Marker 54 kann der Rechner 14 erkennen, dass diese Stimmen 50, 51, 52 durch das Videospiel bzw. die Anwendung nicht verändert werden können. Diese Stimmen stellen somit die im Spielverlauf durchgehend gespielte Hintergrundmusik dar. Jede Stimme ist weiterhin in mehrere Zeitabschnitte t1, t2, t3, t4 unterteilt, welche von vorne nach hinten abgespielt werden. Da das Abspielen des Musikstücks in Interaktion mit der Eingabe mittels des Eingabegeräts 20 erfolgt, kann es vorkommen, dass einige Aktionen erfolgen müssen, damit das Musikstück weitergespielt wird. Zu diesem Zweck werden die einzelnen Zeitabschnitte in Endlosschleifen gespielt, wenn der Spieler mangels Interaktion nicht aus dem entsprechenden Zeitabschnitt des Spieles hinaus zum nächsten Zeitabschnitt gelangt. Selbstverständlich können statt vier zeitlicher Zeitabschnitte eine sehr viel größere Anzahl von Zeitabschnitten zur Unterteilung des Musikstücks vorgesehen werden, welche auf dem Bildschirm dargestellt als auch über die Lautsprecher wiedergegeben werden. Vorzugsweise erfolgt eine Unterteilung in 4 bis 50 Zeitabschnitte, entsprechend der Länge und Art des Musikstücks. Die Zeitabschnitte werden vorzugsweise so gewählt, dass sich eine Endlosschleife leicht realisieren lässt, ohne dass dies unharmonisch oder holprig klingt. Die Zeitabschnitte können sich auch überlagern.Every piece of music 41 is also made up of a variety of voices 44 to 52 together, both in the control data area 42 as well as in the playback data area 43 , The control data and playback data areas assigned in the representation to the second music piece 42 . 43 contain first tracks 44 - 49 , which can be influenced by the video game, for example, switched on or off or can be changed in volume, as well as second tracks 50 - 52 which z. B. by markers 54 Marked are. By means of markers 54 can the calculator 14 recognize that these voices 50 . 51 . 52 by the video game or the application can not be changed. These voices thus represent the background music played throughout the game. Each voice is further subdivided into several time segments t1, t2, t3, t4, which are played from front to back. Since the playing of the piece of music in interaction with the input by means of the input device 20 If necessary, some actions may be necessary to continue playing the song. For this purpose, the individual time segments are played in endless loops, if the player does not reach the next period of time for lack of interaction from the corresponding period of the game. Of course, instead of four time periods, a much larger number of time sections for dividing the piece of music can be provided, which are displayed on the screen as well as reproduced on the speakers. Preferably, a subdivision into 4 to 50 time periods, according to the length and type of the piece of music. The time periods are preferably chosen so that an infinite loop can be easily realized without sounding inharmonious or bumpy. The periods of time can also overlap.

Die Datenbank 12 enthält weiterhin einen Speicher 60 mit unterschiedlichen grafischen Darstellungen 62–66, die entweder von dem Nutzer des Spieles zu Beginn des Spieles ausgewählt werden und/oder die von dem Rechner einem bestimmten Musikstück aus dem Songspeicher 40 bzw. dessen Zeitabschnitten t1 bis t4 zugeordnet sind. Vorzugsweise wird die Anzahl der Zeitabschnitte höher gewählt. Die grafischen Darstellungen 62–66 müssen nicht in Zeitabschnitte t1 bis t4 unterteilt sein, sondern können als Art eines virtuellen zusammenhängenden Bildes gespeichert sein, von welchem nur der Ausschnitt auf dem Bildschirm wiedergegeben wird, in welchem sich die Spielfigur gerade aufhält.Database 12 also contains a memory 60 with different graphical representations 62 - 66 which are either selected by the user of the game at the beginning of the game and / or the computer from a particular piece of music from the song memory 40 or whose time intervals t1 to t4 are assigned. Preferably, the number of time slots is selected to be higher. The graphic representations 62 - 66 need not be subdivided into periods t1 to t4, but may be stored as a kind of virtual contiguous image, of which only the portion on the screen in which the character is currently residing is reproduced.

In dem Spiel- oder Anwendungsgeschehen werden die Steueraudiodaten des Steuerdatenbereichs 42 dazu verwendet, im Spielgeschehen visuelle Aktivierungselemente zu erzeugen. Die Wiedergabeaudiodaten aus dem Wiedergabedatenbereich 43 werden dann in Rahmen der Interaktion im Spielgeschehen über Lautsprecher oder Kopfhörer wiedergegeben. Mit der Interaktion werden somit synchron die Daten des Steuerdaten- als auch des Wiedergabedatenbereichs beeinflusst. Das Agieren mit den beiden unterschiedlichen Datentypen hat den Vorteil, dass die Wiedergabe der Audiodaten klanglich hochwertig ist und auf jedem Wiedergabegerät gleich klingt. Es ist zwar prinzipiell möglich, allein mit MIDI-Daten zu arbeiten. In diesem Fall würde die Wiedergabe jedoch auf jedem Computer anders klingen, und im Falle des Fehlens einer entsprechenden Audiokonfiguration der Soundkarte wäre es sogar möglich, dass die Wiedergabe auf einigen Computern gestört wäre. Durch die Verwendung der parallelen Steuer- und Wiedergabeaudiodaten wird dieses Problem umgangen. Die Steueraudiodaten liegen als digitale Daten vor, die eine einfache Steuerung des Spielgeschehens erlauben.In the game or application event, the control audio data of the control data area becomes 42 used to create visual activation elements in the game. The playback audio from the playback data area 43 are then played as part of the interaction in the game via speakers or headphones. The interaction thus influences synchronously the data of the control data as well as the playback data area. The advantage of working with the two different types of data is that the playback of the audio data is of high sound quality and sounds the same on every playback device. It is basically possible to work with MIDI data alone. In this case, however, playback would sound different on each computer, and in the absence of an appropriate audio configuration of the sound card, it might even be possible that playback would be disturbed on some computers. Using the parallel control and playback audio bypasses this problem. The control audio data is available as digital data that allows easy control of the game.

Das obige Ausführungsbeispiel dient nur zur Veranschaulichung der Erfindung und ist nicht beschränkend für diese. Es ist so zum Beispiel möglich, dass der Rechner ein zentraler Rechner (Server) ist, auf den Clients über das Internet zugreifen. Der Server führt dann vorzugsweise die notwendigen Berechnungen in dem Spiel oder der Anwendung durch während der Client die Ein- und Ausgabegeräte aufweist. Die Datenbank 12 kann sich dann beim Server und/oder beim Client befinden.The above embodiment is only for the purpose of illustrating the invention and is not limitative of it. It is thus possible, for example, that the computer is a central computer (server) that clients access via the Internet. The server then preferably performs the necessary calculations in the game or application while the client has the input and output devices. Database 12 can then be located at the server and / or at the client.

Es soll weiterhin klargestellt sein, dass der Songspeicher 40 eine große Anzahl von Musikstücken, zum Beispiel mehrere tausend Musikstücke, enthält, und dass jedes Musikstück eine Vielzahl von Tracks, in der Regel zwischen 8 und 32 Tracks, enthält. Es ist weiterhin möglich, dass ein Track mehrere Stimmen des Liedes bzw. Musikstücks zusammenfasst. So können zum Beispiel bei den Percussions die Bass Drum und das Becken zu einer Stimme zusammengefasst sein.It should be further clarified that the song memory 40 contains a large number of pieces of music, for example several thousand pieces of music, and that each piece of music contains a plurality of tracks, usually between 8 and 32 tracks. It is also possible that a track summarizes several voices of the song or piece of music. For example, in the percussion, the bass drum and the pelvis can be combined into one voice.

Statt der Bewegung einer Spielfigur 30 in Art eines Triggerfeldes durch die visuelle Darstellung 28 ist es auch möglich, dass die Anzeige der Eingabeposition des Eingabegerätes 20 zum Beispiel durch ein Fadenkreuz oder dergleichen dargestellt wird, welches dann auf die Aktivierungselemente im richtigen Moment zu richten ist.Instead of the movement of a character 30 in the manner of a trigger field through the visual representation 28 It is also possible that the display of the input position of the input device 20 is represented for example by a crosshair or the like, which is then to be directed to the activation elements at the right moment.

Die Erfindung kann im Bereich der nachfolgenden Schutzansprüche variiert werden.The invention may be varied within the scope of the following claims.

Claims

Method for influencing audio data ( 41 ) by means of at least one input device ( 20 ) and a screen ( 26 ), in which method the audio data ( 41 ) split into a variety of tracks ( 44 - 52 ) which tracks ( 44 - 52 ) each having a subset of the voices present in the audio data, preferably each having a voice, which subsets differ in the different tracks from each other, at least one track of the audio data is continuously via an audio playback device, eg. As speakers, reproduced, at least individual tracks ( 44 - 49 ) of the audio data ( 41 ) at least one visual activation element ( 34 - 38 ) displayed on the screen ( 26 ) in a visual representation ( 28 ), the visual representation ( 28 ) has a display area which corresponds to a period (t1-t4) of the audio data ( 41 ), via the input device ( 20 ) inputs are made in the visual representation that are in temporal and / or spatial relationship to the visual activation element ( 34 - 38 ), from which relationship control signals for influencing the track associated with the visual activation element are derived, and / or via the input device (FIG. 20 ) at least one trigger field reproduced in the visual representation ( 30 ), and control signals for influencing the track associated with the visual activation element are derived from a temporal and / or local relationship of the trigger field (FIG. 30 ) to the visual activation element ( 34 - 38 ), and the reproduction of the audio data and / or the visual activation element of the assigned track (s) is influenced by the control signals

A method according to claim 1, characterized in that the display area of the visual representation on the trigger field ( 30 ), in particular centered.

Method according to one of the preceding claims, in which a control signal is generated if the local relationship results from an at least partial overlapping of the trigger field ( 30 ) with the visual activation element ( 34 - 38 ) consists.

Method according to one of the preceding claims, in which a control signal is generated when the local relationship results from a shortfall of a defined distance between the trigger field ( 30 ) and the visual activation element ( 34 - 38 ) consists.

Method according to one of the preceding claims, in which as audio data ( 41 ) Control audio data ( 42 ) for controlling the visual presentation and / or the visual activation elements and playback audio data ( 43 ) are used synchronously for audio playback.

Method according to Claim 5, in which the control audio data ( 42 ) a MIDI file and as playback audio data ( 43 ) in votes ( 44 - 52 ), the track number of the MIDI file preferably correlates with the number of voices of the audio stream.

Method according to Claim 6, characterized in that the control audio data for the generation of visual activation elements ( 34 - 38 ) is used.

Method according to one of the preceding claims, characterized in that at least one track ( 50 - 52 ) of the audio data ( 41 ) is reproduced continuously and by an input by means of the input device ( 20 ) can not be turned on and off.

Method according to one of the preceding claims, characterized in that the Generation of the control signal, an algorithm is used which, as a local relationship, determines the distance of the input or of the trigger field (FIG. 30 ) of a visual activation element ( 34 - 38 ) or an activation area in the visual representation.

Method according to one of the preceding claims, characterized in that from a track at least one dynamic visual activation element ( 34 - 38 ), ie a visual activation element which is only displayed for a limited period of time in the visual representation ( 28 ) is shown.

A method according to claim 10, characterized in that the audio data is a piece of music ( 41 ) and that the time span for the representation of the dynamic visual activation element ( 34 - 38 ) in relation to the beat and the speed of the piece of music.

Method according to claim 10 or 11, characterized in that an algorithm is used to generate a control signal which as a relationship determines the temporal and spatial distance of the input or of the trigger field (FIG. 30 ) of the temporary appearance of the dynamic visual activation element ( 34 - 38 ) detected.

Method according to one of the preceding claims, characterized in that at least one, preferably all tracks ( 44 - 52 ) of the audio data ( 41 ) is divided into a plurality of temporally successive time periods (t1-t4), and that the reproduction of at least a period of the audio data is repeated in response to the output of control signals.

A method according to claim 13, characterized in that the visual representation takes place synchronously with the reproduction of the allocated time segments of the audio data.

Method according to one of the preceding claims, characterized in that for different influences of a track ( 44 - 49 ) different control signals are used, which in turn with different visual activation elements ( 34 - 38 ) are correlated.

Method according to one of the preceding claims, characterized in that the influences of different tracks ( 44 - 49 ) different control signals are used, which in turn with different visual activation elements ( 34 - 38 ) are correlated.

Method according to one of the preceding claims, characterized as a trigger field ( 30 ) the defined area of a playing figure is used, which in the context of a video game by means of the input device ( 20 ) through the visual representation ( 28 ) is controlled.

Method according to one of the preceding claims, characterized in that audio data are pieces of music ( 41 ) be used.

System for carrying out the method according to one of the preceding claims.