Personalisierbare Hörerlebnisse in 3D

Die Dialoge des Fernsehfilms lauter schalten, die Hintergrundgeräusche dimmen? Per Knopfdruck den Lieblingskommentator bei der Fussballübertragung aussuchen? Oder beim Musikhören das Schlagzeug etwas leiser drehen? Mit dem MPEG-H Audio-System des Fraunhofer-Instituts für Integrierte Schaltungen IIS lässt sich 3D-Klang mühelos personalisieren. Für die Entwicklung des Systems werden – stellvertretend für das Team – Harald Fuchs, Dr. Achim Kuntz und Adrian Murtaza mit dem Joseph-von-Fraunhofer-Preis 2023 ausgezeichnet.

Metadaten für individuelle Klangerlebnisse

Das MPEG-H Audio-System bringt die dreidimensionale Klangwelt auf immer mehr Wiedergabegeräte. Der dafür nötige Prozess unterscheidet die Technologie aus dem Fraunhofer IIS deutlich von anderen 3D-Soundsystemen: Statt ausschliesslich klassische Tonspuren zu verwenden, wird in der Produktion mit Audio-Objekten gearbeitet. Einem solchen Objekt, zum Beispiel einem singenden Vogel, werden mithilfe von Metadaten Eigenschaften wie Position und Lautstärke zugewiesen. Über sie wird festgelegt, was mit dem Ton passiert: Der Vogelgesang bewegt sich im dreidimensionalen Raum, wird lauter und leiser. All diese Informationen werden an das Wiedergabesystem gesendet und hier mit Informationen zur Wiedergabesituation kombiniert. Erst jetzt entstehen – im Unterschied zu üblichen Surround-Formaten wie 5.1 oder 7.1 – die Lautsprechersignale.

Der neue Ansatz, Audioobjekte durch Metadaten zu beschreiben, ermöglicht auch die Personalisierung von Inhalten: die Wahl zwischen verschiedenen Sprachen, Filmdialoge lauter und damit verständlicher machen, die Stimme des Sportkommentators frei im Raum positionieren oder bei Live-Events mehr oder weniger Publikumsklänge hören.

MPEG-H: Innovatives System von Produktion bis zur Wiedergabe

Das Team des Fraunhofer IIS hat dabei ein Gesamtsystem entwickelt, das die gesamte Kette von der Tonproduktion über die Übertragung bis hin zur Wiedergabe umfasst. Und zwar nicht nur in der Übertragungskette von Fernsehproduktionen: «Wir möchten sicherstellen, dass sich jede Produktions-, Übertragungs- und Wiedergabesituation in MPEG-H Audio abbilden lässt», erläutert Kuntz. «Das MPEG-H Audio-System geht daher weit über einen reinen Audiocodec hinaus: Es umfasst Produktionswerkzeuge, Datei- und Übertragungsformate und neuartige Wiedergabeverfahren ebenso wie Softwarelösungen für Integratoren.» Ein weiteres Beispiel für eine der zahlreichen Entwicklungen rund um MPEG-H Audio ist das immersive objektbasierte Musikformat 360 Reality Audio des Elektronikkonzerns Sony. Es findet sich schon heute bei vielen Streamingdiensten – ein mit dieser Technologie produziertes Album erhielt 2023 sogar den Grammy für das beste immersive Album.

Das Ende der Testphase

Ein so umfassendes Audiosystem zu entwickeln, kann nur mit einem grossen Team gelingen: Bis zu hundert Personen gleichzeitig arbeiteten zu Spitzenzeiten an dem Projekt, das bereits 2012 startete – derzeit sind es noch etwa 50 Mitarbeitende. Wichtig war darüber hinaus internationale Unterstützung. Industrie- und Technologiepartner auf der ganzen Welt trugen dazu bei, MPEG-H Audio fit für den Einsatz in unterschiedlichsten Umgebungen zu machen. So etwa Brasilien: Nach gross angelegten Vergleichstests entschied das Land im Dezember 2021, die neue Technologie als verpflichtenden Audiostandard für seine neue Fernsehinfrastruktur einzusetzen. Auch in Europa kam MPEG-H Audio bereits bei einer Reihe von Tests zum Einsatz. Kurzum: Das MPEG-H Audio-System ist das weltweit einzige offen standardisierte System zur Übertragung der nächsten Generation von Audioformaten.