Regular and Irregular Gabor Multiplier with Applications in Psychoacoustic Masking
This project consists of three subprojects:
1.1 Frame & Gabor Multiplier
Recently Gabor Muiltipliers have been used to implement time-variant filtering as Gabor Filters. This idea can be further generalized. To investigate the basic properties of such operators the concept of abstract, i.e. unstructured, frames is used. Such multipliers are operators, where a certain fixed mask, a so-called symbol, is applied to the coefficients of frame analysis , whereafter synthesis is done. The properties that can be found for this case can than be used for all kind of frames, for example regular and irregular Gabor frames, wavelet frames or auditory filterbanks.
The basic definition of a frame multiplier follows:
As special case of such multipliers such operators for irregular Gabor system will be investigated and implemented. This corresponds to a irregular sampled Short-Time-Fourier-Transformation. As application an STFT correpsonding to the bark scale can be examined.
This mathematical and basic research-oriented project is important for many other projects like time-frequency-masking or system-identification.
References
- O. Christensen, An Introduction To Frames And Riesz Bases, Birkhäuser Boston (2003)
- M. Dörfler, Gabor Analysis for a Class of Signals called Music, Dissertation Univ. Wien (2002)
- R.J. Duffin, A.C. Schaeffer, A Class of nonharmonic Fourier series, Trans.Amer.Math.Soc., vol.72, pp. 341-366 (1952)
- H. G. Feichtinger, K. Nowak, A First Survey of Gabor Multipliers, in H. G. Feichtinger, T. Strohmer
Dokumente
- Talk Frames and Frame Multiplier at the LMA, CNRS Marseille (Peter Balazs)
Kooperationen
1.2 Time-Frequency Masking
There are numerous experiments and publications on simultaneous or temporal masking, but most of them are strictly limited to time or frequency. Therefore the effect of auditory masking in the time-frequency plane is not well-known. Because there is a big difference between representations in the frequency-domain (for example via the Fourier transformation) and in the time-frequency domain, an investigation of these effects seems interesting and worthwhile.
Gibt es einen anderen Maskierungs-Effekt in der Zeit-Frequenz Ebene als eine Überlagerung von zeitlicher und simultaner Maskierung? Mit welchen psychoakustischen Experimenten kann diese Frage am besten untersucht werden? Wie kann die gewonnene Freiheit für einen Maskierungs-Algorithmus genützt werden, die man gewinnt, wenn man von einer orthonormalen Basis zum "Frame" der Zeit-Frequenz-Ebene wechselt, von einer eindeutigen Darstellung zu einer, die mehr Optionen zulässt. Durch die Auseinandersetzung mit der Zeit-Frequenz-Maskierung kann in diesem Projekt ein besseres Verständnis der auditorischen Wahrnehmung und darüber, wie eine Repräsentation minimiert und trotzdem (nach einer Resynthese) perzeptiv nicht vom Originalsignal unterschieden werden kann, erwartet werden. Letzteres muss und wird mittels Hörversuchen überprüft werden.
Neben einer Literaturrecherche konnten erste Ideen entwickelt werden:
1. wie ein Experiment überprüfen kann, ob es in der Zeit-Frequenz Ebene einen anderen Effekt als die Überlagerung von Simultan- und zeitlicher Maskierung gibt. Die Grundstruktur dieses Experiments wurde erarbeitet.
2. Wie ein Algorithmus arbeiten kann, der die Maskierung auf der Zeit-Frequenz implementiert. Hier wurde die Grundstruktur erarbeitet, wobei ausgenutzt wird, dass die simultane Maskierung als mehr peripher und die zeitliche Maskierung als mehr zentraler Effekt angesehen werden kann. Dieser Algorithmus ist insbesondere für die Anwendung bei jeder nicht linearen Zeit-Frequenz Darstellungen wie Wavelet-Analyse oder Ordnungsanalyse interessant. (siehe Zeichnung 2.) Dieser Algorithmus wird als irregulärer Gabor-Multiplier implementiert.
Die beiden vorangegangenen Ideen müssen noch weiter ausformuliert und psychoakustischen Tests unterzogen werden.
Das erfolgreiche und in S_Tools-STx implementierte Eckel-Modell der Simultan-Maskierung kann noch verbessert werden.
- Mathematische Formulierung und Verbesserung des Eckel-Modells: Test ob eine (mathematische) Projektion vorliegt und so Parameter schätzen (2005)
- energieäquivalente Umrechnung auf Bark
- irreguläre Sampling-Theorie verwenden um zu entscheiden, ob Auflösung der linearen Skala nicht geringer gewählt werden kann
- Frequenz-Schätzung durch PhasenVocoder verwenden (für Bark-Skala)
- Neue psychoakustische Erkenntnisse einfließen lassen
- Übertragungsfunktion des äußeren Gehörgangs und des Mittelohrs verwenden (Laback)
- absolute Hörschwelle als internes Rauschen (2006)
- Pegelabhängigkeit der auditorischen Filter berücksichtigen, entsprechend dem Bandpegel eines um die Frequenz des Maskierers zentrierten ERB (Bark)-Bande
- Nichtlineare Additivität der Maskierung in Abhängigkeit der Tonalität des Maskierers: starke Tonalität: lineare Addition; mehr Rauschhaftigkeit: nicht-lineare Addition, entsprechend Power-Law Transformation nach Lutfi
- moderne psychoakustische Testmethoden, um Parameter des Originalparameter besser schätzen zu können (2007) beziehungsweise die neuen Methoden testen (2008)
Literaturhinweis
- B. Moore, An Introduction to the Psychology of Hearing, Academic Press Limited London (1989)
- G. Eckel, Ein Modell der Mehrfachverdeckung für die Analyse musikalischer Schallsignale, Dissertation, Universität Wien (1989)
- B. Laback, Effekte der Simultanmaskierung auf die Musikperzeption bei sensorineuralen Hörschäden und ihre Anwendung für Signalverarbeitungsalgorithmen in Hörgeräten, Dissertation, Wien (1998). [PDF-FILE]
Dokumente
- Talk Masking, Maths, Marseille and More at the LMA, CNRS Marseille (Peter Balazs)
Kooperationen
- Laboratoire de Mécanique et d'Acoustique, CNRS Marseille, insbesondere Dr. Solvie Ystad und Dr. habil. Richard Kronland-Martinet der Gruppe Modélisation, Synthèse et Contrôle des Signaux Sonores et Musicaux
Links
1.3 Diskrete Gabor Analyse
Um die Erkenntnisse der Gabor Theorie anwenden zu können, muss man sie auf endlich-dimensionale, diskrete Räume anwenden, und kann dort durch eine algorithmische Umsetzung einige Eigenschaften gut erkennen (wie zum Beispiel die Walnut-Darstellung oder die Wexler-Raz Biorthogonalität).
Die Kurzzeitfouriertransformation (STFT) ist ein beliebtes Werkzeug für Zeit Frequenz Darstellungen. Wenn nicht nur eine Darstellung sondern auch eine Modifikation wie zum Beispiel. Filterung, erwünscht ist, benötigt man eine, wenn möglich perfekte, Rekonstruktion. Das kann erreicht werden indem das kanonische duale Fenster zur Synthese verwendet wird. Dieses kann man durch Invertierung des Gabor-Frame-Operators und Anwendung auf das Analyse-Fenster erreichen. Das Analyse-Fenster wird passend zur Anwendung gewählt. Für diese Invertierung sollte ein numerisch effizienter Algorithmus gefunden werden. Der Gabor-frame-Operator hat eine spezielle spärliche Struktur und es kann gezeigt werden, dass er für eine 'dichte' Zeit-Abtastung diagonal dominant ist (beziehungsweise bei einer 'dichten' Frequenz-Abtastung eine zirkuläre Matrix).
Die Methoden der einfache Präkonditierens wurde untersucht und die mathematische Grundlagen erarbeitet, so ist die Abbildung einer Matrix auf ihren Diagonal-Anteil eine Projektion und damit immer die Bestapproximation. Diagonal-Matrizen und zirkulante Matrizen stehen via der Matrix-Fourier-Transformation in einem bijektiven Verhältnis, sodass äquivalente Aussagen gelten.
Es wurde auch die Methode der Doppelten Präkonditionierung untersucht, also zuerst Projektion auf die Diagonal-Matrizen und dann auf die zirkulären Matrizen. Numerische Experimente zeigen, dass im Falle eines Gabor frames die doppelte Präkonditionierung fast immer besser ist als die einfache. Ein weiterer interessanter Effekt ist, dass für viele 'gute' Fenster bzw. Parameter die erste Iteration, das heißt die Projektion selbst, schon ausreicht um ein 'gutes' approximatives duales Fenster zu berechnen.
Literaturhinweis
- T. Strohmer, Numerical algorithms for discrete Gabor expansions, in Gabor Analysis and Algorithms - theory and Applications, Birkhäuser Bosten (1998)
- S. Qiu, H.G. Feichtinger, Discrete Gabor Structures and Optimal Representations, IEEE Transactions on Signal Processing, Vol. 43, No. 10, p. 2258 (1995)
- P. Balazs, H. G. Feichtinger, M. Hampjes, G. Kracher, Double Preconditioning for Gabor frames, submitted to IEEE Transactions On Signal Processing (2005): Abstract
Dokumente
- Talk Double Preconditioning of the Gabor frame operator at the Gabor Mini Workshop Vienna, 24.-27. Jan. 2005 (Peter Balazs)
Kooperationen
- NuHAG, Fakultät für Mathematik, Universität Wien.