Dokumaci, Arseli; Gibson, Janet; Schmidt, Yvonne: Casting Disability. The Labor of Life. Association for Theatre in Higher Education (ATHE), conference “Bodies at Work”, Chicago, 14.8.2016. Schmidt, Yvonne: Praktiken des Probierens und des Feedbacks am Beispiel von Freie Republik HORA. (Practices of Rehearsals and Feedback Using the Example of Free Republic HORA). 13. Kongress der Gesell schaft für Theaterwissenschaft «Theater als Kritik». (13th Congress of the Society for Theatre Studies “Theatre as Critique”). Gießen and Frankfurt a. M., 6.11.2016. Lösel, Gunter: Can Robots Improvise? Moments Festival, Vienna, 17.9.2016. Iseli, Christian: Analogue vs. Digital. The Emotional Impact of Film Recording Processes on the Audience. CineCongress Munich, 17.–19.9.2016. Rey, Anton: Künstlerische Forschung mit Film und Theater. Workshop and Impulse for BMBF-Application Program “Innovative Hochschule”, Filmuniversität Potsdam- Babelsberg, 10.10.2016. Lösel, Gunter: The Process of Artistic Research in the Performing Arts – a Prototype. École des Écoles: Artistic research, Zurich, 27.10.2016. Rey, Anton: Artistic Research. Methods of Research in Performing Arts and Film at Applied Universities in Switzerland. Keynote at the yearly meeting of École des Écoles (EdE), the European network of teachers and students in performing arts, ZHdK, Zurich, 27.10.2016. Showroom Z+ N°6 Bocchini, Sarah; Marinucci, Sarah; Quadri, Demis; Rey, Anton; Rosenberg, Emanuel; Schmidt, Yvonne: Stage Lab 1: DisAbility on Stage. Stage Laboratory and Showing. Accademia Teatro Dimitri, Verscio, 7.–18.11.2016. Lösel, Gunter; Goetze, Heike: Casting an Avatar. Performance mit Real-time-Avatar. (Casting an Avatar. Performance with a Real-time-Avatar). Cabaret Voltaire, Zurich, 22.11.2016. Rey, Anton: The Avatar is Present: Confess Your Self. Installation on “Avatars of Contemplation”, Cabaret Voltaire, Zurich, 22.11.2016. systematische Veränderungen des Luftdrucks) in Schwingungen versetzt und erzeugt so ein Muster neuronaler Impulse, die an das Gehirn weitergeleitet werden. Das Erregungsmuster der Membran (sogenannte Basilar Membrane Excitaion Patterns) wird durch die spektrale Charakteristik des Signals bestimmt. Entlang der Membran werden hierbei unterschiedliche Regionen durch unterschiedliche Frequenzen angeregt. Niedrige Frequenzen sind für die Anregung des Bereichs am Ende der Membran (Apex) und hohe Frequenzen für die Anregung des Bereichs zu Beginn der Membran (Base) am Eingang zur Cochlea verantwortlich. Die Dekodierung der unterschiedlichen Frequenzen entlang erfolgt dabei nur bis zu einer Frequenz von ca. 500 Hz entlang der Membran linear, oberhalb dieser Frequenz - und dies betrifft somit einen grossen oder sogar den gesamten spektralen Anteil von Lauten mit hoher Grundfrequenz – entlang der restlichen Membran jedoch in guter Näherung logarithmisch. Diese Eigenschaft, welche auch Tonotopie genannt wird, fand bislang im Zusammenhang mit den aufgezeigten Problemen der bestehenden Vokaltheorie keine Beachtung. Da die Formanttheorie auf einem linearen Beschreibungsmodell beruht, könnte diese Besonderheit der Funktionsweise des menschlichen Gehörs der Schlüssel zur akustischen Beschreibung von Vokalen im gesamten Grundfrequenzbereich der Stimme sein. Die Ergebnisse einer vom Antragsteller in Kollaboration mit Prof. Dr. Stuart Rosen und Prof. Dr. Paul Iverson vom University College London durchgeführten Pilotuntersuchung bekräftigen diese Hypothese. Die Auswertung der Daten von 64 identifizierbaren Vokalen im F0-Bereich zwischen 220 und 880 Hz geben Hinweise darauf, dass die Erregungsmuster der Basilarmembran in Abhängigkeit von F0 vokalspezifisch sind. Mit Hilfe sogenannter Cochlea-Spektren, welche die Erregungsmuster simulieren, konnte gezeigt werden, dass Vokale in Abhängigkeit von der Grundfrequenz unterscheidbare spektrale Muster aufzeigen, so dass die Beschreibung unterschiedlicher Vokalkategorien auch auf hohen F0 bis mindestens 880 Hz möglich sein dürfte (vgl. Abb. 5). Ferner konnte beobachtet werden, dass mit steigender F0 eine systematische Verschiebung der spektralen Charakteristika auftritt (vgl. Abb. 6). Kollaborationen Showroom Z+ Wie schafft man es, in einem Projekt mit 22 mitwirkenden InstiDer Showroom Z+ zeigt installative und performative Arbeiten von tutionen auf vier Kontinenten den Überblick zu behalten?vowel Wie kann Angehörigen aus allen Departementen der ZHdK. Der zweitägige Mapping categories at high fundamental frequencies using multidimensional scaling of cochlea-scaled das, was die Neurologin im Hirn eines Schauspielers sieht, die Anlass (3./4. November 2016)spectra besteht aus einer durchgehenden Friedrichs, D. , Rosen, S. , Iverson, P. , Maurer, D. , & Dellwo, V. Theorien eines Theaterwissenschaftlers verändern? Was erkennt Ausstellung und einem Programm mit performativen Beiträgen. Department of Speech, Hearing, and Phonetic Sciences, University College London, United Kingdom Institute of the Performing Arts and Film, Zurich University of the Arts, Switzerland Phonetics Laboratory, Institute of Comparative Linguistics, University of Zurich, Switzerland ein Philosoph in einem von einem Schimpansen gemalten Bild? An der Session (4. November 2016) kommen internationale Gäste Der Showroom Z+ N° 6 stellt elf aktuelle Kollaborationsprojekte zur Diskussion zusammen. zur Debatte, in welchen Künstlerinnen mit Geisteswissenschaftlern, Naturwissenschaftlerinnen und/oder interkulturell Forschenden arbeiten. Transdisziplinäre Zusammenarbeit bringt immer auch einen Vorstoss in künstlerisch-wissenschaftliches Neuland und damit den Versuch mit sich, tradierte Grenzen zu überwinden. Das Augenmerk des Showroom Z+ N° 6 richtet sich auf die Art und den Prozess solcher Kollaborationen. Nicht immer gestaltet sich eine Zusammenarbeit reibungslos. Kollaborationen bedeuten oft auch Konfrontationen verschiedener Methoden, Arbeitsmodi oder Gesprächskulturen, die zu überbrücken einen hohen Einsatz an Motivation und Zeit fordert. So hat jedes der im Showroom gezeigten Projekte seine eigenen Chancen und Risiken. Ziel des Showroom ist es, die Vielfalt trans- und interdisziplinärer Kollaborationen darzustellen und gemeinsam kritisch zu reflektieren. 1 1 1 2 3 1 2 3 RESULTS BACKGROUND Identification performance above chance (0.5).*** 1.0 F1 80 F2 60 F3 Words: t17 = 83.43, p < .001; isolated vowels: t17 = 29.23, p < .001 F4 Poorer identification performance for isolated vowels than for words.*** 0.9 40 20 0 0 1 2 3 4 5 Frequency (kHz) 0 3 4 5 words 0.5 220 x 440 587 659 699 740 784 831 x Box plots showing the distributions of A’ (y-axis) for all vowel pairs that were tested at nine fos (x-axis). Cond. 1, words: white; cond. 2, isolated vowels (250 ms): gray. A’ reaches from 0.5 (chance) to 1 (max. performance). 20 0 -20 0 1 2 3 4 1 x + x + x + x + x + x + x + x + + x + x + x x + + x A’ /i:/ vs. /y:/ x + x + + x + x x + x + x + x + + x x + x + x + /i:/ vs. /e:/ x + + x + x + x + x + x A’ /i:/ vs. /a:/ x + + x x + x + x x + + x x + + x x + + x + x + x + x + x x + x + x + x + x + x x + + A’ /y:/ vs. /a:/ /e:/ vs. /ø:/ 1 + x x + x + x + + x x + x + x + x + x + x x + x + x + x x + x + x + Equally high performance in word condition over entire fo range; significantly decrease with fo in the isolated vowel condition. x + /i:/ vs. /E:/ x + x + x + x x + + x + x + + + Words: F8,153 = 1.01, p = .39; isolated vowels: F8,153 = 5.14, p < .001 /y:/ vs. /E:/ x + x x + x x + x + x + x + + x x + x + + x + x + + x x + x + x + x + + x + x x + No /a/-bias, except for the pair /a/ vs. /ɛ/ at fo = 831 and 880 Hz under the isolated vowel condition. x + /e:/ vs. /E:/ + /e:/ vs. /a:/ x + + x x + x + x + x + + x x + + x x + x + x + + x A’ /ø:/ vs. /E:/ + x x + x + + x x + x + + x + x x x + + x x + + x + x + x x + x + /ø:/ vs. /a:/ /E:/ vs. /a:/ x + x + x x x + x + x x + + x x + x + + + x x + + A‘ = 0.81 (831 Hz); A‘ = 0.75 (880 Hz); B‘‘D = 0.8 (831 Hz); B‘‘D = 0.89 (880 Hz) /u:/ vs. /o:/ + 0.6 0.5 220 1 + x Beller, Jan; Grunwald, Thomas; Lehr, Julian; Rey, Anton; Scarselli, Elisa: Mixed Emotions. Showroom Z+ N°6 «Kollaborationen». (Collaborations). A lecture performance on corresponding emotions, ZHdK, 4.11.2016. x + 0.6 0.7 Toni-Areal zhdk.ch/showroom x + 0.5 0.9 0.8 + x + x x x + + x + x x + + 0.9 0.8 A’ /u:/ vs. /a:/ 0.7 A female native speaker of German produced different disyllabic minimal pairs (e.g., /bu:dən/ vs /ba:dən/, /le:nə/ vs /lø:nə/) with contrasting vowels (/i y e ø ɛ a o u/) in the first syllable at nine fos between 220 and 880 Hz. We asked her to focus exclusively on the intelligibility of speech. Forty native German listeners without reported hearing impairments (20 male, 20 female; mean age = 26.78 were divided into two subgroups (N=20 each) and identified the words in a binary choice identification task. Stimuli were presented as full words (stimulus condition 1) and quasi steadystate vowel centers (250 ms) (stimulus condition 2) in order to exclude formant-transitions and coarticulation phenomena. fo ≈ + x /y:/ vs. /ø:/ 0.5 0.9 0.8 0.7 METHODS RECORDINGS AND IDENTIFICATION TEST + x + x + 440 587 fo (Hz) 659699 740 784 831 880 220 440 587 fo (Hz) 659 699 740 784 831 880 words /o:/ vs. /a:/ isolated vowels (250 ms) 0.5 220 440 587 fo (Hz) 659 699 740 784 831 880 220 440 587 fo (Hz) 659 699 740 784 831 880 A’ (y-axis) for words (red solid lines) and isolated vowels (blue dotted lines) for each of the minimal pair contrasts at the nine investigated fos (x-axis). A’ reaches from 0.5 (chance) to 1 (max. performance). fo ≈ 220 Hz 20 0 5 B J V 60 10 15 Frequency (Bark) fo ≈ 880 Hz 100 40 0 5 10 15 Frequency (Bark) 20 25 60 40 0 0 20 25 B J V 80 20 20 0 0 25 5 10 15 Frequency (Bark) 20 25 ! u o y e ø a ! a i øa ! <'SPOUOFTT> <'SPOUOFTT> ey u o <)FJHIU> ø e i <)FJHIU> o <)FJHIU> <)FJHIU> i y o u i ø a ! ye <'SPOUOFTT> Grundfrequenzen 220, 440, 659 und 880 Hz. Während sich die Muster eines Vokals auf den unterschiedlichen F0 scheinbar unterscheiden, ist zu erkennen, dass für einzelne F0 hingegen vokalspezifische Muster vorliegen, DISCUSSION welche eine Unterscheidbarkeit und Beschreibung auf hohen Grundfrequenzen ermöglichen kann. Die x-Achse The phonological function of vowels can5!be maintained at fos up to at least 880 Hz, that is, in cases when the normal range of F1 of some vowels (in particular high vowels) is substantially exceeded. Listeners do not rely on consonantal context phenomena for their identification performance. MDS reveals that with increasing fo, the vowel height dimension partially collapses, but the front/back distinction expands, thus allowing the vowels to be distinguished. This indicates that the perceptual space is reorganized and vowel height and frontness are being combined in a correlated way at higher fos. FUTURE RESEARCH As our vowels did not show typical spectral dynamic phenomena of continuous speech, it is questionable to what degree phenomena such as vowel inherent spectral change (Nearey and Assmann, 1986) might explain listeners’ identification performance. It seems however reasonable to carry out identification tests with resynthesized steady-state vowels. This way the influence of sweeping harmonics and breath noise (sampling the vocal tract transfer function) could be examined. fo ≈ 659 Hz fo ≈ 587 Hz fo ≈ 440 Hz u [From which word did this vowel derive?] Furthermore, the effects of talker variability and multiple response options should be investigated. <'SPOUOFTT> Friedrichs, Daniel; Rosen, Stuart; Iverson, Paul; Maurer, Dieter; Dellwo, Volker: Mapping vowel categories at high fundamental frequencies using multi dimensional scaling of cochlea-scaled spectra. 5th Joint Meeting of the Acoustical Society of America and Acoustical Society of Japan, Honolulu, Hawaii, 28.11.–2.12.2016. Classical MDS analyses of cochlea-scaled spectra (Bark scale) was carried out by averaging the spectra across multiple files (only stimulus condition 2). Distances in the MDS space are linearly related to spectral distance. <'SPOUOFTT> u i e y ø ! a <'SPOUOFTT> o u i o y e ø !a <'SPOUOFTT> fo�≈ 880 Hz u <)FJHIU> o e ø y ! a <)FJHIU> <)FJHIU> i fo ≈ 831 Hz fo ≈ 784 Hz fo ≈ 740 Hz DATA ANALYSIS Listeners’ identification performance was calculated with the bias free non-parametric sensitivity measure A’ from Signal Detection Theory (Stanislaw and Todorov, 1999). <)FJHIU> 3./4. Nov 2016 x + + /y:/ vs. /e:/ 0.6 Marinucci, Sarah: «Disabled Theatre» als Beginn eines Paradigmenwechsels in der Rezeption. (“Disabled Theatre” as the Beginning of a Paradigm Shift in Reception). Research colloqium “Phänomene und Methoden” (Phenomena and Methods). Institute of Theatre Studies, Bern, 24.10.2016. + x /i:/ vs. /ø:/ 0.5 0.9 0.8 0.7 0.6 1 + x Here, we carried out multidimensional scaling (MDS) analysis of cochleascaled spectra derived from the vowels used in Friedrichs et al. (2015). x + 0.9 0.8 0.7 0.6 1 + x 220 Hz 440 Hz 587 Hz 659 Hz 699 Hz 740 Hz 784 Hz 831 Hz 880 Hz 10 15 Frequency (Bark) fo ≈ 659 Hz Averaged cochlea-scaled spectra of the point vowels /i a u/ at moderate and high fos derived from the stimuli Abb. 5: Cochlea-Spektren von zwei Vokalproduktionen der Kategorie /a/, /i/ und /u/ auf den used in condition 1 and 2 (N=14, for jeweils each condition and at each fo). 5 Frequency (kHz) Spectral undersampling of the vocal tract transfer function at high fos (schematic illustration). HYPOTHESIS AND OBJECTIVE Vowel sounds may carry strong acoustic cues departing from common formant frequencies at high fos. /i/ /y/ /e/ /ø/ /ɛ/ /a/ /o/ /u/ 880 GP (Hz) x 40 Excitation (phon) 2 Frequency (kHz) In a recent study (Friedrichs et al., 2015), however, we found that the phonological function of the vowels /i y e ø ɛ a o u/ can be maintained at fos up to 880 Hz. 5 80 isolated vowels (250 ms) 1 x 80 60 60 40 20 0 100 20 -20 0 Identification of single vowels has been shown to be compromised when fo significantly exceeds the normal range of F1 (e.g., Howie and Delattre, 1962). 0 T for 17 degrees of freedom ranged from 28.14 to 534.62. Each effect was highly significant (p < .00028). 40 zur Debatte. Victoria Vesna (digitale Medienkü sorin für Design und Media Arts an der UCLA) Keynote-Lecture über ihre langjährige kollabor Komponistinnen, Nanowissenschaftlern, Neur Evolutionsbiologen. Thomas Grunwald (Schwe Zentrum, Zürich) und Anton Rey (IPF, ZHdK) f Lecture on Performance, in der sie der Frage n spieler in einem Stück echte Gefühle ausdrück spielen. Im Staffellauf befragen sich Mitwirken Kollaborationsprojekte gegenseitig kritisch zu D L X 80 60 40 20 Poorer performance for isolated vowels (for each fo level).*** A' 80 60 fo ≈ 440 Hz t[222.75] = 7.32, p < .001 0.8 -20 0.7 This seems plausible as the probably strongest cues to vowel category identification – formant frequencies (in terms of absolute or relative spectral maxima in the sound spectrum) – are largely undersampled at very high fos. Session Die internationale Tagung stellt das Verhältnis 3pSC36 Wissenschaften in inter- und transdisziplinären 100 D L X 80 Vocalic identification in naturally produced steady-state vowels at fos exceeding the F1 they typically reveal in citation-form words has so far mainly been a concern of singing research, particularly in Western classical singing. By now there is a large body of evidence indicating that the identifiability of vowels decreases with increasing fo. 0.6 Kollaborationen Sound pressure level (dB / Hz) Bocchini, Sara; Quadri, Demis; Schmidt, Yvonne: DisAbility on Stage – Master Kolloquium. (DisAbility on Stage – Master Colloquium). Accademia Teatro Dimitri, Verscio, 18.10.2016. fo ≈ 220 Hz 100 Excitation (phon) Lösel, Gunter: Meet the Avatar. Performance mit Real-time-Avatar. (Meet the Avatar. Performance with a Real-time-Avatar). ZHdK, 5.10.2016. Schmidt, Yvonne: DisAbility on Stage. Project presentation at the University day 2016 of the ZHdK, Zurich, 26.10.2016. Excitation (phon) Schmidt, Yvonne: (Un)freiwillige Performer*innen. ([In]voluntary Performers). «Spiele spielen». 3. Mainzer Symposium der Sozial- & Kulturwissenschaften. (“Playing games”. 3rd symposium on social and cultural sciences in Mainz). Chaired panel with Beate Schappach, Johannes Gutenberg University Mainz, 29.9.–3.10.2016. Marinucci, Sarah: Theaterkritik und ästhetische Normen am Beispiel Disabled Theater. (Theatre Reviews and Aesthetic Norms Using the Example of Disabled Theatre). 13th Congress of the Society for Theatre Studies “Theater als Kritik” (Theatre as Critique). Gießen and Frankfurt a. M., 4.11.2016. Sound pressurelevel level (dB Sound pressure (dB/Hz) / Hz) PUBLIKATIONEN & VERANSTALTUNGEN 158 Vögele, Sophie: Intervention reflecting the colloquiums, discussions and inputs. Disability and Performer Training – A Colloquium, Gessnerallee Zurich, 25.10.2016. Sound pressurelevel level (dB Sound pressure (dB/Hz) / Hz) PUBLICATIONS & EVENTS Lösel, Gunter: Tarantallegra! Moving through words. Research Academy, ZHdK, Zurich, 26.7.–3.8.2016. Bocchini, Sara; Quadri, Demis; Schmidt, Yvonne: Introduction and Presentation of the Research Project “DisAbility on Stage”. Disability and Performer Training, ZHdK, Zurich, 25.10.2016. Excitation (phon) Dokumaci, Arseli; Sawchuk, Kim; Schmidt, Yvonne: Chair of the focus group Performing Disability/Enabling Performance. Encuentro “eX-céntrico: dissidence, sovereignties, performance”, The Hemispheric Institute of Performance and Politics and the Universidad Cátolica de Chile, Santiago de Chile, 17.–23.7.2016. i y !a e ø REFERENCES u o <'SPOUOFTT> MDS plots showing spectral distances of the investigated vowels at each fo calculated by averaging cochleascaled spectra (Bark) across multiple files (N=324). 1. Friedrichs, D., Maurer, D., and Dellwo, V. (2015) “The phonological function of vowels is maintained up to fundamental frequencies of 880 Hz,” J. Acoust. Soc. Am., 138(1), EL36-EL42. 2. Howie, J., and Delattre, P. (1962). “An experimental study of the effect of pitch on the intelligibility of vowels,“ Natl. Assoc. Teachers Singing Bull., 18, (4), 6–9. 3. Nearey, T., and Assmann, P. (1986). “Modeling the role of inherent spectral change in vowel identification,” J. Acoust. Soc. Am., 80, 1297-1308. 4. Stanislaw, H., and Todorov, N. (1999). “Calculation of signal detection theory measures,” Behav. Res. Methods Instrum. Comput., 31, 137–149.

IPF. 10 Years of Artistic Research in the Performing Arts and Film