Digital Humanities - Aktuelle Forschungsthemen, SoSe 2022, Universität Köln (Studienleistung MP 2)

Verbuchung der Studienleistung Modul: AM2: “Humanities Computing” Veranstaltung: “Digital Humanities - Aktuelle Forschungsthemen”, Sommersemester 2022

Name:

Thomas Nikolaus Schneider

Matrikelnummer:

7366328

Themenauswahl: Datum

Dozent|in

Titel

Thema 1

28.4.2022

Fabian Offert

Close Reading – Distant Viewing

Thema 2

12.5.2022

Janis Pagel

Quantitative Dramenanalyse

Thema 3

30.6.2022

Manfred Stede

Automated Argument Mining

Prüfungsdatum: Im Zeitraum zwischen 19.9.2022 und 30.09.2022 verhindert?

Studienleistung des Seminars.

AM2 Prüfung schon abgelegt.

Nicht notwendig Diese Einreichung dient nur der Verbuchung der Teilnahme am Seminar im SoSe2022 (der Teil vom WiSe2021 wird im WiSe2022 nachgeholt)

Thema 1: Prof. Fabian Offert (https://zentralwerkstatt.org), University of California, Santa Barbara – "Close Reading Distant Viewing" [ Link: https://www.facebook.com/thomas5chneider/posts/pfbid02ZUCUHACeswqvXGRs2PeRRmp 6aUeZh7NtKkK8rw7bKoaT4TBgG9RNSVE91KAvVxkdl ]

Prof. Offert’s research interest is the analysis of visual culture using machine learning. He opened his talk on 28th Apr. 2022 by quoting Physics Nobel Prize Laureat P. W. Bridgman (1882-1961): “we mean by any concept nothing more than a set of operations; the concept is synonymous with the corresponding set of operations”. In other words: to understand a concept, such as visual similarity and mimicry, we need a method of measurement for it. It has been postulated that motifs, poses, style, symmetries – in short: features - re-appear in art across time. However, such patterns of human culture have traditionally only been sensed based on intuitive notions.

Today, the integration of vast digitized picture datasets via the Internet enables automated analysis using self-learning artificial neural networks. These are implemented in highly multidimensional vector space, based on “objective“ image information criteria such as, e.g., x/y colour depth distribution at different levels of resolution (N.B.: alternative image processing algorithms or combinations of methods could be employed as abstraction criteria). The similarity or proximity of the images can then be mapped out and displayed as an image cluster or cloud.

The picture datasets can be drawn from many sources and across time - different artists, locations, subjects. The system may be trained on subsets of the data and then applied to larger and other datasets, e.g., from another artist, period or culture, to identify features and reveal similar images. The procedure was not explained in detail.

Instead, Prof. Offert demonstrated how an online tool he developed (https://imgs.ai/) can be used to identify similar images drawn from either the Cleveland, Metropolitan or Rijksmuseum collections. The free online version allows the user to select positive and/or negative images for the search, which then presents the user with thumbnail results in decending order of (machine sensed) similarity. Queries may thus be progressively visually refined by human intervention.

One of the criticisms levelled at artificial neural networks is that it is often not transparent how a particular match was made. A superimposed heatmap can highlight the decisive matching areas of an image. For example, searching for images of horses, the head of the horse was the most distinctive identifying feature. Amazingly, the system can pick out horses even when they are illustrated from different perspectives and angles, e.g.: https://youtu.be/UE3HhJrNj58 (“Weißt Du denn nicht, durch welchen Wald wir gerade reiten?“) Analysis revealed this particular neural network’s preference for textures over shapes.

Prof. Offert then explained how new “unreal” images can be fabricated – for example, faces that do not resemble any real person in the database. This requires a workaround since neural networks can be used directly only to look for similarities, not for maximum dissimilarity.

Essentially, a range of new images is generated based on the existing using noise. These are compared to the known images and the least similar random image is identified.

Links between images and their semantic description can be generated automatically by evaluating the collocation of words and images in a corpus. This works since illustrations are usually placed close to their description, e.g., captions under an image. An exciting reverse application is the generation of completely artificial images based on a textual description.

Several examples were shown. Whilst stunningly realistic images can be produced, there are usually tell-tale digital artefacts – e.g., around earrings in the case of faces, or the light shadows in a scene – that can be used to identify “deep fakes”. There are also questions with regards to the

true creativity or originality of the results which will be biased by the source material used in training.

Prof. Offert pointed out that systems of the type he described are already widely deployed – usually without being transparent to the user – for processing online search queries. These systems clandestinely “learn” by collecting data based on the user‘s selection of the search results presented. Fortunately, in the E.U. we have strong legislation protecting the privacy of individuals and preventing exploitation for manipulative or fraudulent purposes.

Postscript: What we did not talk about in the lecture is the kind of computing resources required for machine learning to efficiently extract useful features from a given dataset. How does preprocessing effort scale with the size of the dataset? How is the processing tuned for maximum utility? Can clever selection of training materials and their diversity maximize utility?

Presumably, once vectors are generated, the actual runtime implementation of searches is relatively efficient. How can the system keep learning and improve with time? But I am guessing - should have asked! Or maybe one should experiment oneself with the libraries issued on Github. I‘m too uneducated and old for that.

Finally, I found the question from the audience as to whether/how the concept of image similarity could be extended to video - i.e. moving pictures - interesting. After all, keyframes from a video represent a particular form of visual contextual collocation in the time domain - a story - that can be compared to a textual rendering and to other stories, e.g.: https://youtu.be/73c_CR17JyY (「わかったような顔して/全て支配したつ森？」: https://lyricstranslate.com/.../my-nameswomen-my-names...)

Thema 2: Janis Pagel (https://janispagel.de), Universität Stuttgart, "Koreferenzresolution trifft Quantitative Dramenanalyse: KoreferenzInformationen als Feature in Figurentypen-Klassifikation" [ Link: https://www.facebook.com/thomas5chneider/posts/pfbid036Sp9N1hwedpK13hfK1u7a5gjGF hwUJSJYrqXSmHyB9fnrHhyg1izzkbQgzoGk3zpl ]

Herr Pagels Vortrag vom 12.5.2022 im DH-Forschungsprojekte Kolloquium veranschaulicht, wie die u.a. in den Sprachverarbeitungskursen von Prof. Dr. Reiter vorgestellten Methoden des maschinellen Lernens praktisch in den Digital Humanities zur Anwendung kommen. In diesem Fall ging es um einen überschaubaren, aber für die Germanistik fundamentalen Korpus, nämlich die sog. „klassischen deutschen Dramen“ die in der Zeit 1730 – 1850 uraufgeführt, bzw. publiziert wurden. Dieser umfasst 43 Werke mit insgesamt 257 Protagonisten. Lassen sich Figurentypen in den Dramen quantitativ nachweisen? Wie kann dies mit Hilfe des Computers operationalisiert werden?

Der zur Erkennung gewählte Figurentyp war die literaturwissenschaftliche Kategorie des/der sog. „Integrant*in“. Etwas flapsig definiert ist dies eine Person, die den Zusammenhalt der Gemeinschaft stört oder gar zerstört. Man kann sie für den gegebenen Korpus mit Hilfe des sekundären Wissens der Fachliteratur identifizieren, d.h. ein Protagonist ist entweder Integrant*in markiert, oder nicht.

Für jeden Protagonisten wurden die Texte gegen eine Reihe von „Features“ (Merkmalen) ausgewertet, durch die sich die beiden Klassen möglicherweise unterscheiden lassen. Z.B. könnte die Bühnenpräsenz eines Protagonisten quantitativ anhand der Anzahl der Tokens (Worte), der

„Utterances“ (Redeeinheiten), Anzahl seiner aktiven Szenen (Protagonist auf der Bühne) und passiven Szenen (Protagonist von anderen erwähnt) bemessen werden. Ein anderes Merkmal wären die vom Protagonisten angesprochenen Themen („Topics“), die als „Wortfelder“ maschinell erkannt werden können. Verschiedene Handlungsarten der Protagonisten können durch die Nutzung von Schlüsselverben in den Regieanweisungen, der Gefühlszustand der Protagonisten – hier binär entweder positiv oder negativ - durch die Konnotation der gesprochenen Worte unterschieden werden. Zuletzt wurden für jeden Protagonisten generelle Informationen - Alter, Geschlecht, sozialer Status - als Merkmale festgehalten.

So lässt sich für jeden Protagonisten und jedes Merkmal eine relative Erscheinungshäufigkeit berechnen. Ein Indiz für aussagekräftige Unterscheidungsmerkmale liefern die GesamtHistogramme der Featureverteilung für alle Protagonisten, jeweils für Integrant*in und NichtIntegrant*in. Die Klassifikation wurde dann mit einer sog. „Support Vector Machine“ durchgeführt. Der Computer berechnet („fitted“) eine „Hyperplane“ im multidimensionalen Raum, die Integrant*in von Nicht-Integrant*in unterscheidet. Für dieses sog. „Training“ wurden 80% des Korpus genutzt. Die Qualitätstests wurden dann mit den übrigen 20% durchgeführt. Die Trennung der beiden Datensätze erfolgte nach dem „10-fold crossvalidation“ Verfahren. Aufgrund der Spärlichkeit der Datenlage, also der kleinen Anzahl von Integrat*in zu Nicht-Integrant*in, wurde ein SMOTE „Up-Sampling“ implementiert.

Das 75% F1-Qualitätsscore im kombinierten Ergebnis kann nicht vollständig überzeugen. Die Analyse der Klassifikationsergebnisse anhand von Histogrammen weist signifikante Unterschiede in %Precision und %Recall für die verschiedenen Feature-Kategorien auf. Auffällig ist z.B. 100% Precision für das Feature „Themen“ aber der doch relativ geringe Recall-Score. Interessant war, dass der „klassische Integrant“ Marinelli (aus Lessing’s Emilia Galotti) von der Maschine NICHT als solcher erkannt wurde (was vielleicht dessen Geschick widerspiegelt). Ein Versuch, die passive Bühnenpräsenz als Feature durch Erkennung von Koreferenzen aufzuwerten, erhöhte zwar den Precision-Score, verschlechterte jedoch den Recall-Score. Von den „Take-Home Messages“ fand ich die Notwendigkeit einer zweckführenden Interpretation des „Machine Learning Outputs“ und die Rückbindung an literaturwissenschaftliche, bzw. psychologische Theorien wichtig.

In der Diskussion wurde auf die unterschiedliche Aussagekraft der verschiedenen FeatureKategorien sowie ein mögliches „Tuning“ der Methodik eingegangen. Mir stellte sich die Frage, ob Probleme durch die Fragestellung selbst aufgeworfen werden, welche Abweichungen zwischen den Erkenntnissen des Computers und der tradierten menschlichen Interpretation erklären könnten. Ein Trainingskorpus von 80% ist recht großzügig, was natürlich dem insgesamt überschaubaren Gesamtkorpus geschuldet ist. Handelt es sich bei „Integrant*in“ um eine typisierende Charaktereigenschaft - wie „zärtlicher Vater“ oder „tugendhafte Tochter“ - oder umstandsbedingtes Verhalten (vom Dramenautor demonstrativ eingesetzt, um ein bestimmtes Narrativ und eine Erkenntnis beim Publikum zu „erzwingen“)? Ich fühlte mich an Eric Bernes 1964 erschienenes Buch „Games People Play“ erinnert. Mit anderen Worten: Ist die Definition des Integrant*in ausreichend eindeutig (Integrant = Bösewicht)? Unterschiedliche Erscheinungsformen des Integrant*in (der eigensüchtig handelnde, der eifersüchtige, der unterwürfige, der sich “hoher Berufung” verpflichtet fühlende) könnten eine klare Signatur verwischen.

Wäre es zielführend, jedem Protagonisten ein Integrant*in Score von 0%-100% zu verpassen, und auch so die Ergebnisse für die Protagonisten eines dem Computer unbekannten Werkes zu präsentieren? So könnte man differenzierter werten, wenn es mehrere Integranten und Mitwissende/ Helfer gibt - inklusive der Nicht-Integrant*in, die nicht völlig ahnungslos sind bzw.

quasi-gewollt/ passiv das „Spiel des Integrant*in“ mitmachen, im Gegensatz zu denen, die aktiven Widerstand leisten. Diese Gedanken sprengen den Rahmen der gegenwärtigen Arbeit, wie auch die Idee, dass es interessant sein könnte, ein Tool auf Korpora anderer Epochen und Kulturkreise (z.B. American TV Soap Opera) anzuwenden.

Thema 3: Prof. Manfred Stede‘ (https://www.ling.unipotsdam.de/~stede/), University of Potsdam: “Sentiment, Stance, Argument: Steps for an automated analysis” [ Link: https://www.facebook.com/thomas5chneider/posts/pfbid0BYEGDuhjbKz544vBMu1yCoUSU NTiYnG1cmwqm1kZZDLzaNz6BYfzbj1GbMHzjhVDl ]

In this DH talk at the University of Cologne on 30th June 2022, Prof. Stede presented the stateof-the-art in automated argument mining and gave an overview of the methods employed. The lecture covered a lot of ground. I have tried to summarise a few aspects of the talk which I found most interesting.

Prof. Stede started by recapping on sentiment analysis, opinion mining and stance detection.

Sentiment analysis essentially relies on detecting and counting value-infused words identified in a lexicon as expressing either positive or negative feelings, paying particular attention to syntax.

Polarity inversion may be introduced through words such as “not” (e.g., “not good”) and gradations in meaning qualified using value intensifiers and diminishers such as “very” or “hardly” (e.g., “very good”, “hardly any good”). For more specific opinion mining, the computer can be made to identify a source (e.g., “I”) and a target entity (e.g., “breakfast”) for each value judgement.

The method is applied to the automated evaluation of user feedback and is standard practice today (e.g., Internet travel brokerage). In stance detection, the objective is to determine whether an author is in favour of an entity, opposed to it oder neutrally disposed. Public opinion can be canvassed on “hot button“ issues by gauging the nature of tweets. Processing is possible in real time on large datasets, e.g., analysing the reaction of an audience to a televised political debate.

Argument mining, however, poses a tougher challenge – moving from the emotional to the logical, unravelling the complexity of human reasoning. Opinions on what is right and true are commonly justified in public debate, or contrasted explicitly in pro/contra newsfeed columns.

Prof. Stede serves up a definition (see slide 1): an argument seeks to increase (or decrease) the acceptability of a point of view, putting forward a constellation of propositions intended to justify (or refute) an opinion (or claim) before a rational (i.e., unsentimental) judge.

Slide 2 summarises the tasks argument mining requires. Special (simple) corpora have been developed to train and test the effectiveness of different computer implementations. Essentially, task 1 of the computerised analysis of an argument is the identification of a central claim. Prof.

Stede presented performance comparisons of four software packages on the GerCC Twitter Corpus in detecting the claim, and tagging argument and evidence. F1 scores of over 0.7 were achieved. Interestingly, neural network based implementations did not generally beat featureengineered models. Claim detection performance across different domains rarely beat F1=0.5.

Task 2 of the computerised analysis is the structural analysis. Prof. Stede started with the conventions for visual annotation of argumentation logic. An argument is spliced into semantic segments. In approach 1, each segment is initially assigned binary properties: a role (proponent/opponent) and a function (supporting/attacking). The segments are indexed relative to

how they relate to each other. The performance of the algorithm is unsatisfactory, the main challenge being detection of the appropriate attachment, since many relations are non-adjacent.

To overcome these problems, approach 2 considers each segment to interact reciprocally (+/-) with every other segment. The idea is to jointly account for the probabilities of central claim, role, function, and attachment. By training the three separate classifiers on single segments, and one on pairs, it becomes possible to build a fully-connected, directed multigraph (one support/attack edge between segments) with edge weights. The structures thus constructed can be decoded via the standard Minimum Spanning Tree (MST, Chu-Liu-Edmonds) algorithm.

Approach 2 yields significantly more satisfactory performance compared to approach 1.

Approach 3 employs integer linear programming (ILP) to maximise yield probabilities on the four subtasks. Constraints introduced include (1) there being exactly one central claim, (2) the proponent supports the claim and attacks opponent, and (3) the opponent supports the counterclaim and attacks proponent. The performance achieved using this approach is comparable to approach 2.

Task 3 is construction of the open domain argument. There are two subproblems to solve: (1) retrieving the claim (task 1) and detecting stance, and (2) retrieving evidence to support a claim.

This author pointed out in the Q&A section of the lecture that any standpoint/claim in real life has a tenability that ranges between 0% (untenable/false) and 100% (irrefutable/true). In practice, success is influenced by self-interest (benefit to one’s own group), the emotional reaction of the audience towards the speaker, and the eloquence and elegance of his or her argumentation. Key manipulative techniques are framing, selectivity/omission and repetition/duplication. The two IBM debater examples presented by Prof. Stede demonstrate how even advanced software can be fooled by these human quirks: evaluating whether the claims advanced are essentially paraphrases (repetitions) of the same idea, or in fact generalities that do not uniquely strengthen or weaken any particular claim (bad framing). At this point, the lecture was aborted without formal summary or conclusion because Prof. Stede had a taxi to catch. I in turn got soaked when it started to pour from the heavens on my way home that evening.

Slide 1 [end]

Slide 2