Email: lukas.pfahler At Symbol

tu-dortmund.de
Telefon: 0231/755-8229
Telefax: 0231/755-5105
Raumnummer: JvF25 R119

Sprechstunde:
Donnerstag, 14-16 Uhr. Bitte per e-Mail ankündigen.
In der vorlesungsfreien Zeit (nur nach Vereinbarung)

Zur Person

Lukas Pfahler hat an der Technischen Universität Dortmund seinen Master of Science im Fach Informatik mit Auszeichnung erlangt. Seit 2016 arbeitet er als wissenschaftlicher Mitarbeiter am Lehrstuhl für künstliche Intelligenz an der Fakultät Informatik. Er hat seine Dissertation "Some Representation Learning Tasks and the Inspection of Their Models" im November 2022 mit Auszeichnung (summa cum laude) verteidigt.

PGP Key for Encrypted Email Communication

Research Interests

Statistical Learning Theory
Theoretical Foundations of Deep Network Learning
Representation Learning

Lehre

Fachprojekt Data-Mining [WS 2018/2019, WS 2019/2020]
Übungsleiter Assistant Data-structures, Algorithms and Programming [SS 2018, SS 2019]
Proseminar Machine Learning für natürlichsprachliche Systeme [SS 2017, SS 2020]

Vorträge

Visually Inspecting Singular Values in Deep Networks (Abstract)

There are several approaches to better understanding the surprising generalization capabilities of modern deep networks. Singular values of the weight matrices play an important role. State-of-the-art generalization bounds characterize the capacity of classes of deep networks as functions of the singular values of the weight matrices involving, e.g. Schatten norms like spectral norm of Frobenius norm, stable-rank, matrix-entropy or degrees-of-freedom as well as combinations of the former. Thus inspecting the singular values of weight matrices is an important step that can lead to better understanding of the laws that characterize the architectures.

Computing singular values exactly is a costly operation, particularly because the dimension of hidden layers in modern CNNs often exceeds 100,000. We present a stochastic estimator that allows us to efficiently approximate histograms of the singular values without computing them explicitly. Using this method, we examine the distributions of singular values for large pre-trained models and examine the evolution of singular values in a smaller model during 90 epochs of imagenet training. Our results show that the singular values decay rapidly where the majority of singular values is small, but never zero. This is well-aligned with theoretical results which suggest that low stable-rank or small degrees-of-freedom is important for generalization.
Generalization in Deep Networks -- A very short introduction (Abstract)

In this short presentation, we review a few recent results about the generalization properties or sample complexities of classes of deep networks. These works tackle the problem of understanding the empirical success of deep networks with tools from statistical learning theory.
What do you do with 5 million posts?: Versuche zum distant reading religiöser Online-Foren (Abstract)

Religiöse Kommunikation als Teil moderner Gesellschaften findet zunehmend auch über internetbasierte Medien statt. Dabei sind es nicht nur liberale Gruppen, die diese neuen Medien nutzen, sondern gerade auch neo-konservative Gemeinschaften wie etwa Evangelikale oder Salafisten. Vor diesem Hintergrund nehmen wir ein spezielles Segment gegenwärtiger Religiosität in den Blick: Neo-konservative christliche und islamische Bewegungen (etwa Evangelikale oder Anhänger der Salafiyya) haben in den letzten Jahren mit eigenen Online-Foren Kommunikationsplattformen geschaffen, in denen sie jeweils eigene Auslegungen in Theologie und Fragen der Lebensführung diskutieren (Becker 2009: 9, Neumaier 2016).

Bei allen Unterschieden zeichnen sich diese Bewegungen durch zwei Merkmale aus: a) eine Universalisierung von Religion im Sinne einer Ablösung „reiner“ Religion von Kultur und Politik, u.b) eine religiöse Durchdringung aller Lebensbereiche, die sich insbesondere durch eine umfassende Regulierung der Lebensführung ausdrückt(Roy 2010: 57). Die Analyse dieser Online-Communitys erlaubt es, Rückschlüsse über die Entwicklung und Verbreitung bestimmter Vorstellungen, aber auch über die Genese sozialer Strukturenund neuer Autoritäten zu ziehen.

Ein besonderes Augenmerk legen wir auf die diskutierten Inhalte. Themen und ihre zeitliche Entwicklung werden über Topic Models, Keyword-Analysen und ähnliche Verfahren untersucht. Damit lassen sich thematische Konjunkturen und religiöse Traditionseinflüsse identifizieren.

Pfahler, Lukas, Frederik Elwert, Samira Tabti, Katharina Morik und Volkhard Krech. 2018. What do you do with 5 million posts?: Versuche zum distant reading religiöser Online-Foren. In: DHd2018: Kritik der digitalen Vernunft : Konferenzabstracts : Universität zu Köln, 26. Februar bis 2. März 2018, 335–338. https://kups.ub.uni-koeln.de/8085/1/boa-DHd2018-.pdf

Social Media

bitbucket.org | github.com | linkedin.com

Projekte

Publikationen

Pfahler/etal/2021a	Pfahler, Lukas and Bunse, Mirko and Morik, Katharina. Noisy Labels for Weakly Supervised Gamma Hadron Classification. 2021.
Buschjaeger/etal/2021c	Sebastian Buschjäger and Jian-Jia Chen and Kuan-Hsun Chen and Mario Günzel and Katharina Morik and Rodion Novkin and Lukas Pfahler and Mikail Yayla. Bit Error Tolerance Metrics for Binarized Neural Networks. 2021.
Pfahler/Morik/2021a	Pfahler, Lukas and Morik, Katharina. Explaining Deep Learning Representations by Tracing the Training Process. 2021.
Buschjaeger/etal/2021a	Buschjäger, Sebastian and Chen, Jian-Jia and Chen, Kuan-Hsun and Günzel, Mario and Hakert, Christian and Morik, Katharina and Novkin, Rodion and Pfahler, Lukas and Yayla, Mikail. Margin-Maximization in Binarized Neural Networks for Optimizing Bit Error Tolerance. In Proceedings of DATE 2021, 2021.
Haritz/etal/2021a	Haritz, Pierre and Pfahler, Lukas and Liebig, Thomas and Kotthaus, Helena. Self-Supervised Source Code Annotation from Related Research Papers. In Proceedings of the PhD Forum of the 21st IEEE International Conference on Data Mining, Seiten 1083-1084, 2021.
Buschjaeger/etal/2021b	Buschjäger, Sebastian and Honysz, Philipp-Jan and Morik, Katharina. Very Fast Streaming Submodular Function Maximization (Extended Version). 2021.
Pfahler/Morik/2020b	Pfahler, Lukas and Morik, Katharina. Fighting Filterbubbles with Adversarial Training. 2020.
Buschjaeger/etal/2020c	Sebastian Buschjäger and Lukas Pfahler and Katharina Morik. Generalized Negative Correlation Learning for Deep Ensembling. 2020.
Pfahler/Richter/2020a	Lukas Pfahler and Jan Richter. Interpretable Nearest Neighbor Queries for Tree-Structured Data in Vector Databases of Graph-Neural Network Embeddings. In Alexandra Poulovassilis and David Auber and Nikos Bikakis and Panos K. Chrysanthis and George Papastefanatos and Mohamed A. Sharaf and Nikos Pelekis and Chiara Renso and Yannis Theodoridis and Karine Zeitouni and Tania Cerquitelli and Silvia Chiusano and Genoveva Vargas-Solar and Behrooz Omidvar-Tehrani and Katharina Morik and Jean-Michel Renders and Donatella Firmani and Letizia Tanca and Davide Mottin and Matteo Lissandrini and Yannis Velegrakis (editors), Proceedings of International Workshop on Explainability for Trustworthy ML Pipelines (ETMLP-2020), CEUR-WS.org, 2020.
Buschjaeger/etal/2020a	Buschjäger, Sebastian and Pfahler, Lukas and Buss, Jens and Morik, Katharina and Rhode, Wolfgang. On-Site Gamma-Hadron Separation with Deep Learning on FPGAs. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, Springer, 2020.
Pfahler/Morik/2020a	Pfahler, Lukas and Morik, Katharina. Semantic Search in Millions of Equations. In KDD '20- Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, ACM, 2020.
Buschjaeger/etal/2020b	Buschjäger, Sebastian and Chen, Jian-Jia and Chen, Kuan-Hsun and Günzel, Mario and Hakert, Christian and Morik, Katharina and Novkin, Rodion and Pfahler, Lukas and Yayla, Mikail. Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized Neural Networks. 2020.
Pfahler/etal/2019b	Pfahler, Lukas and Schill, Jonathan and Morik, Katharina. The Search for Equations - Learning to Identify Similarities between Mathematical Expressions. In Procs. ECML PKDD2019, Springer, 2019.
Pfahler/Morik/2018a	Pfahler, Lukas and Morik, Katharina. Nystroem-SGD: Rapidly Learning Kernel-Classifiers with Conditioned Stochastic Gradient Descent. In Machine Learning and Knowledge Discovery in Databases - European Conference, ECML PKDD 2018, Dublin, Ireland, 2018.
Pfahler/etal/2017a	Pfahler, Lukas and Morik, Katharina and Elwert, Frederik and Tabti, Samira and Krech, Volkhard. Learning Low-Rank Document Embeddings with Weighted Nuclear Norm Regularization. In Proceedings of the 4th IEEE International Conference on Data Science and Advanced Analytics, 2017.
Buschjaeger/etal/2015a	Buschjäger, Sebastian and Pfahler, Lukas and Morik, Katharina. Discovering Subtle Word Relation in Large German Corpora. In Proceedings of the 3rd Workshop on the Challenges in the Management of Large Corpora, 2015.
Pfahler/2015a	Pfahler, Lukas. Explicit and Implicit Feature Maps for Structured Output Prediction. TU Dortmund, 2015.
Morik/etal/2015a	Morik, Katharina and Jung, Alexander and Weckwerth, Jan and Rötner, Stefan and Hess, Sibylle and Buschjäger, Sebastian and Pfahler, Lukas. Untersuchungen zur Analyse von deutschsprachigen Textdaten. No. 2, Technische Universität Dortmund, 2015.
Pfahler/2013a	Pfahler, Lukas. Effizienteres k-means Clustering von Zeitreihen mit Dynamic Time Warping durch kaskadiertes Berechnen von unteren Schranken. 2013.

Hauptnavigation

ALLGEMEINES

FORSCHUNG

LEHRE

MITARBEITER