Erik Buhmann, Dissertation, Fachbereich Physik der Universität Hamburg, 2025 :

"Generative Machine Learning for Fast Particle Physics Simulations"



Summary

Kurzfassung

Die Suche nach Physik jenseits des Standardmodells ist ein zentrales Ziel der Teilchenphysik. Diese Forschung wird an Teilchenbeschleuniger Experimenten durchgeführt und erfordert eine große Menge an simulierten Daten. Der Ausbau des Large Hadron Colliders (LHC) zum High-Luminosity LHC steigert den Bedarf an schnellen Simulationen erheblich. Für den HL-LHC wird der CMS-Detektor mit hochgranularen Endkappenkalorimetern ausgestattet, und ähnliche hochgranulare Kalorimeter sind auch für zukünftige Teilchendetektoren vor- gesehen. Zusammengenommen erhöhen diese Faktoren den Bedarf an präziseren schnellen Simulationen. In dieser Arbeit wird generatives maschinelles Lernen als Werkzeug für sehr präzise schnelle Simulationen untersucht. Es werden mehrere Modelle für die schnelle Simulation von Kalorimeterschauern und Jets vorgestellt. Das Bounded Information Bottleneck Autoencoder (BIB-AE) Modell erzeugt Kalorimeterschauer als 3-dimensionale Bilder. Eine Analyse des kodierten latenten Raums des BIB-AE zeigt, dass nur wenige Variablen die meisten Schauerinformationen kodieren. Dies motiviert eine Verbesserung des BIB-AE durch den Einsatz eines Kernel Density Estimators zur Modellierung des latenten Raums. Das resultierende Modell ist in der Lage, hochgranulare Photonenschauer mit hoher Genauigkeit 10-mal schneller zu simulieren als die herkömmliche Monte Carlo-Simulation Geant4 auf der gleichen CPU Hardware. Um die Effizienz der generativen Modelle für Kalorimeterschauer weiter zu steigern, wird das Diffusionsmodell CaloClouds eingeführt, welches Kalorimeterschauer als Punktwolken modelliert. Diese Darstellung bietet mehrere Vorteile gegenüber 3D-Bildern; unter anderem ist sie effizienter und ermöglicht eine geometrieunabhängige Schauermodellierung. Das CaloClouds II Model verbessert diesen Ansatz mittels kontinuierlichem Score-Matching und erreicht eine höhere Genauigkeit und schnellere Generierung. Das Modell wird weiter zum Consistency Model CaloClouds II (CM) destilliert, was nicht nur die Geschwindigkeit erheblich erhöht, sondern auch die Genauigkeit weiter verbessert. CaloClouds II (CM) ist auf der gleichen Hardware 46-mal schneller als Geant4. Als letztes wird der Equivariant Point Cloud (EPiC) Netzerk-Layer eingeführt, um die in der Teilchenphysik verwendeten generativen Punktwolkenmodelle weiter zu verbessern. Der Layer wird in drei verschiedenen generativen Punktwolkenmodellen verwendet: im adversiellen generativen Netzwerk EPiC-GAN, im Diffusionsmodell EPiC-JeDi und im Continuous Normalizing Flow Modell EPiC-FM, welches mittels Flow Matching trainiert ist. Die Modelle werden anhand des JetNet Datensatzes für die Erzeugung von Teilchenjets bewertet. Dabei zeigt sich, dass EPiC-GAN das effizienteste Modell ist, da es etwa 210-mal schneller ist als die anderen beiden Modelle und immer noch die Leistung des komplexeren, graphbasierten MP-GAN erreicht. EPiC-FM ist jedoch das genaueste aller verglichenen Modelle, was den Flow-Matching-Ansatz und die EPiC Layer als vielversprechende Ansätze für zukünftige generative Modelle für schnelle Simulationen in der Teilchenphysik hervorhebt.

Titel

Kurzfassung

Summary

The search for physics beyond the Standard Model is a central goal of particle physics. This research is conducted at collider experiments and requires a very large amount of simulated data. With the high-luminosity upgrade to the Large Hadron Collider (HL-LHC) the need for more and faster simulations is increasing. The CMS detector upgrade for the HL-LHC will feature high-granularity endcap calorimeters and highly granular calorimeters are also envisioned to be used at future collider detectors. Together, these factors heighten the demand for more precise fast simulations. In this thesis, generative machine learning is explored as a tool for high fidelity fast simulations. Several models for the fast simulation of calorimeter showers and jets are presented. The bounded information bottleneck autoencoder (BIB-AE) model generates calorimeter showers as 3-dimensional images. Its encoded latent space is analyzed and it is shown that only few variables encode most shower information. This motivates an improvement of the BIB-AE using a kernel density estimator to model the latent space. The resulting model is able to simulate highly granular photon showers with high fidelity at 10x faster than the traditional Monte Carlo simulation Geant4 on the same CPU hardware. To advance calorimeter shower generative models in terms of computational efficiency, the diffusion model CaloClouds, which models calorimeter shower as point clouds, is introduced. The representation as point clouds has several advantages over 3D images, including being more efficient and allowing for a geometry independent shower modeling. The CaloClouds II model improves the approach by applying continuous-time score matching to achieve a higher fidelity and faster generation. The model is further distilled into the consistency model CaloClouds II (CM) which not only greatly accelerates the model, it also increases the fidelity further. CaloClouds II (CM) is 46x faster than Geant4 on the same hardware. Finally, the equivariant point cloud (EPiC) layer structure is introduced to further improve point cloud generative models used in particle physics. The layer is utilized in three different point cloud generative models: in the generative adversarial network EPiC-GAN, in the score-based diffusion model EPiC-JeDi, and in the continuous normalizing flow EPiC-FM, trained with the flow matching objective. The models are evaluated on the common JetNet benchmark dataset for the generation of particle jets. The EPiC-GAN is the most efficient model being about 210x faster than the other two models and still reaches the performance of the more complex previous state-of-the art graph-based MP-GAN. However, EPiC-FM is the most accurate among all compared models. This underscores the flow matching approach and the EPiC layer structure as promising directions for future generative model for fast simulations in particle physics.