Googles DeepMind hat erneut für Aufsehen gesorgt: Ihre neueste Forschung zeigt, dass Large Language Models (LLMs) in der Lage sind, Algorithmen für Multi-Agent Reinforcement Learning (MARL) in komplexen Spielen selbstständig zu verbessern – und das Ergebnis übertrifft oft die Leistung von Algorithmen, die von menschlichen Experten entwickelt wurden.

Die Entwicklung von Algorithmen für MARL in Spielen mit unvollständiger Information, wie beispielsweise Poker, war bisher ein mühsamer Prozess, der stark auf Intuition und manuellem Ausprobieren beruhte. Forscher mussten verschiedene Gewichtungsschemata, Discounting-Regeln und Equilibrium Solver manuell identifizieren und testen. Dieser iterative Prozess konnte sehr zeitaufwendig und ineffizient sein.

Das DeepMind-Team schlägt mit AlphaEvolve einen radikal neuen Ansatz vor. AlphaEvolve ist ein LLM-gestützter, evolutionärer Coding-Agent, der diesen manuellen Prozess durch eine automatisierte Suche ersetzt. Das System durchsucht den Raum möglicher Algorithmusvarianten und evaluiert diese, um die besten Lösungen zu finden. Dieser Ansatz verspricht eine deutliche Beschleunigung der Algorithmusentwicklung und die Entdeckung von Lösungen, die menschliche Experten möglicherweise übersehen würden.

Das Forschungsteam wendete diesen Ansatz auf zwei etablierte Paradigmen an: Counterfactual Regret Minimization (CFR) und Policy Space Response Oracles (PSRO). CFR ist ein iterativer Algorithmus, der die Regret Minimierung über verschiedene Informationsmengen hinweg aufteilt. PSRO hingegen ist ein Framework, das verwendet wird, um optimale Strategien in Spielen mit mehreren Spielern zu finden. In beiden Fällen entdeckte das System neue Algorithmusvarianten, die entweder gleichwertig oder sogar besser als bestehende, von Menschen entwickelte Algorithmen abschnitten. Alle Experimente wurden mit dem OpenSpiel-Framework durchgeführt.

Die Ergebnisse dieser Forschung sind vielversprechend. Sie zeigen, dass LLMs nicht nur in der Lage sind, Sprache zu verstehen und zu generieren, sondern auch komplexe Probleme zu lösen und kreative Lösungen zu finden. Die Fähigkeit, Algorithmen selbstständig zu optimieren, könnte in Zukunft in vielen Bereichen Anwendung finden, von der Entwicklung neuer Medikamente bis hin zur Optimierung von Logistikketten. Dies deutet auf einen Paradigmenwechsel in der Art und Weise hin, wie wir Algorithmen entwickeln und wie wir KI in komplexen Entscheidungsprozessen einsetzen. Es bleibt spannend zu beobachten, wie sich diese Technologie weiterentwickeln und welche neuen Möglichkeiten sie eröffnen wird. Die Arbeit von DeepMind demonstriert eindrucksvoll das Potenzial von KI, menschliche Expertise zu ergänzen und zu erweitern.