Apache Kafka war lange ein Produkt. Heute ist es eine Kategorie. Eine wachsende Zahl von Systemen spricht das Kafka-Protokoll, hat aber sonst wenig mit dem Original gemeinsam: Broker in C++, Rust und Go, Implementierungen die auf S3 statt auf lokale Festplatten schreiben, Managed Services mit eigenen Engines unter der Haube.

Gleichzeitig hat sich Apache Kafka selbst so schnell weiterentwickelt wie nie: ZooKeeper ist mit Version 4.0 endgültig Geschichte. Share Groups (KIP-932) bringen Queue-Semantik, wie man sie von RabbitMQ oder SQS kennt, direkt in Kafka. Und mit der Annahme von KIP-1150 hat die Community einen Weg eingeschlagen, Kafka komplett von lokalen Festplatten zu lösen.

Dazu kommt die Übernahme von Confluent durch IBM und eine wachsende Zahl von Alternativen wie Redpanda, WarpStream, AutoMQ oder Bufstream, die das Kafka-Protokoll sprechen, aber grundlegend andere Architekturentscheidungen treffen.

In diesem Vortrag gebe ich einen Überblick über den aktuellen Stand. Was hat sich in Apache Kafka getan? Welche Alternativen gibt es, und unterscheiden sie sich? Was bedeutet die Diskless-Bewegung für Betrieb und Kosten? Und welche JVM-Bibliotheken gehen über den Standard-Consumer hinaus?

Ziel ist nicht, einen Gewinner zu küren, sondern die Orientierung in einem Ökosystem zu erleichtern, das sich gerade schneller verändert als je zuvor.