Confluent a lancé « Queues for Kafka », une nouvelle fonctionnalité qui apporte les capacités traditionnelles de file d’attente de messages à la plateforme de streaming Apache Kafka, permettant aux organisations de gérer simultanément les charges de travail de streaming et de file d’attente sur un système unique. La fonctionnalité, désormais disponible dans Confluent Cloud et Confluent Platform 7.7, introduit des « share groups » permettant à plusieurs consommateurs de traiter les messages d’une même partition simultanément, un changement majeur par rapport au modèle traditionnel de Kafka limité à un seul consommateur par partition.
Ce développement marque un changement fondamental pour Apache Kafka, qui nécessite traditionnellement que chaque partition soit traitée par un seul consommateur à la fois. Cette nouvelle capacité, fondée sur le KIP-932 et incluse dans la version principale d’Apache Kafka 4.2, permet aux organisations de consolider leur infrastructure en gérant à la fois les charges de streaming et les charges de file d’attente traditionnelles sur une seule plateforme, selon l’annonce de Confluent.
La fonctionnalité introduit l’acquittement par message, remplaçant les commits par lots basés sur les offsets traditionnels de Kafka. Lorsqu’un consommateur récupère un message, le broker applique un verrou de 30 secondes sur celui-ci, nécessitant une action explicite telle que l’accusé de réception du traitement réussi ou sa libération pour une nouvelle livraison, selon la documentation technique de Confluent. Cela permet une mise à l’échelle élastique, où le nombre de consommateurs peut être ajusté indépendamment du nombre de partitions pour gérer des charges variables.
Compromis techniques
Le changement le plus significatif concerne l’ordre des messages. Bien que les groupes de consommateurs traditionnels de Kafka garantissent l’ordre de traitement par partition, les share groups sacrifient cette garantie pour permettre le traitement parallèle, selon Confluent. Les messages restent stockés dans l’ordre mais peuvent être traités simultanément et dans le désordre par plusieurs consommateurs. Le système fournit actuellement une sémantique de livraison « au moins une fois », avec une sémantique « exactement une fois » prévue pour une intégration future.
Pour les clusters Enterprise et Dedicated sur Confluent Cloud, la fonctionnalité est disponible immédiatement, avec le support du cluster Standard prévu pour le second semestre 2026, selon la société. Cette fonctionnalité n’entraîne aucun coût supplémentaire au-delà des frais standard de consommation pour l’entrée, la sortie et la disponibilité des données, selon la documentation tarifaire de Confluent.
Applications opérationnelles
La fonctionnalité cible les charges de travail opérationnelles bénéficiant de la sémantique traditionnelle des files d’attente de messages, y compris la distribution de tâches vers des pools de travail, la communication inter-services et le traitement asynchrone des tâches, a précisé Confluent. Cependant, l’entreprise recommande les groupes de consommateurs Kafka standard pour les cas d’utilisation nécessitant un ordre strict et un traitement par lots à haut débit, tels que l’event sourcing et l’analyse en streaming.
Confluent Cloud améliore la fonctionnalité open-source avec une interface dédiée pour la gestion des share groups et introduit une métrique « share lag » similaire à la profondeur de la file d’attente, ce qui peut guider les décisions de mise à l’échelle automatique via l’API Metrics, selon le blog technique de l’entreprise.
Les améliorations futures incluent des Dead Letter Queues, un ordonnancement basé sur des clés pour restaurer certaines garanties d’ordre, et l’intégration avec les transactions Kafka pour une sémantique « exactement une fois », signe d’un investissement continu visant à faire de Kafka une plateforme de données complète au-delà de ses origines dans le streaming.
Sources
- Confluent
- Apache Software Foundation
