آپاچی کافکا یک پلتفرم پردازش جریانی و پیام‌رسان توزیع‌شده است. این پلتفرم برای مدیریت داده‌های بلادرنگ و حجم بالا طراحی شده و به گونه‌ای ساخته شده است که پیام‌ها را به صورت لاگ توزیع‌شده ذخیره کند. برخلاف صف‌های پیام سنتی، Kafka امکان پردازش و خواندن داده‌ها را از هر نقطه‌ای فراهم می‌کند، بدون آنکه داده‌ها فوراً حذف شوند. ویژگی‌های کلیدی • مقیاس‌پذیری بالا: توانایی پردازش میلیون‌ها پیام در ثانیه. • تأخیر پایین: امکان پردازش بلادرنگ داده‌ها. • پایداری و دوام: ذخیره‌سازی داده‌ها در لاگ توزیع‌شده. • سازگاری با معماری‌های Microservices و Big Data.

• Topic: کانالی برای دسته‌بندی پیام‌ها. • Partition: هر topic به چند بخش تقسیم می‌شود تا پردازش موازی و سریع امکان‌پذیر شود. • Offset: شناسه ترتیبی پیام در یک پارتیشن. • Broker: سرورهایی که پارتیشن‌ها را مدیریت و داده‌ها را ذخیره می‌کنند. • Consumer Group: گروهی از مصرف‌کننده‌ها که پیام‌ها را بین خود تقسیم می‌کنند. • Replication: کپی داده‌ها در چند بروکر برای تحمل خطا. • Retention & Compaction: سیاست نگهداری داده‌ها یا حذف/فشرده‌سازی پیام‌های قدیمی. Ordering و Consistency ترتیب پیام‌ها در سطح پارتیشن حفظ می‌شود. برای حفظ ordering میان پیام‌های مرتبط با یک کاربر یا فرآیند خاص، باید از key مناسب هنگام ارسال پیام استفاده شود.

1. Producer: نرم‌افزارها یا سرویس‌هایی که پیام‌ها را به Kafka ارسال می‌کنند.
2. Broker: پیام‌ها را در پارتیشن‌های مناسب ذخیره می‌کند و replication انجام می‌دهد.
3. Consumer: پیام‌ها را می‌خواند و پردازش می‌کند.
4. Stream Processor: پردازش بلادرنگ پیام‌ها و ارسال خروجی به topic یا sink دیگر. نمونه جریان داده • IoT devices → Producers → Topic raw-events → Kafka Connect → Data Lake • Topic raw-events → Kafka Streams → Topic processed → Consumption by dashboards or services

نتفلیکس (Netflix) • کاربرد: جمع‌آوری داده‌های تعامل کاربر با سرویس استریم، تحلیل بلادرنگ و توصیه محتوا. • نکته عملی: پیام‌ها با userId key ارسال می‌شوند تا ترتیب حفظ شود و Kafka Streams برای محاسبه metrics session و recommendation استفاده می‌شود. اوبر (Uber) • کاربرد: مدیریت موقعیت راننده و مسافر، محاسبه قیمت لحظه‌ای و تحلیل الگوهای سفر. • نکته عملی: داده‌ها با timestamp و key ماشین ارسال می‌شوند، و پردازش مسیریابی با Kafka Streams به‌صورت stateful انجام می‌شود. لینکدین (LinkedIn) • کاربرد: مدیریت feed، اعلان‌ها و تحلیل تعاملات کاربر. • نکته عملی: high-throughput topics برای user-events و استفاده از MirrorMaker برای همگام‌سازی بین دیتاسنترها. اسپاتیفای (Spotify)، ایربی‌ان‌بی (Airbnb)، پی‌پال (PayPal) • Spotify: جمع‌آوری داده‌های شنیداری، پردازش بلادرنگ برای توصیه موزیک. • Airbnb: هماهنگی رزروها، تحلیل امنیت تراکنش‌ها و پردازش جست‌وجو. • PayPal: تحلیل تراکنش‌ها و تشخیص تقلب در زمان واقعی.

• پردازش بلادرنگ و Real-Time Analytics • ذخیره‌سازی امن و مقیاس‌پذیر داده‌ها • پشتیبانی از معماری Microservices • ساده‌سازی ETL و Data Integration • کاهش پیچیدگی سیستم‌های توزیع‌شده

ملزومات • Java 11+ • Kafka binary از آپاچی یا Confluent راه‌اندازی محلی bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start.sh config/server.properties ایجاد Topic bin/kafka-topics.sh --create --bootstrap-server localhost:9092
--replication-factor 1 --partitions 3 --topic orders تولید و مصرف پیام bin/kafka-console-producer.sh --broker-list localhost:9092 --topic orders bin/kafka-console-consumer.sh --bootstrap-server localhost:9092
--topic orders --from-beginning نمونه کد Java Producer Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); KafkaProducer<String,String> producer = new KafkaProducer<>(props); producer.send(new ProducerRecord<>("orders","user-123","{"orderId":42}")); producer.close();

• Pub/Sub: انتشار خبرها و مصرف توسط چند سرویس • Event Sourcing: ذخیره تاریخچه state به‌عنوان event • CQRS: جدا کردن Command و Query • CDC: انتشار تغییرات دیتابیس به topic • Stream Processing: aggregation، windowing، enrichment

• انتخاب مناسب تعداد پارتیشن و replication factor • استفاده از key مناسب برای جلوگیری از hot partition • مانیتورینگ Lag مصرف‌کننده و UnderReplicatedPartitions • استفاده از Schema Registry برای evolve کردن schema • تنظیم retention policy و cleanup برای مدیریت دیسک

• TLS/SSL و SASL برای امنیت ارتباط • ACL برای کنترل دسترسی topicها • Encryption at rest و مدیریت schema برای تطبیق و اطمینان

• Consumer lag: بررسی پردازش و افزایش تعداد مصرف‌کننده‌ها • Under-replicated partitions: بررسی broker و شبکه • Hot partition: بازنگری key design • OOM broker: tuning heap و I/O

• Kafka Connect • Kafka Streams • ksqlDB • Confluent Platform • Debezium CDC • MirrorMaker 2

آپاچی کافکا ستون فقرات داده‌های بلادرنگ سازمان‌ها است. با رعایت بهترین شیوه‌ها، طراحی مناسب پارتیشن‌ها، مانیتورینگ فعال و استفاده از ابزارهای مکمل، می‌توان تجربه کاربری بی‌وقفه و پردازش بلادرنگ با مقیاس‌پذیری بالا ایجاد کرد.