Základy Apache Kafka

Apache Kafka je dnes standardem pro streamování událostí a zpracování dat v reálném čase – používají ji firmy pro propojení mikroslužeb, zpracování transakcí, sledování uživatelské aktivity nebo integraci IoT dat. Kurz vás krok za krokem provede od základních principů streamování, přes architekturu Kafka (brokery, topicy, partition, producery a consumery), až po praktickou instalaci a konfiguraci vlastního Kafka clusteru.

Součástí je i seznámení s nástroji Kafka Connect pro propojení s externími databázemi a systémy a Kafka Streams pro zpracování a transformaci datových proudů přímo uvnitř Kafka ekosystému. Po absolvování budete rozumět tomu, jak Kafka funguje "pod kapotou", a budete schopni navrhnout a spravovat jednoduché řešení pro streamování dat ve vaší firmě.

Toto školení je vhodné pro:

• Vývojáře a architekty, kteří se zajímají o zpracování událostí v reálném čase a distribuované zpracování dat.
• DevOps specialisty, kteří se starají o správu a nasazení Kafka clusterů.
• Data enginery, kteří se zabývají analýzou a zpracováním dat a hledají efektivní způsoby streamování dat.

1. Úvod do streamování událostí 

• Co je event streaming a proč se dnes tolik používá
• Rozdíl mezi tradičním zpracováním dat a streamováním v reálném čase
• Typické use case scénáře z praxe (mikroslužby, IoT, transakční systémy)

2. Přehled Apache Kafka

• Základní vlastnosti a výhody oproti klasickým message queue systémům
• Klíčové koncepty: log, retention, replikace

3. Architektura a komponenty Apache Kafka

• Broker a Kafka Cluster
• Topic a Partition
• Producer a Consumer (včetně Consumer Group)
• Kafka Connect – propojení s externími systémy
• Kafka Streams – zpracování datových proudů

4. Praktická instalace a konfigurace Kafka Clusteru (odpoledne – hands-on lab)

• Instalace Kafka clusteru krok za krokem
• Základní konfigurace brokerů a topiců
• Vytvoření prvního producera a consumera

5. Kafka Connect v praxi

• Propojení Kafka s externí databází nebo úložištěm
• Ukázka konektoru pro import/export dat

6. Kafka Streams – úvod do zpracování dat

• Základní principy knihovny
• Jednoduchý příklad transformace datového proudu

7. Shrnutí a diskuze

• Doporučené postupy (best practices) z reálného nasazení
• Prostor na dotazy a individuální konzultaci s lektorem

V ceně kurzu jsou studijní materiály v elektronické podobě, které vám pomohou udržet si jasnou strukturu celého postupu i po školení. Materiály jsou zaměřené tak, abyste se k nim mohli vracet při řešení reálných problémů ve firmě.

• Seznámit účastníky s koncepty publikování a odběru zpráv v Apache Kafka.
• Porozumění architektuře a základním komponentám Kafka ekosystému.
• Naučit se vytvářet, konfigurovat a spravovat Kafka cluster pro streamování událostí.
• Demonstrovat praktické scénáře využití pro reálné aplikace.

Co je Apache Kafka a k čemu se používá?
Apache Kafka je distribuovaná platforma pro streamování událostí, která umožňuje spolehlivě publikovat, ukládat a zpracovávat velké množství dat v reálném čase. Využívá se všude tam, kde je potřeba propojit více systémů pomocí datových proudů – například u zpracování transakcí, sledování aktivity uživatelů nebo IoT dat.

Jaký je rozdíl mezi Kafka a klasickou frontou zpráv (message queue)?
Klasická fronta zpráv typicky doručí zprávu jednomu příjemci a poté ji smaže. Kafka naproti tomu ukládá zprávy po definovanou dobu do takzvaných topiců, takže si je může přečíst více nezávislých odběratelů (consumerů) opakovaně – to z ní dělá spíš distribuovaný, přehrávatelný log událostí než jednorázovou frontu.

Potřebuji před kurzem znát programování nebo mít zkušenosti s Kafka?
Ne, kurz je určen účastníkům bez předchozích znalostí a zkušeností s Kafka – jde o základní, úvodní školení, které vysvětluje koncepty od úplných počátků.

Co jsou to broker, topic, partition, producer a consumer?
Jde o základní stavební kameny Kafka architektury: broker je server, který data ukládá a distribuuje, topic je kategorie, do které se zprávy zapisují, partition rozděluje topic na menší části pro paralelní zpracování, producer zprávy odesílá a consumer je čte. Kurz se architektuře a těmto komponentám věnuje v samostatném bloku.

Co jsou Kafka Connect a Kafka Streams?
Kafka Connect slouží k propojení Kafka s externími systémy a databázemi bez nutnosti psát vlastní kód pro import a export dat. Kafka Streams je knihovna pro zpracování a transformaci datových proudů přímo uvnitř Kafka ekosystému. Kurz oběma nástrojům věnuje samostatnou část.

Naučím se v kurzu i instalovat a konfigurovat Kafka cluster?
Ano, kurz zahrnuje praktickou instalaci a základní konfiguraci Kafka clusteru, takže si osaháte nejen teorii, ale i reálné nastavení prostředí.

Na jaký kurz je vhodné navázat po Základech Apache Kafka?
Navazujícím kurzem jsou Pokročilé techniky Apache Kafka, které rozšiřují znalosti směrem k hlubší administraci a optimalizaci Kafka prostředí.