Исходный код вики Apache Kafka

Версия 10.1 от Alexandr Fokin на 2020/06/07 12:08

version	line-number	content
1.1	1
2.1	2	https://kafka.apache.org/
1.1	3
9.1	4	ПО:
	5	Zookeeper
5.1	6	Zookeeper выполняет роль хранилища метаданных и координатора. Также именно к zookeeper сперва пойдут producer и consumer, чтобы узнать, на каком брокере какие топики и партиции хранятся.
	7	В более старых версиях Kafka zookeeper отвечал и за хранение оффсетов, но сейчас они хранятся в специальном топике __consumer_offsets на брокере
	8
9.1	9	Apache Kafka
	10	Producer (Отправитель)
	11	Consumer (Получатель)
	12	Topic (Отчасти схож с очередью)
	13	Partition (Topic может содержаться несколько разделов, позволяющих работать параллельно нескольким Consumer)
	14	CosumerGroup (Consumers, находящиеся в разных CosumerGroup, читают данные параллельно и независимо друг от друга. (Получают одни и те же сообщения))
5.1	15
1.1	16	Простой запуст на Windows:
2.1	17	1) Раскоменнтировать и изменить строки в файле:
1.1	18	kafka_2.12-2.4.0\config\server.properties
	19	listeners=PLAINTEXT://127.0.0.1:9092
2.1	20	advertised.listeners=PLAINTEXT://127.0.0.1:9092
1.1	21
	22	2) Запустить ZooKeeper
7.1	23	{{code language="cmd"}}
1.1	24	kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
7.1	25	{{/code}}
	26
1.1	27	3) Запустить Kafka
7.1	28	{{code language="cmd"}}
1.1	29	kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
7.1	30	{{/code}}
1.1	31
9.1	32
	33	Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
	34	kafka_2.12-2.4.0\bin\windows
	35
	36
5.1	37	Статьи:
	38	https://habr.com/ru/company/avito/blog/465315/
10.1	39	https://ksqldb.io/quickstart.html
5.1	40
10.1	41
2.1	42	Развертывание:
	43	[[bitnami.com \| kafka (Docker, VM)>>https://bitnami.com/stack/kafka]]
3.1	44	https://github.com/wurstmeister/kafka-docker
4.1	45	https://github.com/lensesio/fast-data-dev
2.1	46
	47
1.1	48	Клиенты:
	49	[[confluentinc/confluent-kafka-dotnet>>https://github.com/confluentinc/confluent-kafka-dotnet]]
	50	[[Jroland/kafka-net>>https://github.com/Jroland/kafka-net]]
	51

Исходный код вики Apache Kafka

Приложения

Навигация