Исходный код вики Apache Kafka

Версия 12.12 от Alexandr Fokin на 2020/06/30 10:03

version	line-number	content
1.1	1
2.1	2	https://kafka.apache.org/
1.1	3
9.1	4	ПО:
	5	Zookeeper
5.1	6	Zookeeper выполняет роль хранилища метаданных и координатора. Также именно к zookeeper сперва пойдут producer и consumer, чтобы узнать, на каком брокере какие топики и партиции хранятся.
	7	В более старых версиях Kafka zookeeper отвечал и за хранение оффсетов, но сейчас они хранятся в специальном топике __consumer_offsets на брокере
	8
9.1	9	Apache Kafka
	10	Producer (Отправитель)
	11	Consumer (Получатель)
	12	Topic (Отчасти схож с очередью)
	13	Partition (Topic может содержаться несколько разделов, позволяющих работать параллельно нескольким Consumer)
	14	CosumerGroup (Consumers, находящиеся в разных CosumerGroup, читают данные параллельно и независимо друг от друга. (Получают одни и те же сообщения))
5.1	15
1.1	16	Простой запуст на Windows:
2.1	17	1) Раскоменнтировать и изменить строки в файле:
1.1	18	kafka_2.12-2.4.0\config\server.properties
	19	listeners=PLAINTEXT://127.0.0.1:9092
2.1	20	advertised.listeners=PLAINTEXT://127.0.0.1:9092
1.1	21
	22	2) Запустить ZooKeeper
7.1	23	{{code language="cmd"}}
1.1	24	kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
7.1	25	{{/code}}
	26
1.1	27	3) Запустить Kafka
7.1	28	{{code language="cmd"}}
1.1	29	kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
7.1	30	{{/code}}
1.1	31
9.1	32
	33	Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
	34	kafka_2.12-2.4.0\bin\windows
	35
	36
5.1	37	Статьи:
	38	https://habr.com/ru/company/avito/blog/465315/
10.1	39	https://ksqldb.io/quickstart.html
11.1	40	https://coderlessons.com/tutorials/bolshie-dannye-i-analitika/vyuchit-apache-kafka/apache-kafka-kratkoe-rukovodstvo
	41	https://habr.com/ru/post/354486/
12.1	42	https://jaceklaskowski.gitbooks.io/apache-kafka/kafka-properties-client-id.html
5.1	43
2.1	44	Развертывание:
	45	[[bitnami.com \| kafka (Docker, VM)>>https://bitnami.com/stack/kafka]]
3.1	46	https://github.com/wurstmeister/kafka-docker
4.1	47	https://github.com/lensesio/fast-data-dev
2.1	48
	49
1.1	50	Клиенты:
	51	[[confluentinc/confluent-kafka-dotnet>>https://github.com/confluentinc/confluent-kafka-dotnet]]
	52	[[Jroland/kafka-net>>https://github.com/Jroland/kafka-net]]
	53
12.1	54
	55	KafkaConsoleTool:
	56	https://riptutorial.com/apache-kafka/topic/8990/kafka-console-tools
	57	https://medium.com/@TimvanBaarsen/apache-kafka-cli-commands-cheat-sheet-a6f06eac01b
	58	https://howtoprogram.xyz/2016/07/08/apache-kafka-command-line-interface/
	59	https://help.aiven.io/en/articles/2661525-viewing-and-resetting-consumer-group-offsets
	60
	61	https://stackoverflow.com/questions/32697999/kafka-consumer-list
	62	https://stackoverflow.com/questions/35437681/kafka-get-partition-count-for-a-topic
	63	https://stackoverflow.com/questions/14755030/apache-kafka-consumer-state
	64	https://stackoverflow.com/questions/28156227/kafka-consumer-group-creation-with-specific-offset
	65
	66
	67

Исходный код вики Apache Kafka

Приложения

Навигация