Список всех kafka тем

Ответ 1

Kafka использует ZooKeeper, поэтому вам нужно сначала запустить сервер ZooKeeper, если у вас его еще нет.

Если вы не хотите устанавливать и иметь отдельный сервер zookeeper, вы можете использовать удобный сценарий, упакованный с помощью kafka, чтобы получить быстрый и грязный одноузловой экземпляр ZooKeeper.

Запуск одноузлового экземпляра Zookeeper:

bin/zookeeper-server-start.sh config/zookeeper.properties

Запуск сервера Kafka:

bin/kafka-server-start.sh config/server.properties

Список тем, доступных в Kafka:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Ответ 2

чтобы увидеть эту тему, если мы запустим команду списка по списку:

$ bin/kafka-topics.sh --list --zookeeper localhost:2181

Чтобы проверить, посадят ли данные в Кафке:

$ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic twitterstream --from-beginning

Ответ 3

Kafka требует zookeeper, и, действительно, список тем хранится там, поэтому инструмент kafka-themes нужно также подключить к zookeeper. kafka-clients apis в более новых версиях больше не разговаривает с zookeeper напрямую, возможно, из-за того, что вы находитесь под впечатлением, возможно создание без zookeeper. Это не так, поскольку кафка полагается на нее внутренне. Для справки см.: http://kafka.apache.org/documentation.html#quickstart. Шаг 2:

Kafka использует ZooKeeper, поэтому вам нужно сначала запустить сервер ZooKeeper, если у вас его еще нет

Ответ 4

Клиентам Kafka больше не требуется zookeeper, но серверы Kafka действительно нуждаются в этом.

Вы можете получить список тем с помощью нового API AdminClient, но команда оболочки, поставляемая с Kafka, еще не была переписана для использования этого нового API.

Другим способом использования Kafka без Zookeeper является использование SaaS Kafka-as-a-Service провайдера, такого как Confluent Cloud, поэтому вы не видите или не управляете брокерами Kafka (и необходимым ансамблем Zookeeper).

Например, в Confluent Cloud вы просто используете следующую команду CLI для zookeeper:

ccloud topic list

Ответ 5

Для докеризованной кафки/зоокейпера

docker ps

найти идентификатор контейнера zookeeper

docker exec -it <id> bash

cd bin

./zkCli.sh

ls /brokers/topics

Ответ 6

Kafka - это распределенная система и нуждается в Zookeeper. вам также нужно запустить zookeeper. Следуйте "Быстрый старт" здесь: https://kafka.apache.org/0100/documentation.html#quickstart

Ответ 7

Для запуска Kafka требуется Zookeeper. Zookeeper должен. если вы хотите увидеть список тем без zookeeper, вам нужен инструмент мониторинга кафки, такой как Kafka Monitor Tool, kafka-manager и т.д.

Ответ 8

Чтобы читать сообщения, вы должны использовать:

kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic messages --from-beginning

--bootstrap-server является обязательным атрибутом. Вы можете использовать только один kafka1:9020.

Ответ 9

Команды:

1. Чтобы начать кафку:

   $ nohup ~/kafka/bin/kafka-server-start.sh ~/kafka/config/server.properties> ~/kafka/kafka.log 2> & 1 &

2. Перечислить всю тему по кафке;

   $ bin/kafka-topics.sh --list --zookeeper localhost: 2181

3. Проверить данные посадки на тему кафки и распечатать их;

   $ bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topic ваше_топическое_имя --от начала

Ответ 10

Кафка 2.2 и выше

В новых версиях Kafka больше не требуется строка подключения ZooKeeper для перечисления тем, но можно напрямую обращаться к брокерам Kafka. kafka-topics.sh предоставляется в папке bin/ при загрузке Kafka. Чтобы перечислить темы, сделайте следующее:

bin/kafka-topics.sh --list --bootstrap-server <BROKER-LIST>