Ответ 1
Можете ли вы попробовать:
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
Потребитель не получает сообщения, консоль kafka, новый потребитель api, Kafka 0.9
Я делаю Kafka Quickstart для Kafka 0.9.0.0.
У меня прослушивание zookeeper в localhost:2181, потому что я бежал
bin/zookeeper-server-start.sh config/zookeeper.properties
У меня есть один брокер, слушающий в localhost:9092, потому что я побежал
bin/kafka-server-start.sh config/server.properties
У меня есть публикация производителя для темы "test", потому что я бежал
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
yello
is this thing on?
let try another
gimme more
Когда я запускаю старого пользователя API, он работает, запустив
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
Однако, когда я запускаю нового пользователя API, я ничего не получаю при запуске
bin/kafka-console-consumer.sh --new-consumer --topic test --from-beginning \
--bootstrap-server localhost:9092
Можно ли подписаться на тему у потребителя консоли, используя новый api? Как я могу это исправить?
Ответы
Ответ 2
Я просто столкнулся с этой проблемой, и решение было удалить /brokers в zookeeper и перезапустить узлы kafka.
bin/zookeeper-shell <zk-host>:2181
а затем
rmr /brokers
Не знаю, почему это его решает.
Когда я включил ведение журнала отладки, я видел это сообщение об ошибке снова и снова у потребителя:
2017-07-07 01:20:12 DEBUG AbstractCoordinator:548 - Sending GroupCoordinator request for group test to broker xx.xx.xx.xx:9092 (id: 1007 rack: null)
2017-07-07 01:20:12 DEBUG AbstractCoordinator:559 - Received GroupCoordinator response ClientResponse(receivedTimeMs=1499390412231, latencyMs=84, disconnected=false, requestHeader={api_key=10,api_version=0,correlation_id=13,client_id=consumer-1}, responseBody={error_code=15,coordinator={node_id=-1,host=,port=-1}}) for group test
2017-07-07 01:20:12 DEBUG AbstractCoordinator:581 - Group coordinator lookup for group test failed: The group coordinator is not available.
2017-07-07 01:20:12 DEBUG AbstractCoordinator:215 - Coordinator discovery failed for group test, refreshing metadata
Ответ 3
Используйте это: bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topic test --from-begin
Примечание. Удалите "-new-consumer" из вашей команды.
Для справки см. здесь: https://kafka.apache.org/quickstart
Ответ 4
У меня такая же проблема, теперь я понял.
При использовании --zookeeper в качестве параметра предполагается, что в качестве параметра должен быть указан адрес zookeeper.
При использовании --bootstrap-сервера в качестве параметра предполагается, что в качестве параметра должен быть указан адрес брокера.
Ответ 5
В kafka_2.11-0.11.0.0 сервер zookeeper устарел, и он использует bootstrap-сервер, и он будет принимать адрес и порт брокерского ip. Если вы дадите правильные параметры брокера, вы сможете потреблять сообщения.
например. $bin/kafka-console-consumer.sh --bootstrap-server: 9093 --topic test --from-begin
Я использую порт 9093, для вас он может меняться.
С уважением.