Увеличьте пропускную способность с помощью RabbitMQ

В нашем проекте мы хотим использовать RabbitMQ в шаблоне "Очереди задач" для передачи данных.

На стороне производителя мы создаем несколько TCP-серверов (в node.js) для recv высокие параллельные данные и отправить его в MQ без каких-либо действий.

На стороне потребителя мы используем JAVA-клиент для получения данных задачи из MQ, обработайте его, а затем ack.

Итак, вопрос: Чтобы получить максимальную пропускную способность/производительность передачи сообщений (например, 400 000 мс/с), Сколько очередей лучше? Чем больше очередей, тем лучше производительность/производительность? И есть ли что-нибудь еще, что я должен заметить? Любые известные рекомендации по использованию RabbitMQ в таком сценарии?

Любые комментарии очень ценятся!

Ответы

Ответ 1

Для лучшей производительности в RabbitMQ следуйте советам своих создателей. Из блога RabbitMQ:

Очереди RabbitMQ быстрее, когда они пусты.. Когда очередь пустой, и у него есть потребители, готовые получать сообщения, а затем, как только сообщение принимается очередью, оно идет прямо к потребитель. В случае постоянного сообщения в надежной очереди да, он также перейдет на диск, но это будет сделано асинхронно и буферизуется в значительной степени. Главное, что очень мало бухгалтерского учета необходимо сделать очень мало структур данных, и очень требуется небольшая дополнительная память.

Если вы действительно хотите углубиться в производительность очередей RabbitMQ, эта другая запись в блоге их значительно больше входит в данные.

Ответ 2

В соответствии с ответом, который я получил от группы рассылки rabbitmq-discuss, есть другие вещи, которые вы можете попытаться увеличить пропускную способность и уменьшить задержку:

  • Используйте большой счет предварительной выборки. Небольшие значения ухудшают производительность.

  • Обмен темой происходит медленнее, чем прямой обмен или обмен фанатов.

  • Убедитесь, что очереди остаются короткими. Более длинные очереди налагают больше обработки накладные расходы.

  • Если вам нужны латентность и скорость сообщений, используйте более мелкие сообщения. Используйте эффективный формат (например, избегайте XML) или сжимайте полезную нагрузку.

  • Экспериментируйте с HiPE, что помогает производительности.

  • Избегайте транзакций и настойчивости. Также избегайте публикации в ближайшее время. или обязательный режим. Избегайте HA. Кластеризация также может влиять на производительность.

  • Вы получите лучшую пропускную способность в многоядерной системе, если у вас есть несколько очередей и потребителей.

  • Используйте как минимум v2.8.1, который вводит управление потоком. Убедитесь, что память и дисковое пространство никогда не запускаются.

  • Виртуализация может наложить небольшое ограничение производительности.

  • Настройте свою ОС и сетевой стек. Удостоверьтесь, что вы обеспечиваете более чем достаточно ОЗУ. Обеспечьте быстрые ядра и оперативную память.

Ответ 3

Вы увеличите пропускную способность с большим количеством предварительных выборок и в то же время ACK несколько сообщений (вместо отправки ACK для каждого сообщения) от вашего потребителя.

Но, конечно, ACK с несколькими флагами (http://www.rabbitmq.com/amqp-0-9-1-reference.html#basic.ack) требует дополнительной логики для вашего потребительского приложения (http://lists.rabbitmq.com/pipermail/rabbitmq-discuss/2013-August/029600.html). Вам нужно будет хранить список тегов доставки сообщений, переданных от брокера, их статус (независимо от того, обрабатывало ли ваше приложение их или нет) и ACK каждый N-й тег доставки (NDTAG), когда все сообщения с доставкой -tag меньше или равно NDTAG.