ZeroMQ、RabbitMQとApache Qpidのパフォーマンス比較

Question

ZeroMQ、RabbitMQとApache Qpidのパフォーマンス比較

RabbitMQ と Apache Qpid のパフォーマンスを評価するために、アプリケーション用の高性能メッセージバスが必要です。パフォーマンスを測定するために、私は、メッセージキューの実装の1つを使用して10,000のメッセージを発行し、同じマシンで別のプロセスを実行して10,000のメッセージを消費するテストプログラムを実行しています。次に、公開された最初のメッセージと受信した最後のメッセージの時間差を記録します。

以下は私が比較に使用した設定です。

RabbitMQ: I used a "fanout" type exchange and a queue with default configuration. I used the RabbitMQ C client library.
ZeroMQ: My publisher publises to tcp://localhost:port1 with ZMQ_PUSH socket, My broker listens on tcp://localhost:port1 and resends the message to tcp://localhost:port2 and my consumer listens on tcp://localhost:port2 using ZMQ_PULL socket. I am using a broker instead of peer to to peer communication in ZeroMQ to to make the performance comparison fair to other message queue implementation that uses brokers.
Qpid C++ message broker: I used a "fanout" type exchange and a queue with default configuration. I used the Qpid C++ client library.

パフォーマンス結果は次のとおりです。

RabbitMQ: it takes about 1 second to receive 10,000 messages.
ZeroMQ: It takes about 15 milli seconds to receive 10,000 messages.
Qpid: It takes about 4 seconds to receive 10,000 messages.

質問：

誰かにメッセージキュー間で同様のパフォーマンス比較を実行させますか？次に、結果をあなたのものと比較したいのです。
パフォーマンスを向上させるために RabbitMQ や Qpid をチューニングできる方法はありますか？

注：

テストは、割り当てられた2つのプロセッサを持つ仮想マシン上で実行されました。結果はハードウェアによって異なる場合がありますが、主にMQ製品の相対的なパフォーマンスに関心があります。

68

追加された 27 10月 2011 〜で 07:34 著者 ahsankhan 編集された 30 7月 2015 〜で 04:10

ビュー: 14

源

各メッセージは、このテストを行ったときのバイト数でしたか？

追加された 23 12月 2015 〜で 04:54, 著者 arsenal, 源

ZeroMQ の父親であるMartin Sustrikによって進化した nanomsg - もう一つの子孫を試してみてください。読むのが良い場所は>>> nanomsg.org/documentation-zeromq.html です。

追加された 22 3月 2015 〜で 06:11, 著者 user3666197, 源

2013年4月10日付けの比較は次のとおりです。 x-aeon.com/wp/2013/04/10/…

追加された 17 1月 2014 〜で 04:56, 著者 Daniel F, 源

RabbitMQ、Kafka、HornetQ、SQS、Mongoベースの複製キューのパフォーマンスの比較： warski.org/blog/2014/07/…

追加された 17 7月 2014 〜で 02:57, 著者 adamw, 源

RabbitMQ、Kafka、HornetQ、ActiveMQ、SQS、Mongoの性能比較の最新バージョンはここにあります： softwaremill.com/mqperf

追加された 14 5月 2015 〜で 01:45, 著者 adamw, 源

私は数ヶ月前に同様の結果を出して簡単なテストを行った。そして、私はRabbitMQまたはQpidを使って作業しているときにシステムがかなりアイドル状態にあることに気付きました。何かが間違っていなければならないと思う。

追加された 28 10月 2011 〜で 11:05, 著者 Gary Shi, 源

「RabbitMQ：10,000メッセージを受信するのに約12秒かかります。」 - 私たち自身のテストでは、CPUあたり20-25,000/secのイングレスが定期的に表示されます。だから、あなたは何か間違っている、または遅いクライアントを使用しています。 rabbitmq-discussにメールで質問してみましたか？

追加された 30 10月 2011 〜で 08:42, 著者 user1021067, 源

8 答え

著者 Pieter Hintjens · Answer 1 · 2011-10-31T08:37Z

RabbitMQはおそらくそれらのメッセージに対して永続化を行っています。私は、永続性を持たないためにメッセージの優先度や別のオプションをメッセージに設定する必要があると思います。パフォーマンスは10倍向上します。 AMQPブローカを使用して、毎秒少なくとも100,000メッセージが必要です。 OpenAMQでは、最大300Kメッセージ/秒のパフォーマンスが得られました。

AMQPは高速化のために設計されていましたが（例えば、メッセージを配送するためにメッセージを解凍しません）、ZeroMQは単に主要な方法で設計されています。例えば。ブローカなしでノードを接続してホップを削除します。 AMQPクライアントスタックよりも非同期I/Oが優れています。より積極的なメッセージバッチ処理を行います。おそらく、ZeroMQを構築するのに費やした時間の60％がパフォーマンスチューニングに入ったでしょう。それは非常に難しい作業でした。それは偶然により速くはありません。

私がしたいことの1つですが、あまりにも忙しいのは、ZeroMQの上にAMQPのようなブローカーを作り直すことです。ここには第1層があります： http://rfc.zeromq.org/spec:15 スタック全体はRestMSのように動作し、トランスポートとセマンティクスは2つのレイヤーに分かれています。 AMQP/0.9.1とほぼ同じ機能を提供しますが（意味的に相互運用可能ですが）はるかに高速です。

著者 Steve Casey · Answer 2 · 2011-10-29T08:19Z

Hmm, of course ZeroMQ will be faster, it is designed to be and does not have a lot of the broker based functionality that the other two provide. The ZeroMQ site has a wonderful comparison of broker vs brokerless messaging and drawbacks & advantages of both.

RabbitMQ Blog:

RabbitMQと0MQは、メッセージングのさまざまな側面に焦点を当てています。 0MQは、メッセージがワイヤを介してどのように転送されるかに焦点を当てます。一方、RabbitMQは、メッセージの格納、フィルタリング、および監視方法に重点を置いています。

（また、上記のRabbitMQの記事は、RabbitMQでZeroMQを使用する方法についても説明しています）

So, what I'm trying to say is that you should decide on the tech that best fits your requirements. If the only requirement is speed, ZeroMQ. But if you need other aspects such as persistence of messages, filtering, monitoring, failover, etc well, then that's when u need to start considering RabbitMQ & Qpid.

著者 WallStProg · Answer 3 · 2014-11-06T06:31Z

ブローカを使用する他のメッセージキューの実装とパフォーマンスの比較を公正に行うため、ZeroMQのピアツーピア通信ではなくブローカを使用しています。

なぜそれをしたいのか分かりません。あなたが気にしているのはパフォーマンスだけであれば、プレーフィールドレベルを作る必要はありません。永続性、フィルタリングなどを気にしない場合は、なぜ価格を支払うのですか？

私はVM上でベンチマークを実行することにも非常に注意しています - 明らかではない方法で結果に影響を与える余分なレイヤーがたくさんあります。（実際のシステムをVM上で実行する予定がない限り、もちろんその場合は非常に有効な方法です）。

著者 joseluis · Answer 4 · 2011-10-28T06:26Z

私はc ++/qpidをテストしました

2つの異なるマシン間で、キューイングなしで1秒間に50000メッセージを送信しました。

私はファンアウトを使用せず、単純な交換（非永続メッセージ）

永続メッセージを使用していますか？あなたはメッセージを解析していますか？

0MQにはメッセージ構造体がないので、私はそうしないと思います。

ブローカーが主にアイドル状態の場合は、送信側と受信側でプリフェッチを構成していない可能性があります。これは、多くのメッセージを送信するために非常に重要です。

著者 user2387567 · Answer 5 · 2014-12-16T11:10Z

私はあなたがセロリを使用すると、Rabbitmqのパフォーマンスが向上すると思います

3

追加された 16 12月 2014 〜で 11:10 著者 user2387567

源

OPはPythonの使用については言及していません。偉大な図書館ではセロリが黒い魔法ではなく、rabbitmqを使用するだけで高速化することはできません。

追加された 27 4月 2015 〜で 02:58, 著者 gawry, 源

著者 Yuancai Ye · Answer 6 · 2014-09-09T12:21Z

RabbitMQとSocketPro（ http://www.udaparts.com/ ）の永続メッセージキューを比較しました。サイト

>すべてのソースコードで。 RabbitMQで得られた結果は次のとおりです。

同じマシンのエンキューとデキュー：

"Hello world" -
  エンキュー：毎秒30000メッセージ;
  デキュー：毎秒7000メッセージ。

1024バイトのテキスト -
  エンキュー：毎秒11000メッセージ;
  デキュー：毎秒7000メッセージ。

10 * 1024バイトのテキスト -
  エンキュー：4000メッセージ/秒;
  デキュー：毎秒4000メッセージ。

100Mbpsのネットワーク帯域幅を使用したクロスマシンエンキューおよびデキュー：

"Hello world" -
  エンキュー：毎秒28000メッセージ;
  デキュー：毎秒1900メッセージ。

1024バイトのテキスト -
  エンキュー：毎秒8000メッセージ;
  デキュー：1秒あたり1000メッセージ。

10 * 1024バイトのテキスト -
  エンキュー：800メッセージ/秒;
  デキュー：毎秒700メッセージ。

著者 Slugart · Answer 7 · 2016-05-13T07:48Z

ZeroMQの上に構築されたオープンソースのメッセージバスを開発しました。最初はQpidを置き換えるためにこれを行いました。それはブローカレスなので完全に公正な比較ですが、ブローカされたソリューションと同じ機能を提供します。

Our headline performance figure is 140K msgs per second between two machines but you can see more detail here: https://github.com/Abc-Arbitrage/Zebus/wiki/Performance

著者 jale · Answer 8 · 2011-10-29T11:05Z

100のような値で送信側と受信側のプリフェッチを設定してみてください。送信側だけをプリフェッチするだけでは不十分です

0

追加された 29 10月 2011 〜で 11:05 著者 jale

源

Fro qpid、私はReceiver.setCapacity（100）がレシーバのプリフェッチを設定するという印象を持っていました。 Aferは、 "新しいqpid api"とQpidの古いメッセージングApiに似たパフォーマンスbacameを使用してコードのパフォーマンスを10倍向上させました。投稿を結果で更新しました。しかし、Qpidはまだrabbitmqより4倍遅いようです。

追加された 01 11月 2011 〜で 06:14, 著者 ahsankhan, 源