RabbitMQ优先级队列与RPC调用(分布式事务)

RabbitMQ实现了优先级队列,该实现支持有限数量的优先级:255,建议值介于1和10之间。

任何队列都可以通过客户端提供的可选参数,转换为优先队列,但这个可选参数与策略参数有所不同。

优先队列可选参数

要声明优先级队列,使用x-max-priority参数,此参数为1到255之间的正整数,表示队列能够支持的最大优先级。Java客户端示例:

Channel ch = ...;
Map<String, Object> args = new HashMap<String, Object>();
args.put("x-max-priority", 10);
ch.queueDeclare("my-priority-queue", true, false, false, args);

发布者可以使用basic.properties的优先级字段,在发布消息时设置优先级,数字越大表示优先级越高。

RabbitMQ远程调用模式(RPC)

RabbitMQ RPC服务,示例中将创建一个简单的客户端类。它将发布一个名为call的方法,该方法发送一个阻塞的RPC请求,直到收到回复为止:

FibonacciRpcClient fibonacciRpc = new FibonacciRpcClient();
String result = fibonacciRpc.call("4");
System.out.println( "fib(4) is " + result);

回调队列

通常,在RabbitMQ上执行RPC很容易。客户端发送请求消息,服务器使用响应消息进行应答。为了接收响应,需要在请求中发送一个“回调”队列地址。

callbackQueueName = channel.queueDeclare().getQueue();

BasicProperties props = new BasicProperties
                            .Builder()
                            .replyTo(callbackQueueName)
                            .build();

channel.basicPublish("", "rpc_queue", props, message.getBytes());

AMQP 0-9-1协议预定义了一组消息属性,大多数属性很少使用,以下是常用属性:

deliveryMode

将消息标记为持久化(值为2)或瞬态(任何其他值)。

contentType

用于描述编码的mime类型,如:对于经常使用的JSON编码,将此属性设置为:application / json。

replyTo

通常用于命名回调队列。

correlationId

correlationId用于将RPC响应与请求相关联,为每个RPC请求创建一个回调队列,但这是非常低效,所以,通常是为每个客户端创建一个回调队列。

在这种情况下引发了一个新问题,在该队列中收到响应后,不清楚响应属于哪个请求。所以,使用correlationId属性的时候 ,要为每个请求设置一个唯一的值。

在回调队列中收到一条消息时,查看该属性并根据属性值,将响应与请求进行匹配,如果,看到未知的correlationId值,一般可以安全地丢弃该消息(因为服务器端会存在竞争条件)。

另外,由于RPC服务器,可能会在发送答复之后,客户端发送确认请求之前宕机,发生这种情况,重新启动的RPC服务器,将会再次处理请求,导致重复的响应,理想情况下RPC应该具有幂等性。

Rabbitmq RPC 工作过程

RabbitMQ RPC工作过程

RPC请求,客户端发送时带有两个消息属性:replyTo:为请求创建的匿名独占队列。correlationId:为每个请求设置唯一的值,如图所示:

请求被发送到rpc_queue队列

RPC worker(aka:server):等待队列上的请求,当请求出现时,它会执行该作业,并使用replyTo字段标明的队列,将带有结果的消息发送回客户端。

客户端:等待队列上的回复数据,当消息出现时,它会检查correlationId属性的值,如果,它与请求中的值匹配,则返回对应用程序的响应。

使用RPC需要注意的事项

如果没有运行服务器,客户应该如何处理?客户端是否应该为RPC设置超时时间?如果服务器出现故障并引发异常,是否应将其转发给客户端?在处理之前要防止无效的消息传入(如:检查边界)。

客户端示例代码

package com.xieyonghui.mqpc;

import java.io.IOException;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.BlockingQueue;
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.AMQP.BasicProperties;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DefaultConsumer;
import com.rabbitmq.client.Envelope;

public class Rpc {

  public static void main(String[] args) throws Exception {
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("localhost");
    Connection connection = factory.newConnection();
    Channel channel = connection.createChannel();
    String callbackQueueName = channel.queueDeclare().getQueue();
    String corrId = "clusterId";
    BasicProperties props =
        new BasicProperties.Builder().correlationId(corrId).replyTo(callbackQueueName).build();
    channel.basicPublish("", "rpc_queue", props, "message".getBytes());
    final BlockingQueue<String> response = new ArrayBlockingQueue<String>(1);

    String ctag = channel.basicConsume(callbackQueueName, true, new DefaultConsumer(channel) {
      @Override
      public void handleDelivery(String consumerTag, Envelope envelope,
          AMQP.BasicProperties properties, byte[] body) throws IOException {
        String res = new String(body, "UTF-8");
        if (properties.getCorrelationId().equals(corrId)) {
          response.offer(res);
        }
      }
    });
    String result = response.take();
    channel.basicCancel(ctag);
    System.out.println(result);
  }

}

服务端示例代码

package com.xieyonghui.mqpc;

import java.io.IOException;
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.Consumer;
import com.rabbitmq.client.DefaultConsumer;
import com.rabbitmq.client.Envelope;

public class RpcServer {

  static String RPC_QUEUE_NAME = "rpc_queue";

  public static void main(String[] args) throws Exception {

    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("localhost");

    Connection connection = null;
    connection = factory.newConnection();
    final Channel channel = connection.createChannel();

    channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);
    channel.queuePurge(RPC_QUEUE_NAME);

    channel.basicQos(1);

    System.out.println(" [x] Awaiting RPC requests");

    Consumer consumer = new DefaultConsumer(channel) {
      @Override
      public void handleDelivery(String consumerTag, Envelope envelope,
          AMQP.BasicProperties properties, byte[] body) throws IOException {
        AMQP.BasicProperties replyProps =
            new AMQP.BasicProperties.Builder().correlationId(properties.getCorrelationId()).build();

        String response = "";

        try {
          String message = new String(body, "UTF-8");

          response += "hello !" + message;
          System.out.println(response);
        } catch (RuntimeException e) {
          System.out.println(" [.] " + e.toString());
        } finally {
          channel.basicPublish("", properties.getReplyTo(), replyProps, response.getBytes("UTF-8"));
          channel.basicAck(envelope.getDeliveryTag(), false);
          synchronized (this) {
            this.notify();
          }
        }
      }
    };

    channel.basicConsume(RPC_QUEUE_NAME, false, consumer);
    while (true) {
      synchronized (consumer) {
        try {
          consumer.wait();
        } catch (InterruptedException e) {
          e.printStackTrace();
        }
      }
    }
  }

}