RabbitMQ和Kafka的显著差异（5）

5、容错处理

当处理消息，队列和事件时，开发者常常认为消息处理总是成功的。毕竟，生产者把每条消息放入队列或者主题后，即使消费者处理消息失败了，它仅仅需要做的就是重新尝试，直到成功为止。

尽管表面上看这种方法是没错的，但是我们应该对这种处理方式多思考一下。首先我们应该承认，在某些场景下，消息处理会失败。所以，即使在解决方案部分需要人为干预的情况下，我们也要妥善地处理这些情况。

消息处理存在两种可能的故障：

1）瞬时故障——故障产生是由于临时问题导致，比如网络连接，CPU负载，或者服务崩溃。我们可以通过一遍又一遍的尝试来减轻这种故障。

2）持久故障——故障产生是由于永久的问题导致的，并且这种问题不能通过额外的重试来解决。比如常见的原因有软件bug或者无效的消息格式（例如，损坏（poison）的消息）。

应该问问自己：“对于消息处理故障，我们应该重试多少次？每一次重试之间我们应该等多久？我们怎样区分瞬时和持久故障？”

最重要的是：“所有重试都失败后或者遇到一个持久的故障，我们要做什么？”

当然，不同业务领域有不同的回答，消息系统一般会给我们提供工具让我们自己实现解决方案。

RabbitMQ会给我们提供诸如交付重试和死信交换器（DLX）来处理消息处理故障。

DLX的主要思路是根据合适的配置信息自动地把路由失败的消息发送到DLX，并且在交换器上根据规则来进一步的处理，比如异常重试，重试计数以及发送到“人为干预”的队列

在RabbitMQ中我们需要记住最重要的事情是当一个消费者正在处理或者重试某个消息时（即使是在把它返回队列之前），其他消费者都可以并发的处理这个消息之后的其他消息。

当某个消费者在重试处理某条消息时，作为一个整体的消息处理逻辑不会被阻塞。所以，一个消费者可以同步地去重试处理一条消息，不管花费多长时间都不会影响整个系统的运行。

消费者1持续的在重试处理消息1，同时其他消费者可以继续处理其他消息

和RabbitMQ相反，Kafka没有提供这种开箱即用的机制。在Kafka中，需要我们自己在应用层提供和实现消息重试机制。

另外，我们需要注意的是当一个消费者正在同步地处理一个特定的消息时，那么同在这个分区上的其他消息是没法被处理的。

由于消费者不能改变消息的顺序，所以我们不能够拒绝和重试一个特定的消息以及提交一个在这个消息之后的消息。你只要记住，分区仅仅是一个追加模式的日志。

一个应用层解决方案可以把失败的消息提交到一个“重试主题”，并且从那个主题中处理重试；但是这样的话我们就会丢失消息的顺序。

我们可以在http://Uber.com上找到Uber工程师实现的一个例子。如果消息处理的时延不是关注点，那么对错误有足够监控的Kafka方案可能就足够了。

如果消费者阻塞在重试一个消息上，那么底部分区的消息就不会被处理

获胜者：

RabbitMQ是获胜者，因为它提供了一个解决这个问题的开箱即用的机制。

需要更多教程，微信扫码即可

RabbitMQ和Kafka的显著差异（5）相关推荐

RabbitMQ和Kafka的显著差异（6）
6.伸缩有多个基准测试,用于检查RabbitMQ和Kafka的性能. 尽管通用的基准测试对一些特定的情况会有限制,但是Kafka通常被认为比RabbitMQ有更优越的性能. Kafka使用顺序磁盘I ...
RabbitMQ和Kafka的显著差异（1）
RabbitMQ是一个消息代理,但是Apache Kafka是一个分布式流式系统.好像从语义上就可以看出差异,但是它们内部的一些特性会影响到我们是否能够很好的设计各种用例. 例如,Kafka最适用于数 ...
RabbitMQ和Kafka的显著差异（over）
7.消费者复杂度 RabbitMQ使用的是智能代理和傻瓜式消费者模式.消费者注册到消费者队列,然后RabbitMQ把传进来的消息推送给消费者.RabbitMQ也有拉取(pull)API:不过,一般很少 ...
RabbitMQ和Kafka的显著差异（4）
4.消息留存(retention) 当消费者成功消费消息之后,RabbitMQ就会把对应的消息从存储中删除.这种行为没法修改.它几乎是所有消息代理设计的必备部分. 相反,Kafka会给每个主题配置超时 ...
RabbitMQ和Kafka的显著差异（3）
3.消息时序(timing) 在测定发送到一个队列的消息时间方面,RabbitMQ提供了多种能力: 1)消息存活时间(TTL) 发送到RabbitMQ的每条消息都可以关联一个TTL属性.发布者可以直接 ...
RabbitMQ和Kafka的显著差异（2）
2.消息路由 RabbitMQ可以基于定义的订阅者路由规则路由消息给一个消息交换器上的订阅者.一个主题交换器可以通过一个叫做routing_key的特定头来路由消息. 或者,一个头部(headers) ...
rabbitmq中默认unack超时时间_RabbitMQ 与 Kafka 的技术差异以及使用注意点
导言作为一个有丰富经验的微服务系统架构师,经常有人问我,"应该选择RabbitMQ还是Kafka?".基于某些原因, 许多开发者会把这两种技术当做等价的来看待.的确,在一些案例场 ...
kafka reassign 限速_RabbitMQ 与 Kafka 的技术差异以及使用注意点
导言作为一个有丰富经验的微服务系统架构师,经常有人问我,"应该选择RabbitMQ还是Kafka?".基于某些原因, 许多开发者会把这两种技术当做等价的来看待.的确,在一些案例场 ...
RabbitMQ和Kafka选型用哪个
作为一个有丰富经验的微服务系统架构师,经常有人问我,"应该选择RabbitMQ还是Kafka?" 基于某些原因, 许多开发者会把这两种技术当做等价的来看待.的确,在一些案例场景下选 ...

RabbitMQ和Kafka的显著差异（5）

RabbitMQ和Kafka的显著差异（5）相关推荐

最新文章

热门文章