rocketmq和kafka区别

kafka每个topic的partition都是一个目录，每个partition的数据就放到对应的目录下面。而rocketmq存储数据的时候是将所有topic的数据存放到一个文件Commitlog中，当文件大小超过1G，就向下一个文件中写。

kafka每个topic的partition都是一个目录，每个partition的数据就放到对应的目录下面。数据被写到log文件中，由于生产者生产的消息会不断追加到log文件末尾，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制。它将每个Partition分为多个Segment，每个Segment对应两个文件：“.index”索引文件和“.log”数据文件。“.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元数据指向对应数据文件中Message的物理偏移量。

而rocketmq存储数据的时候是将所有topic的数据存放到一个文件Commitlog中，当文件大小超过1G，就向下一个文件中写。同时，Broker会为每一个主题维护各自的ConsumerQueue文件，文件中记录了该主题消息的索引，包括在Commitlog中的偏移位置，消息大小及校验和，以便于在消费时快速的定位到消息位置。ConsumerQueue的维护是异步进行的，不影响消息生产的主流程，即使ConsumerQueue没有及时更新的情况下，服务异常终止，下次启动时也可以根据Commitlog文件中的内容对ConsumerQueue进行恢复。这样的文件结构也就决定了，kafka的IO吞吐量会特别高（多topic并发写），但同样也会受制于topic个数过多的IO切换问题。而rocketMQ恰恰相反，由于所有topic的数据都是记录在一个文件当中，所以topic较少时性能相比kafka交慢，但topic较多时，rocketmq的性能几乎时没有影响的。

鹏仔微信 15129739599 鹏仔QQ344225443 鹏仔前端 pjxi.com 共享博客 sharedbk.com