谋略(design)七天 白虎

1 讯息存储

讯息存储是RocketMQ中最为复杂和最为紧迫的一部分，本节将分别从RocketMQ的讯息存储全体架构、PageCache与Mmap内存映射以及RocketMQ中两种不同的刷盘形势三方面来分别伸开诠释注解。

1.1 讯息存储全体架构

讯息存储架构图中主要有底下三个跟讯息存储关系的文献组成。

(1) CommitLog：讯息主体以及元数据的存储主体，存储Producer端写入的讯息主体推行，讯息推行不是定长的。单个文献大小默许1G ，文献名长度为20位，左边补零，剩余为肇始偏移量，比如00000000000000000000代表了第一个文献，肇始偏移量为0，文献大小为1G=1073741824；当第一个文献写满了，第二个文献为00000000001073741824，肇始偏移量为1073741824，依此类推。讯息主若是法例写入日记文献，当文献满了，写入下一个文献；

(2) ConsumeQueue：讯息浪掷队伍，引入的标的主若是提高讯息浪掷的性能，由于RocketMQ是基于主题topic的订阅形态，讯息浪掷是针对主题进行的，如果要遍历commitlog文献中左证topic检索讯息是相等低效的。Consumer即可左证ConsumeQueue来查找待浪掷的讯息。其中，ConsumeQueue（逻辑浪掷队伍）作为浪掷讯息的索引，保存了指定Topic下的队伍讯息在CommitLog中的肇始物理偏移量offset，讯息大小size和讯息Tag的HashCode值。consumequeue文献可以行为是基于topic的commitlog索引文献，故consumequeue文献夹的组织形势如下：topic/queue/file三层组织结构，具体存储旅途为：$HOME/store/consumequeue/{topic}/{queueId}/{fileName}。一样consumequeue文献选定定长谋略，每一个条件共20个字节，分别为8字节的commitlog物理偏移量、4字节的讯息长度、8字节tag hashcode，单个文献由30W个条件组成，可以像数组一样立时看望每一个条件，每个ConsumeQueue文献大小约5.72M；

(3) IndexFile：IndexFile（索引文献）提供了一种可以通过key或技艺区间来查询讯息的设施。Index文献的存储位置是： {fileName}，文献名fileName是以创建时的技艺戳定名的，固定的单个IndexFile文献大小约为400M，一个IndexFile可以保存 2000W个索引，IndexFile的底层存储谋略为在文献系统中终了HashMap结构，故rocketmq的索引文献其底层终了为hash索引。

在上头的RocketMQ的讯息存储全体架构图中可以看出，RocketMQ给与的是搀杂型的存储结构，即为Broker单个实例下所有这个词的队伍共用一个日记数据文献（即为CommitLog）来存储。RocketMQ的搀杂型存储结构(多个Topic的讯息实体推行齐存储于一个CommitLog中)针对Producer和Consumer分别给与了数据和索引部分相分离的存储结构，Producer发送讯息至Broker端，然后Broker端使用同步或者异步的形势对讯息刷盘耐久化，保存至CommitLog中。只消讯息被刷盘耐久化至磁盘文献CommitLog中，那么Producer发送的讯息就不会丢失。正因为如斯，Consumer也就细目有契机去浪掷这条讯息。当无法拉取到讯息后，可以等下一次讯息拉取，同期劳动端也复旧长轮询形态，如果一个讯息拉取肯求未拉取到讯息，Broker允许恭候30s的技艺，只消这段技艺内有新讯息到达，将径直复返给浪掷端。这里，RocketMQ的具体作念法是，使用Broker端的后台劳动线程—ReputMessageService不休地分发肯求并异步构建ConsumeQueue（逻辑浪掷队伍）和IndexFile（索引文献）数据。

1.2 页缓存与内存映射

页缓存（PageCache)是OS对文献的缓存，用于加快对文献的读写。一般来说，圭臬对文献进行法例读写的速率简直接近于内存的读写速率，主要原因即是由于OS使用PageCache机制对读写看望操作进行了性能优化，将一部分的内存用作PageCache。关于数据的写入，OS会先写入至Cache内，随后通过异步的形势由pdflush内核线程将Cache内的数据刷盘至物理磁盘上。关于数据的读取，如果一次读取文献时出现未掷中PageCache的情况，OS从物理磁盘上看望读取文献的同期，会法例对其他相邻块的数据文献进行预读取。

在RocketMQ中，ConsumeQueue逻辑浪掷队伍存储的数据较少，而况是法例读取，在page cache机制的预读取作用下，Consume Queue文献的读性能简直接近读内存，即使在有讯息堆积情况下也不会影响性能。而关于CommitLog讯息存储的日记数据文献来说，读取讯息推行时候会产生较多的立时看望读取，严重影响性能。如果选拔合乎的系统IO诊治算法，比如配置诊治算法为“Deadline”（此时块存储给与SSD的话），立时读的性能也会有所栽种。

另外，RocketMQ主要通过MappedByteBuffer对文献进行读写操作。其中，阁下了NIO中的FileChannel模子将磁盘上的物理文献径直映射到用户态的内存地址中（这种Mmap的形势减少了传统IO将磁盘文献数据在操作系统内核地址空间的缓冲区和用户应用圭臬地址空间的缓冲区之间往返进行拷贝的性能支拨），将对文献的操作转动为径直对内存地址进行操作，从而极地面提高了文献的读写成果（正因为需要使用内存映射机制，故RocketMQ的文献存储齐使用定长结构来存储，简单一次将所有这个词这个词文献映射至内存）。

1.3 讯息刷盘

(1) 同步刷盘：如上图所示，只好在讯息真是耐久化至磁盘后RocketMQ的Broker端才会真是复返给Producer端一个得手的ACK反映。同步刷盘对MQ讯息可靠性来说是一种可以的保险，可是性能上会有较大影响，一般适用于金融业务应用该形态较多。

(2) 异步刷盘：大略充分阁下OS的PageCache的上风，只消讯息写入PageCache即可将得手的ACK复返给Producer端。讯息刷盘给与后台异步线程提交的形势进行，裁汰了读写延长，提高了MQ的性能和婉曲量。

2 通讯机制

RocketMQ讯息队伍集群主要包括NameServer、Broker(Master/Slave)、Producer、Consumer4个变装，基本通讯经由如下：

(1) Broker驱动后需要完成一次将我方注册至NameServer的操作；随后每隔30s技艺定时向NameServer上报Topic路由信息。

(2) 讯息坐褥者Producer作为客户端发送讯息时候，需要左证讯息的Topic从腹地缓存的TopicPublishInfoTable获得路由信息。如果莫得则更新路由信息会从NameServer上从头拉取，同期Producer会默许每隔30s向NameServer拉取一次路由信息。

(3) 讯息坐褥者Producer左证2）中获得的路由信息选拔一个队伍（MessageQueue）进行讯息发送；Broker作为讯息的接纳者接纳讯息并落盘存储。

(4) 讯息浪掷者Consumer左证2）中获得的路由信息，并再完成客户端的负载平衡后，选拔其中的某一个或者某几个讯息队伍来拉取讯息并进行浪掷。

从上头1）~3）中可以看出在讯息坐褥者， Broker和NameServer之间齐会发生通讯（这里只说了MQ的部分通讯），因此奈何谋略一个细致的网罗通讯模块在MQ中至关紧迫，它将决定RocketMQ集群全体的讯息传输智力与最终的性能。

rocketmq-remoting 模块是 RocketMQ讯息队伍中负责网罗通讯的模块，它简直被其他所有这个词需要网罗通讯的模块（诸如rocketmq-client、rocketmq-broker、rocketmq-namesrv）所依赖和援用。为了终了客户端与劳动器之间高效的数据肯求与接纳，RocketMQ讯息队伍自界说了通讯公约并在Netty的基础之上扩张了通讯模块。

2.1 Remoting通讯类结构

2.2 公约谋略与编解码

在Client和Server之间完成一次讯息发送时，需要对发送的讯息进行一个公约商定，因此就有必要自界说RocketMQ的讯息公约。同期，为了高效地在网罗中传输讯息和对收到的讯息读取，就需要对讯息进行编解码。在RocketMQ中，RemotingCommand这个类在讯息传输过程中对所罕有据推行的封装，不但包含了所有这个词的数据结构，还包含了编码解码操作。

Header字段类型Request诠释Response诠释codeint肯求操作码，应付方左证不同的肯求码进行不同的业务处理当付反映码。0暗意得手，非0则暗意各式作假languageLanguageCode肯求方终了的谈话应付方终了的谈话versionint肯求方圭臬的版块应付方圭臬的版块opaqueint很是于requestId，在归拢个谀媚上的不同肯求象征码，与反映讯息中的相对应应付不作念修改径直复返flagint永别是庸俗RPC仍是onewayRPC得象征永别是庸俗RPC仍是onewayRPC得象征remarkString传输自界说文本信息传输自界说文本信息extFieldsHashMap肯求自界说扩张信息反映自界说扩张信息

可见传输推行主要可以分为以下4部分：

(1) 讯息长度：总长度，四个字节存储，占用一个int类型；

(2) 序列化类型&讯息头长度：一样占用一个int类型，第一个字节暗意序列化类型，背面三个字节暗意讯息头长度；

(3) 讯息头数据：经过序列化后的讯息头数据；

(4) 讯息主体数据：讯息主体的二进制字节数据推行；

2.3 讯息的通讯形势和经由

在RocketMQ讯息队伍中复旧通讯的形势主要有同步(sync)、异步(async)、单向(oneway) 三种。其中“单向”通讯形态相对毛糙，一般用在发送心跳包场景下，无需平和其Response。这里，主要先容RocketMQ的异步通讯经由。

2.4 Reactor多线程谋略

RocketMQ的RPC通讯给与Netty组件作为底层通讯库，一样也辞退了Reactor多线程模子，同期又在这之上作念了一些扩张和优化。

上头的框图中可以大要了解RocketMQ中NettyRemotingServer的Reactor 多线程模子。一个 Reactor 干线程（eventLoopGroupBoss，即为上头的1）负责监听 TCP网罗谀媚肯求，确立好谀媚，创建SocketChannel，并注册到selector上。RocketMQ的源码中会自动左证OS的类型选拔NIO和Epoll，也可以通过参数配置），然后监听真是的网罗数据。拿到网罗数据后，再丢给Worker线程池（eventLoopGroupSelector，即为上头的“N”，源码中默出嫁置为3），在真是实施业务逻辑之前需要进行SSL考据、编解码、逍遥搜检、网罗谀媚责罚，这些使命交给defaultEventExecutorGroup（即为上头的“M1”，源码中默出嫁置为8）去作念。而处理业务操作放在业务线程池中实施，左证 RomotingCommand 的业务肯求码code去processorTable这个腹地缓存变量中找到对应的 processor，然后封装成task任务后，提交给对应的业务processor处理线程池来实施（sendMessageExecutor，以发送讯息为例，即为上头的 “M2”）。从进口到业务逻辑的几个圭臬中线程池一直再加多，这跟每一步逻辑复杂性关系，越复杂，需要的并发通说念越宽。

线程数线程名线程具体诠释1NettyBoss_%dReactor 干线程NNettyServerEPOLLSelector_%d_%dReactor 线程池M1NettyServerCodecThread_%dWorker线程池M2RemotingExecutorThread_%d业务processor处理线程池

3 讯息过滤

RocketMQ漫衍式讯息队伍的讯息过滤形势有别于其它MQ中间件，是在Consumer端订阅讯息时再作念讯息过滤的。RocketMQ这样作念是在于其Producer端写入讯息和Consumer端订阅讯息给与分离存储的机制来终了的，Consumer端订阅讯息是需要通过ConsumeQueue这个讯息浪掷的逻辑队伍拿到一个索引，然后再从CommitLog内部读取真是的讯息实体推行，是以说到底亦然还绕不开其存储结构。其ConsumeQueue的存储结构如下，可以看到其中有8个字节存储的Message Tag的哈希值，基于Tag的讯息过滤崇拜基于这个字段值的。

主要复旧如下2种的过滤形势 (1) Tag过滤形势：Consumer端在订阅讯息时除了指定Topic还可以指定TAG七天 白虎，如果一个讯息有多个TAG，可以用