这是一个从诞生第一天起就在 GitHub 上开发的开源项目,也是中国第一个非 Hadoop 生态的 Apache 顶级项目。它统一了阿里集团内部所有业务线的消息中间件,伴随着中国互联网发展数次迭代。InfoQ 与阿里云开发者社区联合出品的【开源人说】系列视频第一期正式上线,一起来探访开源消息中间件 Apache RocketMQ 背后的人和事!
开源人说:属于开源人的时光博物馆
从无到有,三个月近 6 万行代码
作为一款消息中间件,RocketMQ 的第一行代码诞生于 2012 年。
消息系统在阿里内部演进了多年。2007 年,淘宝技术架构进行了调整,将交易系统从单体应用变成分布式,也是在这个过程中产生了阿里巴巴第一代消息中间件 Notify。2007 年到 2011 年,一直是 Notify 作为最主要的消息中间件支撑淘宝天猫业务。
到了 2011 年,天猫的业务更大了,消息规模也日益增长。在“双 11”流量压力下,每年都有出现问题的风险,消息会延迟半天甚至一天以上,这就造成商家卖出去的商品,看不到买家已经买掉了。当时“双 11”每年的数据量都要翻番,如果当年“双 11”问题解决不了,那么可预见下一年的“双 11”还会遇到同样的问题。
而解决这个问题的本质是如何实现高速读写,但基于之前的架构,无法彻底地解决问题。那么,就需要设计一个全新的存储架构。
负责全新产品设计的任务,刚好落到了王小瑞身上,2011、2012 年的时候,整个淘宝中间件的人还特别少,绝大部分产品都是一个人完成,既要开发,又要运维,还要技术支持。消息中间件也是类似情况,总共就两个人,一个人负责 Notify,一个人负责全新产品的设计,而他恰好负责后者。
王小瑞介绍,“当时淘宝的场景是数据量和并发量都在爆炸式增长,对于基础软件的性能要求非常苛刻。我们希望做出来的消息产品能够逼近硬件的极限,像火箭一样快,就给它起‘RocketMQ’。因为用户也是自己,所以一定是找一个最优的方式。比如,运维成本要足够低,整个链路依赖要足够短。”
而开源,可以汇聚数百人、数千人、数万人一起来开发,也能吸收所有公司、行业、业务场景的需求,汇聚最大的生产力。因此,从第一天开始的时候,RocketMQ 就是托管在 GitHub 上,也就是说它的第一行代码就是对所有开发者和用户开放的,整个开发过程也是对用户开放的,这也吸引了特别多的开发者,大家帮助 Review 代码、测试 Bug,RocketMQ 在众多开发者的参与下进展迅速。
“RocketMQ 每一行代码都很关键,并发问题怎么解决、存储问题如何解决,我当时做梦的时候都在想这些问题该怎么解决。老板没有规定一个严格的时间点,说你必须在什么时间写完,但是我的想法是,我已经想清楚了整个架构,我在心里将它当作自己的作品,而非公司的任务,希望把它快速实现出来,能够让更多人用起来。”
大概在三个月的时候完成了第一个版本,整个 RocketMQ 开发的代码量非常大,第一个大版本大概有 4 万行到 6 万行。后面大概每个月能发布一个版本。
“双 11”的考验
项目最终是要上生产环境验证的。特别是在“双 11”,流量是平时的上千、上万倍,一些平时微不足道的细节会在这个时候被放大一万倍,放大之后可能就是个大故障了。
作为基础软件的研发,RocketMQ 团队面临着巨大的压力,担心有平时没想清楚的细节。而对能考虑到的情况,也需要在“双 11”来临之前做好各种预案。
第一年的“双 11”,RocketMQ 团队挑选了一些相对非核心业务上线验证。逐步地验证,并逐步修复。消息系统中每一条数据都会影响到一笔业务中的订单,如果有问题必须用非常严谨的态度争分夺秒、通宵达旦地解决掉。Apache RocketMQ 联合创始人,消息队列团队负责人林清山回忆道:“还好赶在流量高峰前修复好了,新的技术融合架构平安地度过了第一个双 11。双 11 之后将这些问题进一步完善修复好,然后再进行更全面的验证。到第二年融合架构就百分百平稳上线了。”
光“双 11”还不够的,因为“双 11”只能证明性能和稳定性都很好。但对于业务来说,可能更关注的是针对某些业务场景的功能,RocketMQ 是否具备这个功能。所以 RocketMQ 不断地被打磨,应用范围与场景也越来越广。
2015 年,RocketMQ 开始统一阿里巴巴消息中间件。
“一开始 RocketMQ 上线可能接入的没那么多,但是随着后面阿里巴巴业务蓬勃发展,现在可以认为阿里所有子公司、所有部门都已接入了 RocketMQ 中间件消息系统。”林清山表示。
开源见证成长
开源的 RocketMQ,一路吸引了众多志同道合者,越来越多的人、越来越多的公司都参与进来,所有的社区开发者拧成一团。
“阿里在大量使用开源的产品,我们也希望能为开源社区去回馈我们自己的一些研发成果。”于是,2016 年,阿里巴巴将 RocketMQ 捐赠给 Apache 软件基金会。2017 年,RocketMQ 正式毕业,成为 Apache 顶级开源项目。
一个由中国开发者发起的项目站在了世界的舞台上,受到全球的企业和开发者的关注。
在此之前,RocketMQ 面对的是整个中国的开发者。开源其实是一个打明牌的过程,“意味着所写的每行代码都能被所有人看到,写的不好的地方也会被所有人发现。”王小瑞表示,“我到阿里之前是做 C++ 开发的,因为 RocketMQ 是我第一个 Java 项目,代码风格有点像 C++。当时有人在微博上说,‘有个方法的参数的方式不是类继承,而是两个平行的类传递进来,这个设计好傻。’我后来发现这确实挺傻的,但也没觉得特别沮丧。开源意味着所有缺点和优点,全部暴露在阳光之下,这也是帮助项目快速进步的方式,是帮助产品演化、避免错误路线的一种方式。”
进入 Apache 软件基金会孵化则是进入了全球化开源协作中,RocketMQ 成为了全球开发者都能使用的技术。在孵化过程中,RocketMQ 收获了全球开发者的建议和大力支持。更重要的是,“全世界都能看到这个产品到底好在哪里,不好在哪里”。
开源是一种生产力的体现,由数百人、数千人、数万人一起协作开发,同时又吸收全世界所有公司、所有行业、所有业务场景的需求。
“对于开发者而言,我们认为开源最重要的是在解决世界上最难、最有挑战的问题。并且大家协作的项目能被越来越多开发者使用,这也就意味着说项目在这个领域是顶尖的。从某种角度而言,开源是一种最优秀的软件开发形式,通过开源形式能把项目做到最优秀。最终能形成一个标准,让所有人进行技术选型时不用再做抉择,反正选择标准就对了。”
RocketMQ 的未来
2021 年,RocketMQ 推出了 5.0 版本,完成从业务消息平台向“消息、事件、流”一体化融合处理平台的升级,并在数据通道、事件驱动架构、分析计算等场景不断产生新价值。
2022 年,批量消息索引、逻辑队列发布 RocketMQ-MQTT,RocketMQ-Connect。
通过十年的开源建设,今天的 RocketMQ 已经拥有超过 2 万个 GitHub Star,服务数十万开发者,Contributor 人数超 500,每天通过 RocketMQ 流转的消息超过十万亿条。
阿里巴巴开源委员会副主席丁宇表示,“未来整个数字世界的根基是开源和云计算。阿里巴巴将继续以开源的方式,切实践行开放共享好科技的理念,加强与社区的合作,加大投入和治理力度,把阿里巴巴的开源行动更加有系统、有组织、可持续的发展下去,为社会创造价值。”
今日好文推荐
继续阅读
阅读原文