本场第一个Talk由Pulsar/BookKeeper PMC成员郭斯杰主讲。Apache Pulsar是下一代云原生分布式消息流系统。 Yahoo在2016年底将其开源,并于2017年六月将其捐献给Apache软件基金会进行孵化。在过去一年的时间内,Pulsar经历了8个版本迭代,于今年9月从Apache孵化器毕业,正式成为Apache顶级项目。
郭斯杰童鞋分享了什么是Pulsar,为什么Yahoo要重新去造一个分布式消息流系统,以及它跟其他传统老式消息系统的本质区别,和Pulsar开源后围绕其消息和存储两个核心打造的完整实时数据解决方案。其中郭童鞋重点分享了为什么Pulsar是一个面向容器化时代设计的云原生系统,包括统一队列和流的消息模型,存储和计算隔离的分层架构,以及对传统物理分区进行降维处理的分片存储。
关于Pulsar为什么是一个面向容器化时代设计的云原生系统,小伙伴们同时可以参考AI前线君整理的文章:比拼Kafka,大数据分析新秀Pulsar到底好在哪
2
Apache Pulsar在智联招聘的实践
随后,来自智联招聘平台架构组的工程师李鹏辉童鞋分享了Apache Pulsar在智联招聘的生产实践。
智联于2017年初就计划搭建统一的消息平台,起初他们通过在RabbitMQ之上的一层服务封装来实现底层存储的资源分派、单队列扩展、延时消息、定时消息等特性;在智联的一年多的实践中,智联增长的业务对于消息回溯、数据容灾等提出了更高的要求。鹏辉童鞋重点分享了他们在大家智联事件中心过程中进行选型的心路历程,以及为什么Pulsar的统一队列和流的消息模型能够很好地解决智联的应用场景。
3
Pulsar如何使用分层分片解决运维和使用的痛点
之后,来自Streamlio创始团队,同时也是Pulsar/BookKeeper PMC成员的翟佳童鞋,详细分享了Apache Pulsar如何利用其存储和计算分层,存储逻辑分片的架构来解决运维和使用消息系统中的痛点。
延展阅读:
1) Pulsar VS. Kafka(2): 以Segment为中心的架构 2) 理解Apache Pulsar工作原理
「由于视频数量限制,社区分享的视频回顾将在后续的回顾文章中推送」