查看原文
其他

[Recap] EMQ X Meetup 北京站 - 5/18

ApachePulsar 2021-10-18

作者:Susan

编辑:Irene




2019 年 5 月 18 日,EMQ 团队在北京举办了主题为基于 EMQ X 打造 5G 时代物联网(loT)平台和应用的技术沙龙,我司 CEO 郭斯杰受邀参与本次沙龙,与 EMQ 解决方案总监 Frank Wang 合作发表了 Apache Pulsar 在 EMQ 开源物联网平台产品 ActorCloud 上的应用主题演讲。

 

很多技术爱好者参与了此次干货满满的分享,进行了热烈的讨论,以下为本节内容导航。


郭斯杰

ASF member | StreamNative 联合创始人


本次分享中,郭斯杰介绍了什么是 Pulsar、Pulsar 的核心功能和生态组件,Frank 随后介绍了开源物联网设备管理平台 ActorCloud,以及 Pulsar 在 ActorCloud 上的应用场景:


  • Apache Pulsar 是什么?

  • Apache Pulsar 核心功能

  • Apache Pulsar 生态组件

  • 开源物联网设备管理平台 - ActorCloud

  • Apache Pulsar 在 ActorCloud 上的应用




Apache Pulsar 是一个发布-订阅消息系统,区别于传统的消息中间件,Pulsar 是带日志存储的分布式流存储的消息中间件。Apache Pulsar 是什么?一节包含以下内容:


  • 什么是 Pulsar?

  • 为什么做 Pulsar?

  • Pulsar 项目状态


Apache Pulsar 核心功能方面,Pulsar 主要在三个方面区别于传统消息中间件:从用户实用角度来说,Pulsar 是“队列+流”的统⼀消息模型;从架构角度来说,Pulsar 实现了存储和计算的分离;从存储角度来说,Pulsar 从物理分区降维到逻辑分片,实现不同程度的独立扩容。本次分享中,斯杰进一步介绍了 Pulsar 的概念,详细阐述了 Pulsar 多租户、统一的消息模型、存储计算分离、逻辑分片存储等几个特性。


  • Pulsar 和传统消息中间件的三个不同

  • Pulsar 概念

  • Pulsar 多租户

  • 统一的消息模型

  • 存储计算分离

  • 逻辑分片存储


Apache Pulsar 生态组件方面,本次分享主要从内置 Schema 管理、Pulsar Fundtions、Pulsar IO 和 Presto SQL 四个方面展开,最后分享了 Pulsar 生态的应用。


  • Pulsar Schema

  • Pulsar Functions

  • Pulsar IO - Connectors

  • Presto SQL

  • Pulsar 生态


Frank Wang

EMQ 解决方案总监



Frank 介绍了开源物联网设备管理平台 ActorCloud,以及 Pulsar 在 ActorCloud 上的应用场景,详细内容可查看文末视频(33分钟左右开始)。

 

ActorCloud 是一个开源的物联网平台,集成了物联网平台所需的设备多协议接入、基于 SQL 的轻量级流式物联网数据处理、可扩展的数据持久化等功能,并且向上提供了基本的设备管理 API 和参考 UI 实现,第三方可以基于此平台快速开发出满足定制需求的物联网平台。ActorCloud 的开源能力主要分为六个模块:


  • 连接与数据采集

  • 设备管理

      产品管理(数据流、功能点)

      分组管理

      证书管理

  • 应用管理

      应用权限可自定义

      提供丰富的 API:设备管理 API,数据查询 API,告警管理 API

  • 用户管理

      租户隔离、租户内用户可分权、分域

  • 基于 SQL 可扩展业务规则引擎

  • 大数据平台对接


其中,作为流处理引擎,Pulsar 替代了 Kafka ,在平台中承担数据处理的任务,下图是基于 EMQ 和 Pulsar 消息处理引擎的 ActorCloud 平台架构。



Apache Pulsar 是云原生新一代的消息流数据平台,它具有存储计算分离的先进架构、统一的消息消费模型、高可用和高可扩展性、以及丰富的企业级特性。Pulsar 的特性满足了物联网平台实时处理数据的需求。基于 Pulsar Functions 的能力,ActorCloud 平台可将物联网行业内的规则实时运用到消息处理引擎中。

 

ActorCloud 平台应用了 Pulsar 的一部分功能,其中包括 Pulsar 提供的基础 Window 支持、用于 Functions 实时增删改查的 API,还有无状态 Functions 带来的灵活的订阅模式,存储与计算分离特性带来的其他便利。Pulsar 在 ActorCloud 平台上的应用还可以进一步挖掘。

 

本次演讲中,Frank 还分享了 ActorCloud 数据处理样例和平台发布计划,ActorCloud 平台会在后续会开源 EMQ 基于 Pulsar Functions 的规则引擎。详情请参阅演讲 PPT 和视频回顾。


点击边框调出视频工具条https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=y08739kvg6b

Apache Pulsar 在 EMQ 开源物联网平台产品 ActorCloud 上的应用


更多关于 Pulsar 的干货和动态,请关注公众号 ApachePulsar。


点击“阅读原文”,获取演讲 PPT。

: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存