查看原文
其他

Seata-php 半年规划

于雨 金融级分布式架构 2023-12-01



文|

赵新(花名:于雨 )

蚂蚁集团 Seata 项目开源负责人开放原子开源基金会代码贡献之星

郭成(花名:星北 )

Seata-php 项目共同发起人蚂蚁集团技术专家

刘岳健

Seata-php 项目共同发起人、Hyperf 开发组成员广东快客电子商务有限公司高级后端工程师

本文 5894 字 阅读 12 分钟


|导语|


通俗地讲,seata-php 是 Seata  的 PHP 语言实现,它实现了 Java 和 PHP 之间的互通,让 PHPer 也能使用 seata-php 来实现分布式事务。


Seata 是一个非常成熟的分布式事务框架,在 Java 领域是事实上的分布式事务技术标准平台。Seata 目前正在构建其多语言体系[1],整个体系包含了目前常用的五大类语言:Java、Go、Python、JS 和 PHP。目前的态势是后四种语言都依据 Seata Java 版本构建起对应语言的实现。


除了追求 Seata 多语言体系过程中因为开源价值要求构建  Seata 的 PHP 版本这个原因外,作为构建起 Web 1.0 时代技术基础 LAMP 架构中的要角,PHP 语言在电商和金融交易场景下依然被广泛使用。而这些场景对数据一致性要求非常强烈,这是构建 seata-php 最大的诱因,也是其技术价值所在。


PART. 1

Seata 架构与多语言体系


图片来自 Seata 官网


Seata 总体架构由如下角色构成:


- 事务协调器 Transaction Coordinator

简称 TC,维护全局事务和分支事务的状态,驱动全局事务提交或者回滚。


- 事务管理器 Transaction Manager

简称 TM,定义全局事务的范围,提交或者回滚全局事务。


- 资源管理器 Resource Manager

简称 RM,和分支事务在同一个应用,进行分支事务的注册,报告分支事务的状态,驱动分支事务的提交或者回滚。


从 C/S 通信架构角度来看,TC 是服务端,TM 和 RM 是客户端。TC 与 TM 以及各个 RM 之间使用 Netty 框架进行长链接通信。具体而言,Seata Java 版本的通信协议是在四层 TCP 协议之上又定义了一套私有的二进制双向通信协议,通信框架使用了 Netty。其他四种语言只要依据 Seata 的通信协议标准实现其通信功能,即可在多语言生态体系内任何语言之间进行通信和服务调用。


三个角色中,TM 和 RM 以 SDK API 形式供上层 APP 调用,而 TC 是独立进程部署,使用任何语言实现都可以。据说懒惰是程序员的第一美德,在 Seata Java 已经实现了 Java 版本的 TC 的情况下,多语言体系内其他语言就没必要再做重复工作,只需要构建其对应语言的 TM 和 RM 的 SDK API 包,与 Seata Java TC 通信即可。


PART. 2

Seata 与 PHP 技术


分布式事务技术是微服务技术体系的一环,构建 Seata PHP 首先需要选择其微服务技术平台,seata-php 目前使用的微服务框架是 Hyperf。


PHP 在业界以入门门槛低著称,目前常用的微服务框架有 Laravel 以及在其上构建的 Lumen。Laravel 框架的最大优点就是其生态丰富,各种组件应有尽有,如果 Laravel 可以和 Spring 框架类比,Lumen 就是 Spring Boot。但其缺点是性能堪忧,例如在普通的 8C 机器上,空跑一个只运行 echo 逻辑的 HTTP 服务,其吞吐量仅有 1K QPS。


Hyperf 框架是近年内出现的由国人基于 Swoole 开发的一个微服务框架,特点如下:


1. 类似于 Nginx,Hyperf 以多进程形式常驻内存,每个进程内都有一个弹性线程池。正常情况下 Hyperf 收到调用请求后,可以保证 1ms 之内分配服务线程,而 Lumen 的响应时间常在 10ms 左右;


2. 因为 Hyperf 服务常驻内存的特点,其稳定性好,资源利用率当然比以 CGI 机制运行的 Lumen 低很多;


3. Hyperf 的对请求的处理过程借鉴了 Go 语言机制,其 runtime 层面以异步方式执行上层的用户同步调用,相比 Lumen 其吞吐率高而延迟低。例如在同样环境下使用 Hyperf 实现同样的 echo HTTP 服务,可以轻松达到 60K QPS;


除了 Hyperf 自身稳定性与高性能外,依赖于 Hyperf 服务进程常驻内存的特点,TC 可以很方便的对seata-php 的 RM 发起二阶段事务处理,即作为 Server 的 Java TC 对作为 Client 的 PHP 版本的 RM 发起 RPC 回调。如果使用 Lumen 作为 seata-php 的微服务框架,几乎不可能实现这个技术点。


PART. 3

快速入门 seata-php


基于 Hyperf 微服务框架,seata-php 已经实现了 AT 事务模式,并给出了测试用例。本章节的目的是基于现有实现,让对 seata-php 这个项目感兴趣的同学能够快速入门 seata-php。


3.1--搭建 PHP 开发环境


使用 Hyperf/Box 这个工具能够快速创建开发环境,并且能够与其他自建开发工具链隔离,避免污染日常的开发环境。


3.1.1 下载 Hyperf/Box


# Macwget https://github.com/hyperf/box/releases/download/v0.0.3/box_php8.1_x86_64_macos -O box# Linux x86_64wget https://github.com/hyperf/box/releases/download/v0.0.3/box_php8.1_x86_64_linux -O box# Linux aarch64wget https://github.com/hyperf/box/releases/download/v0.0.3/box_php8.1_aarch64_linux -O box
sudo mv ./box /usr/local/bin/boxsudo chmod +x /usr/local/bin/box
# 在 https://github.com/settings/tokens/new 创建 token 后,配置到 box 中box config set github.access-token <Your Token>


注意


- 如果你是 Mac 用户首次使用的话,需要在“系统偏好设置”-->“安全性与隐私”中给 Box 工具进行授权;


- 已经测试过,X86 的 Box,可以在 M1 版本的 Mac 上使用;


- 使用 Box 时,创建 GitHub access token 权限需要 repo、workflow。


3.1.2 配置 PHP 环境


当 Box 下载好后,继续下载 PHP 8.0 版本


# 下载 php8.0box get php@8.0# 将 box 设置为 php8.0 版本box config set-php-version 8.0



3.1.3 下载 composer


# 下载 composerbox get composer



3.2--运行 seata-php


环境搭建完毕过后,找一个目录来存放 seata-php 项目的代码。


# 找个地方创建一个目录mkdir ./seata
# 进入到目录内cd ./seata
# 下载 seata 骨架包git clone https://github.com/PandaLIU-1111/seata-skeleton
# 下载 seata/seata-php 组件包git clone git@github.com:seata/seata-php.git
# 进入到 seata骨架包内cd seata-skeleton
# 执行 composer 更新项目内的组件包composer update -o
# 查看是否与 seata/seata-php 建立软连接ls -al vendor/hyperf/ | grep seata
# 查看命令执行后是否有以下内容...seata -> ../../../seata-php/ // 与 seata/seata-php 包建立软连接...
# 启动项目box php bin/hyperf.php start



至此,即可看到 seata-php 运行成功,在命令行中可以看到 seata-php 客户端与 Seata Java 服务端 TC 的交互报文。


3.3--项目代码风格


Seata-php 遵循 PSR-1 代码规范[2]

社区提供了一个类似于 Go 语言 gofmt 一样的代码格式化工具——composer cs-fix,具体使用方式是:


# 格式化某个文件composer cs-fix ${FileName}# 格式化某个目录composer cs-fix ${DirName}


3.4--测试用例


目前,seata-php 仅提供了单测用例,放置在项目 tests 目录中,可直接通过 composer test 命令执行这些单测用例。我们近期就会把这些单测用例配置在  GitHub action 上,用于测试每个提交的 PR。


下一步,我们会像 seata-go 一样补充集成测试用例,并配置在 GitHub action 上用于自动测试项目的每个 PR。


PART. 4

下半年规划


Seata-php 目前已有的工作仅仅是迈出了下半年长征的第一步,尚未达到生产可用的状态。下半年的整体目标是:


1.【事务模式】对齐将于 9 月份发布的 Seata Java v1.6.0 的 TCC、AT、SATA 和 XA 模式;

2.【测试用例】单测覆盖率达 70% 以上,并实现两种模式下的 Seata Java 中已有的集成测试用例的 PHP 版本;

3.【代码 samples】实现两种模式下的 Seata Java 中已有的 samples 示例的 PHP 版本;

4.【文档建设】构建 API 接口级别的详细说明文档;

5.【生产案例】实际生产用户 3 家以上;

6.【社区建设】培养 Seata Committer 5 人以上。


上述目标可以理解为 seata-php 社区的 KPI。为达成目的,有可分为“三步走” 的如下执行 plan。


4.1--发布一个可用版本


这是第一个阶段。我们计划在国庆节前后发布第一个 GA 版本,详细的技术点如下:


1. 实现 TM 与 RM

作为分布式事务的发起方,TM 在与下游的微服务应用在通信时,能够在 HTTP 协议与 gRPC 协议中,传递事务上下文,下游的服务也可以随时加入到事务中。


2. 实现分布式锁 API

用于避免业务数据在一阶段与二阶段之间,由于并发被修改,导致二阶段提交、回滚失效。


3. 实现 TCC 与 AT 模式

完全实现 TCC 模式。而 AT 模式依赖于具体的 DB 类型和 DB 版本,我们把 DB 限定为 MySQL v5.7,在此之上支持最基本的 INSERT 与 UPDATE 语句,基本可以完成大部分的实际应用场景覆盖。


4. 支持注册中心

支持注册中心的目的,是方便 TM 和 RM 对 TC 进行微服务发现。将会支持 File 与 Nacos 两种服务发现方式。


优先支持 File 服务发现方式。其好处是,在 K8s 环境下,可以通过环境变量或者是挂载 configmap,实现动态配置,不依赖人力变更。


其次支持 Nacos 作为注册中心的服务发现方式。目前,国内的阿里云、腾讯云、华为云等主流云厂商都支持 Nacos 注册中心,可以方便广大用户进行服务联通。


5. 其他

如自动化的单元测试,集成测试和项目的 samples。

社区已经将第一阶段涉及到的所有任务都作为 task 发布在 seata-php issue 上,可以方便的查看任务负责人,并及时跟踪项目进度(直接查看当前进度)


4.2--技术能力全面对齐


这是半年目标的第二阶段。这个阶段产出的版本,将会是一个比较完善的版本,能够覆盖绝大部分的业务场景,降低开发者在使用 seata-php 的门槛与成本。关键技术点如下:


1. 实现 XA 与 SAGA 模式

除了补齐这两个模式外,还将继续完善 AT 模式支持的 SQL ,能够做到支持大部分的 SQL 语句。


2. 支持配置中心

支持配置中心的目的,是方便拉取事务相关的配置。初步计划支持 File、Nacos、Apollo 三种配置方式。


3. 支持 gRPC

计划于 9 月份发布的 Seata Java v1.6,将支持 gRPC 通信方式。Seata-php 在第二阶段也将支持这一 RPC 调动方式进行事务传播。


4. 其他数据库

首先支持更多的 MySQL 版本,如 v8.0。并支持 PostgreSQL、OceanBase、Redis 等更多类型的 DB。


5. 事务异常处理

提升分布式事务防悬挂的能力,自动处理请求幂等、空提交、空回滚、资源悬挂等事务异常逻辑。

第二阶段的时间节点的 deadline 大概是在本年 11 月底左右。


4.3--社区建设


前两个步骤,主要集中在 seata-php 自身的技术能力建设上。到此,seata-php 在技术上可以认为已经成熟。


这两个步骤的推进,首先依赖于社区自身的健康发展,毕竟开源项目的事情需要社区同学来推进。当下社区由于雨同学负责发展壮大,项目总体由星北同学来负责推进实施,目前已有代码 Contributor 4 人。


当然,我们欢迎更多的同学参与到 seata-php 的代码建设中来。提交 issue 和 PR 时,建议尽可能详尽的描述相关细节。比如:


提交 bug issue 时


- 标题可以写:bugfix:NotFoundClass Redis with PHP version is 7.2


- 内容可以提交 bug 的详细情况、发生现象的详细情况、对应的堆栈信息、预期的情况、以及当前的环境情况、发生的事、修复意见、以及补充的信息、当前的环境情况等信息。


提交 PR 时


- 标题可以写:Feature: AT mode need to support pgsql


- 内容可以写明:这个 Feature 的意义,以及期望的用法,还包括其他相关信息等。


这一步骤与前两个步骤相生相伴,同步进行。


PART. 5

总结


Seata-php 有 Seata Java 这个标杆在,初期以推进代码进度为主。


作为一个开源项目,seata-php 的开源价值当然是在用户的生产环境使用起来,而生产用户也是社区建设的一部分。目前已有两家用户愿意在其开发测试环境对 seata-php 进行验证,帮助提升项目的稳定性、易用性和代码质量。


为保持项目和社区的健康可持续发展,开源项目的贡献者,不仅包含 coding 的代码贡献者,还应当包括进行文档贡献、产品宣传和品牌推广等方面的贡献者。我们将组织社区热心参与者在各大技术论坛发表博客,在语音、视频网站和技术大会上进行技术干货以及生产案例的推广宣传。欢迎对这些工作感兴趣的朋友加入社区钉钉群 44788115,与我们联系沟通。


【参考文档】


1.《Seata 多语言体系建设》:https://mp.weixin.qq.com/s/UwzscqfuCYtsSdWYj-t-uQ

2.《PHP PSR-1 代码规范》:https://www.php-fig.org/psr/psr-1/



   本周推荐阅读  




Seata 在蚂蚁国际银行业务的落地实践




Seata 多语言体系建设





深入 HTTP/3(2)|不那么 Boring 的 SSL




Go 原生插件使用问题全解析


继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存