查看原文
其他

手淘TMQ云上性能测试解决方案,解放你的双手

韩锷 阿里巴巴技术质量 2022-11-11

阿里QA导读:10月20日,阿里云移动研发平台EMAS应用质量管理沙龙,首站杭州取得圆满成功!此次沙龙邀请到淘宝高级技术专家韩锷,阿里云技术专家尚仁、玄工、宝文、州牧和大家进行分享交流。现场围绕无线性能测试解决方案、无线App线上质量监控实践、云原生移动DevOps解决方案、热修复服务展开分享交流。阿里云EMAS联合手淘技术,现场重磅发布了TMQ & MQC无线性能测试解决方案,方案基于上云场景进行共建,打造出通用的高标准性能分析工具。

前言


随着互联网的蓬勃发展,APP的快速用户增长已经度过了蜜月期,每个行业的竞品软件都多达数十甚至上百款。如何在众多竞品软件中脱颖而出,保持份额增长?除了业务上的创新外,用户体验也至关重要。


从淘宝的用户反馈中我们发现“卡顿”、“反应慢”、“发热”、“白屏”的反馈都特别多。可以看出,用户在使用软件的过程中,除了基本功能,对软件体验也有越来越高的要求。另外,从用户数据分析:页面响应时长直接影响页面的跳失率,应用的流畅度直接影响用户使用时长,发热、耗电等现象会导致应用打开频次降低。


性能测试成为客户端质量来说越来越重要的一环,手淘为解决性能测试,进行了不断的工具迭代。同时阿里云面向的B端客户也遇到了类似的问题场景。因此,手淘和云智能团队决定合作,建立一套通用的新一代无线性能测试解决方案,并于10.20正式发布。

性能测试的痛点


  • 测试工具纷繁复杂,adb、Android studio、Instruments、N多其他内外部工具,每次拉群确认口径。

  • 不同工具数据不一致,自动化和手工测试数据不一致,经常花式复测对数据

  • 两端测试工具体验不一致,很多不熟悉客户端的同学工具学习成本高,学完Android还要学iOS

  • 不同机型数据差距大,没有通用机型无法产出可对比报告

  • 常规测试工具需要人工同步记录数据,没有可视化报告

  • 性能测试有竞品对比的诉求,需要同时产生自己应用的数据和竞品数据

  • 部分同学windows电脑,无法使用xcode进行iOS性能测试

通用性能测试需要解决的问题


  • 通用性:不root,不越狱,不侵入

  • 跨平台:mac, Win, Linux, 云测

  • 易用性:一键安装环境,学习成本低,双端体验一致,持久化报告

  • 稳定性:自身性能损耗小,数据准确

淘系性能测试演进之路


性能测试1.0:掌中测

  • 这是一套做在客户端端测试包上的随身测试工具

  • 优点:简单便捷,打开应用即可测试。

  • 缺点:

    • 很明显测试工具与被测应用在同一个进程下,对被测应用性能有损

    • 测试数据需要人工记录,无法持久化对比。

    • 工具只能集成到debug包,干扰较多,无法测试正式包性能

    • 无法测试其他竞品应用

性能测试2.0:TMQLab

  • 手淘性能测试桌面工具

  • 优点:

    • 采用非侵入方案,可以使用release包进行测试

  • 缺点:

    • 部分非客户端同学(比如H5开发),外包同学,本地甚至没有Java环境。

    • 验收需要特定机型测试,用户本地没有该设备

性能测试3.0:新一代无线性能测试解决方案

  • 基于远程真机平台的深度性能测试解决方案

  • 解决了TMQLab的环境和设备问题,测试更稳定

  • 采集能力云上通用,提供给集团更多平台,也提供给外部客户使用


其优点如下:  

  • 用户完全不需要准备环境,用户只需要使用账号登录到云真机平台即可测试。

  • 双端的测试体验一致,Android iOS双端性能测试再无平台门槛

  • 使用Android、iOS双端非侵入方案,无需对被测应用进行任何定制改动

  • 云上的测试用例和测试报告管理,所有历史数据均可回溯和对比

  • 测试手机部署在专业的实验室环境下,设备和网络稳定性都得到了非常大的提高   


效率提升:

  • 初次环境安装时间从1天降为0,包括Android Studio/Instruments等专业工具,以及java/adb/xcode等基础工具,且无需升级维护

  • 减少手机环境准备时间,开发者选项、合适的数据线都不需要了

  • 云真机平台的大量设备让你更轻松的找到合适的手机

  • 自动生成的可对比的性能报告,节约了大量数据统计时间。


用户再也不需要在电脑上装各种这些基础工具,产品运营同学都可以玩转性能测试。测试环境准备时间从1 day降为0,单测性能验收时间从3h降为15min。


这样一套云上性能测试方案,可以满足阿里内部和外部客户的性能测试需求


新一代无线性能测试架构


淘系联合阿里云的新一代无线性能测试解决方案,将性能测试能力封装成通用sdk,通过agent-service部署在宿主机上

图1-云上性能测试部署方案

图2-PerfSDK架构图

阿里云应用质量管理主题沙龙现场


在10.20的阿里云应用质量管理主题沙龙现场,TMQ无线性能测试解决方案作为核心产品第一个进行发布。现场反应热烈,很多参会者提出各种各样的技术问题,远远超过预期,这也侧面说明性能测试是B端客户亟需的能力。


关注「阿里巴巴技术质量」阅读更多





您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存