Apache Spark在海致大数据平台中的优化实践

Original 翟士丹大数据技术与架构 2021-10-21

收录于话题 #大数据成神之路 175个内容

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！

暴走大数据点击右侧关注，暴走大数据！

本文来自由海致网络技术公司翟士丹分享。专注于大数据技术领域，Apache Spark Contributor，有丰富的Spark SQL引擎调优经验。

海致全称海致网络技术公司，成立于2013年7月。作为一家技术驱动的创业型公司，海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专家。

产品架构如下：

平台的整体技术架构如下：

多数据整合，形成统一的数据口径：

灵活易用高性能的可视化探索式分析：

数据同步：

OLAP任意多维分析引擎实现：

数据建模系统实现：

机器学习实现：

性能及稳定性优化：

欢迎点赞+收藏+转发朋友圈素质三连

文章不错？点个【在看】吧！ 👇

: ， . Video Mini Program Like ，轻点两下取消赞 Wow ，轻点两下取消在看