网易湖仓管理系统 Amoro 进入 Apache 孵化器
北京时间 2024 年 3 月 11 日，Amoro 项目顺利通过投票，正式进入 Apache 软件基金会（ASF，Apache Software Foundation）的孵化器，成为 ASF 的一个孵化项目。
根据 Apache 软件基金会的投票结果邮件显示，本次投票共包含 15 个约束性投票和 19 个非约束性投票，所有的投票均为赞成，没有弃权票或反对票。
长期以来，在 Hadoop、Spark、Flink、Trino 等开源、开放、扩展性强的生态项目的支持下，湖仓已成为企业数字化转型中的重要选型。然而，湖仓的复杂性和技术门槛导致企业落地成本居高不下。
Amoro 是建立在开放数据湖表格式之上的湖仓管理系统。2020 年开始， 网易大数据团队在公司内基于 Apache Iceberg 进行湖仓一体架构的探索，孵化了流式湖仓服务 Arctic。
2021 年，团队陆续发布 Arctic 0.1/0.2 版本，并在网易云音乐算法团队落地，后在网易传媒、网易有道等业务落地。次年 8 月，网易正式开源了 Arctic，项目受到了广泛关注并开始上线到生产环境中，用户逐渐转变为贡献者。
2023 年 8 月，由于对 Arctic 的期望以及项目长期发展考虑，Arctic 正式更名为 Amoro，并发布了新的 LOGO 和官网。今年 3 月，网易将 Amoro 捐赠给 Apache 基金会，提案通过了 Apache 基金会的投票决议。
自 2022 年 8 月对外开源以来，Amoro 不断有发现相同痛点的小伙伴加入到社区中，截至目前，Amoro 共有 19 个上线用户和 62 位贡献者。
Amoro 旨在提供开箱即用的湖仓管理能力，将湖仓的复杂性留给系统，简化给产品和用户。据介绍，Amoro 的功能主要包括：
- 提供统一的 Catalog 服务，对齐 Hive Metastore、Rest catalog 等开源标准，支持集成 Glue 等商业元仓，帮助引擎和产品构建流批统一的元仓；
- 提供全托管的湖仓维护功能，包括数据自优化、数据过期、快照清理、元数据同步等，以实现数据在不同引擎之间的高可用性和开箱即用。
- 支持对接不同的数据湖格式，包括 Apache Iceberg 和 Apache Paimon，以及一种对流批一体场景更加优化的 Mixed 格式。
- 提供开箱即用的管理工具，包括 DSL 指令、Metrics、Dashboard 等。
“让湖仓不再成为互联网企业专宠”
根据 Amoro 团队介绍，Amoro 的愿景是依托于 Apache Iceberg、Apache Paimon 等新型数据湖表格式，持续打磨湖仓管理系统的定位和开箱即用的功能，为大数据产品和用户带来以下价值：
- 降低湖仓应用门槛，融入现代数据栈，为围绕湖仓构建的大数据产品极致瘦身，让湖仓不再成为互联网企业的专宠。
- 通过管理系统对维护任务的全托管能力，实现数据湖的自治，让数据治理变得简单和开箱即用。提供全托管维护任务的扩展能力，让湖仓管理变得更为便捷。
未来，Amoro 社区将专注于以下方面：
- 打磨全托管 Function 的框架和能力，持续优化 Built-in Function 功能，突出数据自优化功能与对标方案上的性能和成本优势。
- 以社区驱动的方式持续完善 Paimon、Iceberg 的对接能力，按需求对接新的 Format。
- 面向管理的各类 DSL 指令实现，帮助产品更好地集成。
- 完善 Metrics 以及其他管理功能。
相关链接：
Amoro 贡献者列表:
https://github.com/NetEase/amoro/graphs/contributors
Amoro 2024 roadmap:
https://github.com/NetEase/amoro/issues/2534
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明：以上内容为用户推荐收藏至CareerEngine平台，其内容（含文字、图片、视频、音频等）及知识版权均属用户或用户转发自的第三方网站，如涉嫌侵权，请通知[email protected]进行信息删除。如需查看信息来源，请点击“查看原文”。如需洽谈其它事宜，请联系[email protected]。
版权声明：以上内容为用户推荐收藏至CareerEngine平台，其内容（含文字、图片、视频、音频等）及知识版权均属用户或用户转发自的第三方网站，如涉嫌侵权，请通知[email protected]进行信息删除。如需查看信息来源，请点击“查看原文”。如需洽谈其它事宜，请联系[email protected]。