关注飞总聊IT,了解IT行业的方方面面。
最近大数据,或者说Lakehouse两强Databricks和Snowflake又要开辟新战场了。
这个事情要从Iceberg说起。
Iceberg的创始人们搞了一个公司叫Tabular。然后,他们给Iceberg搞了一个REST Catalog的Open Standard。

简单来说,REST Catalog,和我们目前用的最多的HIVE Metastore强多了,有各种好处。
这个技术问题我们就不讨论了。

Snowflake all in Iceberg以后就搞了一个自己的catalog,叫做Polaris Catalog,6月3日的时候,宣布开源了。

Polaris Catalog当然是兼容所有的Iceberg Open Standard的。
毕竟Snowflake要的就是all in Iceberg。再怎么傻,Snowflake也不可能去all in 竞争对手的Delta Lake吧。

后面发生的事情就很狗血了。

Databricks最近刚开了Data + AI Summit 2024。Databricks有几件大事。

首先是,他们宣布收购Tabular。没错,做Delta Lake的买了做Iceberg。
其次,在summit期间,Databricks也宣布开源它们的Unity Catalog。
没错,Databricks也有自己的catalog 也开源了。
当然Databricks对待Iceberg的态度,肯定不是让其茁壮成长,消灭Delta。
实际上,Delta搞了一个叫做Delta Universal Format,简称UniForm。
这东西主要的作用是给Delta的数据生成Iceberg的Metadata文件,这样Iceberg客户端就可以访问Delta Lake的数据了。
一份数据,若干份Metadata,这就是今天Delta Lake对于这几个不同format 的解决之道。
所以Unity Catalog对Iceberg的支持,走的也是这一条路,而不是Snowflake那样实现了Iceberg的这些创始人们提的Open Standard。

因此,我们客观的说,Snowflake的Polaris Catalog,是一个纯血的Iceberg Catalog。而Databricks的Unity Catalog,除去其功能上的多样性以外,纯粹就对Iceberg的支持来说,显然,更杂交一些。
但是没关系啊,打不过还是打得过都不重要了,我已经把你给买了。Iceberg的创始人都融入到Delta Lake的公司里面去了。
所以Iceberg这个项目的未来到底会怎么样呢?是在之前Iceberg的人圈定的道路上继续发展REST Catalog,还是会被Delta Lake给融合了,最后成为Delta Universal Format的附属品呢?
如果你是Databricks的founder们,你希望Iceberg走向哪条路?
如果你是Snowflake,你又希望Iceberg走向那条路?
讲真的,Snowflake没有花大价钱,把Tabular给买了,反而让Databricks给买了,这个事情,对Snowflake来说,本身,就是棋差一着。

棋差一着,有的时候就是非常关键的一招了,有的时候这一招可能就是致命的。
也许Iceberg并没有办法作为一个独立的产品,继续沿着之前的道路发展了。相反的Databricks的影响力会进来,Delta Universal Format的这条路会被提起来。
以后不但Delta Lake可以产生Iceberg的Metadata,反之亦然。Iceberg也可以产生Delta Lake的Metadata。
所以,这个时候开源Polaris Catalog的Snowflake,毫无疑问就是吃了苍蝇一样,难受死了。
不仅仅现在难受死了,以后的日子,看起来也不会很好过。Databricks买买买还是很厉害的。
我最近写的专栏,讲职场的经验,尤其是一些其他地方不容易看到的真话,有兴趣可以订阅,24小时内可以退款
继续阅读
阅读原文