开放数据生态的时代来临了

　　如果你是开放数据的支持者，那么上周有关 Apache Iceberg 的新闻定会让你感到高兴。客户要一种开放的存储格式，而 Snowflake 和 Databricks 正在大力提供这种格式。

　　在Databricks宣布收购消息的前一天，Snowflake 发布新元数据目录 Polaris ，使客户能够在其数据中使用开放式查询引擎，此举逐步推动了Snowflake公司从一个专有云数据仓库转型为一个用于分析和人工智能的开放数据平台。

　　开放数据ECO的成员对此报以热烈掌声。其中最大的支持者是 Dremio，该公司开发了同名的开源查询引擎，是开放元数据目录 Project Nessie 的主要支持者，还为客户管理着一个基于Iceberg的Lakehouse。

　　“我认为，在表格格式上，Iceberg赢了。”Dremio 产品管理副总裁James Rowland-Jones说，“我们也认识到，当你没有获胜时，表格格式的分叉对你的业务没有帮助。”

　　Databricks的表格格式被称为Delta，是Dremio在2023年底对客户进行Lakehouse技术调查时使用最多的表格格式。Dremio 首席营销官Read Maloney表示，Delta 在总部署量方面排 名第一，而 Iceberg 则在未来三年的计划部署量方面遥遥领先。

　　“谁在推动这些变化?是客户。客户已经厌倦了被锁定，唯一的办法是确保你不仅采用开放的表格格式，而且还拥有开放的目录，”Maloney在上周于旧金山举行的Snowflake数据云峰会上接受Datanami采访时说。

　　“因此，现在客户有自己的存储，有自己的数据，有自己的元数据，然后ECO中的所有供应商都围绕这一点进行构建。客户现在可以说我想让那个供应商做这个，我想让那个供应商做这个，他们都在共同的生态系统中工作，”他说。“目录规范的通用性越强，每个人参与生态系统就越容易。”

　　“我们在倾听客户的声音。”Snowflake公司数据湖和冰山负责人Ron Ortluff上周在接受Datanami采访时说，“这就是我们的指导原则。”

　　开发可观察性平台的 New Relic 公司首席技术官 Siva Padisetty 说，开放数据的发展是计算堆栈持续解耦的标志。

　　“在存储和计算解耦之后，从存储到分析的所有层都开始类似地解耦，目前表格也正在经历这一过程。”Padisetty 通过电子邮件说，“总而言之，其重点仍然是数据堆栈优化，以及企业如何组合适当的存储、表格式和计算引擎，以最快的方式处理数据。”

　　Padisetty 说：“关键是在计算和存储方面保持供应商的不锁定、速度和灵活性，同时以最具成本效益的方式解决业务用例中的数据引力问题，而不需要多个副本”。

　　他说，拥有一个可处理海量数据并为多种用例(如 IT 遥测、数据湖和 SQL 分析)保持性能和安全性的集中式数据平台的价值至关重要。

　　“企业能够得到开源技术的附加值，同时保持数据的集中性。”Padisetty 继续说，用例的集中化将是一种趋势，企业应该为此做好准备。

　　Starburst 公司首席执行官兼董事长Justin Borgman说：“对市场和客户来说，这种竞争实际上创造了开放性。”Starburst 公司也提供基于Iceberg的Lakehouse服务。“Starburst就是这样一个受益者，现在能够说是Databricks与Snowflake之争中强有力的第三种选择。”

　　Borgman 重视着接下来的发展，尤其是围绕元数据目录的发展。正如开放表格式之争最终成为数据孤岛化的新根源一样(这具有讽刺意味，因为创建这些格式是为促进数据开放)，元数据目录也是锁定的潜在根源，因为它们是处理引擎和数据之间连接的中介。

　　“有了Tabular，Databricks的Unity目录就非常有可能占领更多的市场占有率，包括使用Delta Lake或Iceberg的企业。”Borgman通过电子邮件告诉Datanami，“Snowflake对Polaris的开源是与Databricks竞争的一种方式，它强调虽然市场正在迅速转向像Iceberg这样的开放存储格式，但像Unity这样的目录是锁定的新来源。我们大家可以推测，这将迫使 Databricks 最终开放 Unity 的源代码，但现在确定还为时过早。”

　　不过，从整体上看，过去一周的新闻对开放数据的客户和支持者来说是非常有利的。开放数据平台的势头正在形成，而且来得正是时候。

　　“IcebergECO发展迅速。我认为，在（Snowflake和Databricks）这两项声明的支持下，它将发展得更快，”Maloney说。“如果你是Iceberg社区的一员，现在正是进入下一个时代的好时机。”