Databricks将其Delta Lake项目带到Linux基金会

 
由Apache Spark的原始开发人员创建的大数据分析服务Databricks今天宣布，它将在开放治理模型下将其用于构建数据湖的Delta Lake开源项目带入Linux基金会。该公司于今年早些时候宣布启动Delta Lake，尽管它仍然是一个相对较新的项目，但已被许多组织采用，并得到了英特尔，阿里巴巴和布兹·艾伦·汉密尔顿等公司的支持。
“在2013年，我们有一个小项目，在SQL中将SQL添加到Databricks […]，并将其捐赠给Apache基金会，” Databricks首席执行官兼联合创始人Ali Ghodsi告诉我。 “多年来，人们逐渐改变了他们实际利用Spark的方式，直到最近一年左右，它才真正开始使我们意识到，正在出现一种新模式，Spark的使用方式与我们以前可能完全不同。最初计划。”
他说，这种模式是公司将所有数据都放入数据湖中，然后对这些数据进行一些处理，其中机器学习和数据科学是显而易见的。但是他们也正在做与传统上与数据仓库相关的事情，例如商业智能和报告。 Ghodsi用于这种用法的术语是“ Lake House”。越来越多的Databricks看到Spark用于此目的，而不仅仅是替换Hadoop并进行ETL(提取，转换，加载)。 “我们已经看到越来越多的这种Lake House模式出现，我们希望加倍努力。”
除了即将推出的新功能之外，Spark 3.0即将启动，它不仅可以启用其中的更多用例，而且还可以显着加快其使用速度，并可以将新的可插入数据目录添加到Spark。
Ghodsi说，Delta Lake本质上是Lake House模式的数据层。例如，它支持对数据湖的ACID事务，可伸缩的元数据处理和数据版本控制。所有数据都以Apache Parquet格式存储，用户可以强制执行模式(并在需要时相对容易地更改它们)。
有趣的是，Databricks选择该项目的Linux Foundation，因为它的根源是Apache Foundation。 Ghodsi谈到公司为何选择Linux Foundation时说：“我们非常高兴与他们合作。” “他们运行着这个星球上最大的项目，包括Linux项目以及许多云项目。这些云原生的东西都在Linux Foundation中。”
副总裁Michael Dolan表示：“将Delta Lake引入Linux基金会的中立组织之下，将有助于依赖该项目的开源社区开发解决本地和云端大数据存储和处理方式的技术。” Linux Foundation的战略计划。 “ Linux Foundation帮助开源社区利用开放治理模型来实现广泛的行业贡献和共识建立，这将改善数据存储和可靠性的最新水平。”