深入剖析 Delta Lake:详解事务日志

  • 时间:
  • 浏览:1
  • 来源:大发5分快乐8APP下载_大发5分快乐8APP官方

Delta Lake 的事务日志(简称 DeltaLog)是有五种有序记录集,按序记录了 Delta Lake 表从生成伊始的所有事务操作。

Delta Lake 基于 Apache Spark 构建,用来支持多用户并肩读写同一数据表。事务日志作为单一信息源——跟踪记录了用户所有的表操作,从而为用户提供了在任意时刻准

编译:辰山,阿里巴巴计算平台事业部 EMR 高级开发工程师,目前从事大数据存储方面的开发和优化工作

事务日志(Transaction log)是理解 Delta Lake 的另另1个关键点,越多 Delta Lake 的重要社会形态也有基于事务日志实现的,包括 ACID 事务性、可扩展元数据补救、时间回溯等等。本文将探讨哪几种是事务日志,如何在文件层面实现,以及如何优雅地补救并发读写的什么的问题。