一篇程序员必读的“史诗般文章”

这个过程中，我学到的最有益的事情是我们所构建这套系统的许多组件其核心都包含了一个很简单的概念：日志。 日志有时会叫成 预先写入日志（write-ahead logs）、提交日志（commit logs）或者事务日志（transaction logs），几乎和计算机本身形影不离， 是许多分布式数据系统（distributed data system）和实时应用架构（real-time application architecture）的核心。

不懂得日志，你就不可能真正理解数据库、NoSQL存储、键值存储（key value store）、数据复制（replication）、paxos、Hadoop、版本控制（version control），甚至几乎任何一个软件系统；然而大多数软件工程师对日志并不熟悉。我有意于改变这个现状。 本文我将带你浏览有关日志需要了解的一切，包括日志是什么，如何在数据集成（data integration）、实时处理（real time processing）和系统构建中使用日志。

目录

• 译序

• 概述

• 第一部分：日志是什么？

1. 数据库中的日志

2. 分布式系统中的日志

3. 变更日志101：表与事件的二象性（duality）

4. 接下来的内容

• 第二部分：数据集成

• 事件数据管道

• 专用的数据系统（specialized data systems）的爆发

1. 数据集成：两个难题

2. 日志结构化的（log-structured）数据流

3. 在LinkedIn

4. ETL与数据仓库的关系

5. 日志文件与事件

6. 构建可伸缩的日志

• 第三部分：日志与实时流处理

1. 数据流图（data flow graphs）

2. 有状态的实时流处理

3. 日志合并（log compaction）

• 第四部分：系统构建（system building）

1. 分解单品方式而不是打包套餐方式（Unbundling）？

2. 日志在系统架构中的地位

• 结束语

• 译跋