罕见！谷歌50位大神复盘存储20年Bigtable

重新起个标题，可能是：为啥20年前的设计，撑住了万倍增长？

谈“我造了个新系统”的论文到处都是, 然而讲“我让一个系统运行了二十年, 它是如何存活下来的”, 几乎不存在。这篇的价值在于后者, 它阐述的是“长期主义”自身。

谷歌五十多位工程师所撰写的一篇极其罕见的“历史复盘稿”是《Years of 》, 它并非讲述怎样构建新系统, 而是阐述一个二十年前的存储系统, 在其规模增长至10EB、70亿QPS的进程中, 核心架构几乎未曾改变。依我所见, 它的答案极有可能是这样一条主线, 把协调、计算、容错全部从"写入路径"之中移除, 抛到后台进行异步处理，以使前门始终保持干净, 而这所有的基础, 是20年前那一个: “计算与存储分离、让状态可移动”的赌注, 它在当时并没有省下多少事, 却为20年后的每一项新功能预留了空间。

我觉得全篇之中特别值得摘抄下来的那一句, 单单复制这件事本身没错, 垃圾回收这件事本身也没错, 然而二者合在一起后却会在短时间内造成数据丢失。有时问题并未消失, 于你而言, 当有一个新增的后台机制时, 就必须将它与已存在的每一个机制都对照一番瞅瞅到底是如何具体相关的。此句话把分布式系统最为困难的要点给点明了, 困难之处并非单个部件能够完美运行或说是无误, 而是所有部件“紧密关联”或谓结合起来之后它们整个却还依旧无误从而达成精准运行精准工作。越是处于分散隔离的异步状态, 越是进行了功能上的解耦, 这种“潜藏的看不见摸不着却又实实在在有着的相互影响”就会越发造成不良情况最终导致致命后果。

它具备着最为诚实且最为深刻的一点, 在于认可这条航道里存在的暗礁, 复杂度并非会消失不见, 只是会发生位置变动, 每一个后台机制仅凭自身去看都是正确无误的, 然而聚集在一起却极有可能悄然遗失数据, 可是这些“交互”情况, 恰恰是最容易被遗漏掉的。这篇内容之所以显得弥足珍贵, 原因就在于它所讲述的并非是“我的设计有多么巧妙”这种事情, 而是“历经二十年的运行历程, 哪些地方做对了、哪些地方险些遭遇失败”, 像这类内容, 很少会有人愿意去撰写。