dotScale 2015 - John Graham-Cumming - 我有 10 万亿个问题,但日志记录不是其中之一

dotScale 2015 - John Graham-Cumming - I got 10 trillion problems, but logging ain't one

频道:dotconferences · 时长:25:17 · 发布:2015-06-25 · 播放:6791

在 YouTube 观看

简介

Cloudflare 的 John Graham-Cumming 在 dotScale 2015 上谈论每月处理约 10 万亿行日志。演讲涉及 Cloudflare 的硬件、日志堆栈以及在 Nginx 中使用 Lua。

HN 为什么推荐

主要被引用为 Cloudflare 架构细节的来源,例如基于 LuaJIT 的请求检查和请求量。

我在那里发现了一个中等老旧的 CloudFlare 视频,并有了一个相当大的 TIL 时刻。 — HN, 2016

分布式系统 · 网络与互联网基础设施 · 云、DevOps 与可靠性

中文字幕节选

[掌声] [音乐] [掌声] [音乐] [掌声] 嗯,我在一家叫Cloudflare的公司工作,这是一家 初创公司,或者现在它已经大到我们不该再叫它 初创公司了。嗯,我们有一个日志问题,嗯,我们曾经有一个日志问题,现在 没有了,但我们有10万亿个其他问题,那就是我们的日志行。 为了让大家了解Cloudflare是做什么的,我们有三个办公室,一个在 伦敦,一个在旧金山,这里写圣何塞是因为我们在那里有服务器, 还有一个在新加坡。但我们运营着数千台物理机器,嗯,尽管是 云服务,我们实际上并不使用云,我们在世界各地使用硬件。 所以我们在各地都有数据中心,嗯,美国、北美、欧洲、 远东,然后,嗯,显然在南半球,所以南美、非洲 和澳大拉西亚。如果你访问很多 热门网站,就会去到那些数据中心。比如,我想你们中有些人去过Reddit,嗯,当你 用浏览器访问Reddit时,你会碰到其中一个数据中心, Cloudflare会检查数据看你是否是攻击者,并加速它,所以 它会根据你的设备选择合适的协议,它缓存数据,嗯,所以 它能够从缓存中提供内容,而不是直接从Reddit 本身,例如。嗯,然后它会生成一条日志行,那条日志行 会被发送回我们在夏延山绝密数据中心,嗯,其实 并不是真的在夏延山,但我用那个作为数据中心的秘密地点。 有一条日志行包含一些信息,关于有人访问了这个 网站,嗯,可能有一次攻击,如果有某种攻击,如果你 在做一些恶意的事情。嗯,时间信息,关于我们花了多长时间 做所有这些事情等等。当然这一直在发生,所以事实上 有成千上万条这样的行一直从世界各地 涌向我们,看起来像核战争一样。而 运营那个数据中心、查看日志行的人有这个问题。 嗯,基本上日志行不断涌来,而且来得非常非常非常 非常快,所以它们的速率大约是每月10万亿条。 所以给大家一个概念,这个数字太大了,很难理解,它 实际上是每秒约400万条。所以每秒有400万条日志行 从世界各地到达那个数据中心,基本上24小时不间断,因为 不幸的是,人们太阳出来就醒来,开始使用 互联网,给我们发送日志行。我们内部开玩笑说我们实际上是一家日志 处理公司,顺便运营CDN和安全服务,因为嗯,我们 最大的问题之一就是如何处理这些日志。现在我们说日志处理 公司,因为我们实际上并不存储它们。所以有不存储它们的理由, 第一个原因是大小。嗯,给大家一个概念,那是每天400太字节, 嗯,也就是每年46拍字节,而且那是 压缩后的。嗯,所以我们根本负担不起这样做。嗯,在1985年, 用软盘的话,那是每年1200亿,220亿张软盘。所以我们有,我们有,我们 没有足够的软盘来装这些东西。嗯,第二个原因是隐私。嗯, 大多数人不希望我们存储日志,对吧?他们不想实际上有 关于你知道的IP地址在任何时候看到什么的日志。事实上我们 也不想,因为那样没人能来找我们说给我们所有日志,因为我们

HN 上的讨论

我在那里发现了一个有点年头的 CloudFlare 视频,并有了一个相当大的 TIL 时刻。在 [LINK] 上读到“LuaJIT 是最快的动态语言之一”等等是一回事…… ……但得知每一个 CloudFlare 请求——每秒 400 万个——都经过基于 LuaJIT 的攻击检测系统,则完全是另一回事。哦。视频:[VIDEO](来自 [LINK])在链接的帖子中找到:[LINK] — i336_, 2016-01
> 就算把计算机技术这部分业务不是他们的核心能力这一点放在一边,定制硬件也很难。嗯。说得好。(也许我把楼主吓跑了,嘿。)> 除了谷歌,有没有哪家大公司掌握了这个?这个嘛,我当然不知道。我听说 Cloudflare 的系统是让广达代工的,某种程度上算是“从零开始”。想必中间有一些决策过程,想必广达处理了所有跟“为什么开发板样例又坏了 #51383”相关的事情,并交付一个差不多完成的产品(也许连外壳都做好了)。我这个知识的参考点是 [VIDEO](2015)。关于 SAS,也许超过某个订购量(或者任何类似能暴露大规模运作的迹象)之后,市场就会期待某些行为,比如要求增值服务、只向一家供应商下单,或者其他会形成锁定的事情。我当然完全不知道[这种想法是否合理]。你关于规模化商品化的观点听起来相当合理。(你显然比我有经验得多,而我的经验基本是零,嘿。)至于对摘要和结论的怀疑,嗯,(一个不太相关的例子… — exikyut, 2018-06
作为参考,两年前 Cloudflare 每秒处理超过三百万个请求[0]。我只能想象这个数字已经增长了很多。0: [VIDEO] — Artemis2, 2017-03
你提出的观点非常合理,我没有数据来回答你提出的问题。这可能是缺乏研究,也可能是 CF 没有发布。我预计是 20/80 的非研究/不可用的混合。我的理解是,WAF 检测诸如 SQL 注入和 XSS 之类的简单东西,视频还提到它检测到了 ShellShock 等等(是的,这是很久以前的事了)。视频中大约 11:25 处口头提到了“数千个正则表达式”。我就是从那里得到这个信息的。大约 19:30 处提到了一些关于硬件的细节:- E5-2630v3(16 核,32 线程但超线程关闭),128GB 内存,10Gbps - 由 Quanta 定制:每 2U 4 个节点(每个节点像半宽 1U 高),中间有冗余 2xPSU - 40 台机器运行 Kafka 存储 400TB 日志数据(摄入 @ 15Gbps),每节点 50TB 磁盘 - 5 台机器运行 CitusDB(分片 PostgreSQL)以支持… — i336_, 2016-04
几乎完全用 Lua 重写了 Nginx 中杂七杂八的 C、Perl 和其他自定义部分,并在此过程中聘请了其维护者章亦春,这是扩展 CloudFlare CDN 并确保每个节点尽可能高效运行的重要步骤。更多内容来自 dotScale 2015:[VIDEO] — mtourne, 2015-07

相关视频