Python 的大规模应用 - Stephen Simmons, Neil Slinger
Python at Massive Scale - Stephen Simmons, Neil Slinger
频道:PyData · 时长:44:45 · 发布:2018-05-28 · 播放:10005
简介
在 PyData London 2018 的演讲中,讲述了摩根大通如何在十年间将其 Athena Python 平台扩展到约 3500 万行代码和数千名开发者。内容涵盖该规模下的基础设施、工具和文化,用于分析和可视化。
HN 为什么推荐
被引用为关于 Python 大规模应用的权威公开记录,尤其是在讨论 monorepo 和银行 Python 时。
4500 名开发者每周提交 2 万次。代码库有 3500 万行代码。 — HN, 2020
Python、Ruby 与脚本语言 · 软件实践、开源与职业
中文字幕节选
谢谢大家,这里有两个名字,不幸的是Neil 今天早上得了六分,整个早上都在给我发进度报告,说他 越来越严重,在享受了他三岁儿子的生日派对后, 他就自己上床睡觉了,所以今天的演讲 将是关于我们在摩根大通运行Python基础设施的经验, 大规模的基础设施,演讲的最后部分本来是一个现场 编码演示,由Neil来做,但他不会在这里做这个, 所以我不会尝试他的现场编码,我会对他要展示的幻灯片 给出一种印象派的观点,然后我会快速切换到你们可能有的问题, 首先,介绍一下摩根大通, 摩根大通是世界上最大的银行之一,在英国 并不是一个家喻户晓的名字,就银行而言相当大, 那里有几个不错的整数,我想这个数字的好系统 是收入,去年是一千亿美元,所以相当大, 银行在全球有二十五万二千名员工,所以那是一个非常 大的公司,现在在技术方面,大多数人不会把摩根大通看作 一家科技公司,也许对你们来说,因为你们更接近这些 类型的事情,但摩根大通有四万四千人从事技术工作, 技术的总预算接近一万亿十亿美元, 所以是非常大的技术组织,在其中Python非常非常广泛 使用,我想过列出一些银行内使用Python的地方,但 基本上它被用于银行的大部分部门,解决几乎每一个可以想象 的问题,所以我不会多谈,而是谈谈我们实际上 如何在日常工作中使用Python,所以今天我要涵盖的主题 将聚焦于一个更清洁的然后是一个 基于Python的交易平台,它在投资银行中广泛使用, 在摩根大通,我在Athena核心团队工作,所以这是一个大约 一百四十人的团队,为那个交易平台构建核心基础设施, 然后我会继续描述我们实际上如何 让平台在我们所做的规模上工作,代码库是 目前三千五百万行代码,所以相当大,然后 触及一些细节,所以Athena是 一个始于2006年的平台,最初目标是成为 股票期权的风险管理框架,所以非常 被构想为一个从零开始的项目, 以某种方式做事,使开发者非常高效,以满足 交易复杂衍生品的交易业务的需求,起点 是股票期权,用户是股票期权的交易员, 在一定程度上还有那里的销售团队,为交易台的需求定制 平台的工作由小团队完成,小型的交易台对齐 团队,所以通常会有四五个开发者的团队与 几个量化分析师一起工作,他们可能构建比如外汇期权特定的 功能或外汇现金或贵金属,我曾经管理贵金属 技术团队,我们在伦敦和纽约之间有五个人,这个 功能都是使用底层平台Athena构建的,由 Athena核心团队构建,现在整体的开发方法100%专注于 快速应用开发,当你开始一个全新的项目时, 说我们要做像构建交易平台这样雄心勃勃的事情,你 进入一个基本上说我们认为你做不到的业务,加上很多 其他技术团队说我们认为你也做不到,因为如果你 成功了,你会取代我们,所以你开始一个小型的臭鼬工厂项目, 然后疯狂地运行,试图构建足够的功能来证明 你实际上能做到,你必须在这个过程中建立信誉,所以
HN 上的讨论
正如timsworkaccount的评论所说,这绝对是摩根大通的Athena。对于那些感兴趣的人,我在2018年PyData UK上做了一个关于Athena的演讲,名为“Python at Massive Scale”。4500名开发人员每周提交2万次代码。代码库有3500万行代码。视频在这里:[VIDEO] 它涵盖了Athena的起源、用途、应用架构、基础设施、开发工具和文化。 — stevesimmons, 2020-07
>Python 作为一种(某种程度上)跨平台的脚本语言,表现得非常出色。Python 远不止是一种脚本语言。我记得几年前参加过这个演讲 [1],讲的是 JPMorgan 拥有 3500 万行代码的 Python 代码库。如今,Python 被用来构建非常大型的软件,我不认为性能会是一个次要问题。对于任何通用语言来说,它都应该始终排在前三,因为这直接转化为开发速度、时间和金钱。[1] [VIDEO] — Barrin92, 2022-05
请看我做的一个 PyData London 演讲 [1],主题是“大规模 Python”,讲的是 JPMorgan 的 Athena 交易与风险管理系统,用于外汇、大宗商品、信用、股票等交易。当时,Athena 有 4,500 名 Python 开发者,每周提交 20,000 次。另见最近一次关于“Bank Python 口述史”的 HN 讨论 [2]。[1] [VIDEO] [2] [LINK] — stevesimmons, 2022-01
好东西!为了了解摩根大通的Python,我在PyData London做了一个演讲“Python at Massive Scale” - [VIDEO] — stevesimmons, 2021-11
我在摩根大通的Athena工作了8年,非常喜欢它。看到Python处于大宗商品、外汇、信用等交易、风险和交易后处理的核心,是一种非常棒的开发者体验。当我离开摩根大通时,全球有4500名开发人员每周向Athena代码库提交2万次代码。(我为此做了一个PyData演讲[1]以了解更多细节)。唯一的缺点是从Py2.7到3的过渡延迟了;我离开时正好开始。 [1] [VIDEO] 这 — stevesimmons, 2021-11
相关视频
- 高速公路如何几乎摧毁阿姆斯特丹 - Plan Jokinen · Not Just Bikes · 3:25
- Ruby Conf 12 - Y Not- 函数式编程历险记 by Jim Weirich · Confreaks · 53:21
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- RailsConf 2014 - Sandi Metz 谈所有的小细节 · Confreaks · 38:47
- 事件循环到底是什么?| Philip Roberts | JSConf EU · JSConf · 26:52
- 🚀 TDD,哪里出错了(Ian Cooper) · DevTernity Conference · 1:03:55
- 如何设计好的 API 以及为什么它很重要 · Google TechTalks · 1:00:19
- 时间与时区的问题 - Computerphile · Computerphile · 10:12
- Bret Victor:编程的未来 · Joey Reid · 32:55
- RailsConf 2016 - Turbolinks 5:难以置信它不是原生的! by Sam Stephenson · Confreaks · 37:37
- “Uncle” Bob Martin - “编程的未来” · Paul Stringer's Mobile Tech · 1:18:21
- Brian Goetz - 管理:令人清醒的部分 · ClojureTV · 1:03:30
- Ruby Midwest 2011 - 主题演讲:迷失的架构岁月 by Robert Martin · Confreaks · 1:06:38
- JavaScript:好的部分 · Google TechTalks · 1:03:47
- Tim Ewald - Clojure:手工工具编程 · ClojureTV · 58:39