VisiData 闪电演示 @ PyCascades 2018

VisiData Lightning Demo at PyCascades 2018

频道:Saul Pwanson · 时长:4:50 · 发布:2018-01-25 · 播放:41011

在 YouTube 观看

简介

VisiData 的五分钟闪电演示,这是一个用于探索和操作数据的终端工具。它使用两个月的纽约市 311 投诉数据来深入分析、在虚拟地图上绘制点并保存选定的行。

HN 为什么推荐

HN 推荐它是了解 VisiData 能做什么的最快方式,因为看到它工作比阅读相关文章更清晰。

visdata 真是令人脑洞大开...至少,这是我第一次看到演示时的感受 — HN, 2021

Python、Ruby 与脚本语言 · 测试、调试与开发者工具 · 数据科学与统计

中文字幕节选

你可以开始了 大家好,那么 有没有人曾经不得不使用某种表格数据?举手表决一下,好的,有几个人 有人更喜欢使用终端吗?好的,有没有人用过grep cut aux sort unique 处理CSV文件?好的,没错,我也这么做过 很多次,我有点受够了,所以Ivan做了一个叫VisiData的工具, 过去一年我休假期间一直在开发,它是用Python 3写的, 是开源的,现在在PyPI上,正在通过apt获取,它支持 很多格式,Excel文件、CSV文件和JSON,它可以通过Python 3扩展, 这就像是数据领域的瑞士军刀,这是一个闪电 演示,所以我有一个数据集,是两个月内311服务 投诉的数据,来自纽约,现在正在加载,你可以看到它在 异步加载,在角落里,你可以做各种有趣的事情,比如 你可以用减号键隐藏列,如果你想的话,比如我们 有一个创建日期,让我基于这个拆分一下,有日期和时间,我只 想要日期,所以我拆分了一下,这里就有了另一列,只包含 日期,我想对这个日期做频率分析,比如我按 shift F,然后就这样,它异步地统计,然后如果我隐藏这些 列,我们可以把这个窗口放大一点,你可以看到这些内容 如果我们按日期排序,那么你可以看到这个简单直方图的基本模式 对吧,所以不知为何有一个大约七天的周期,我不知道,让我们 看看这里,所以如果我输入这个日期列作为日期,我把它重命名为创建日期, 然后我可以用它作为表达式,或者用表达式创建另一列, 比如说我只想获取星期几,这里就是Python代码,所以你可以 看到星期几,那只是我们刚刚转换的日期时间到星期几, 所以你可以看到,好的,是第五天和第六天,也就是 星期六和星期天,这说得通,所以如果我退出这个,然后我想做 一些简单的可视化,比如说这里有很多不同的字段, 比如纬度和经度,所以让我把这些设为浮点数,因为 事实证明纬度经度,即使它们在一个球体上,你也可以 把它们看作XY坐标,所以我要把经度设为x 坐标,实际上我要获取区,我会把它设为一个键, 稍微加点颜色,我要用点来绘制,顺便说一下,这仍然是在 终端里,所以我不确定你们是否见过纽约的地图, 这些是投诉,谢谢 如果我们想看到我们为了达到这一步所做的所有事情, 我们可以按shift D来获取命令日志,这就是我们按顺序所做的所有事情, 如果我们想保存这个并稍后重放,那花了20 秒,所以现在没什么可浪费的,但如果我们想做一些 更有趣的事情,比如说这是一个简单的投诉地图,让我们 在这里做更多事情,我可能把区去掉,哦,来了 投诉类型,所以我对它做频率分析,如果完成了, 让我们找点有趣的,哦,是啮齿动物,总是很有趣,所以我按回车 转到所有啮齿动物投诉类型,然后让我们看看天气老鼠 目击或老鼠目击之类的,完全相同的图,所以这里是 这些的地图,如果我想,我可以用数字打开和关闭这些图层, 所以你可以只看到老鼠目击或只看到老鼠目击等,来回

HN 上的讨论

也强烈推荐这个,对我来说,在深入分析多 GB 的 Cloudfront 日志文件并提取统计和模式时,它简直是天赐之物。VD 的作者有一个不错的快速演示视频(虽然现在有点旧了,因为界面后来已经大改):[VIDEO] — nowahe, 2022-12
visdata 相当令人震撼……至少,我第一次看到演示时就是这种感觉:[VIDEO] — mxuribe, 2021-08
如果你不熟悉 Visidata,这个视频能很好地展示它能做什么:[VIDEO] 看起来靠 shell 工具谋生可能很难,甚至不可能。作者 Saul 正在用 Patreon 来资助他在这款工具上的工作。我很喜欢这款工具,也希望其他人能帮助支持他。也许这种“双仓库”方式能让他全职做这件事。 — leonim, 2021-07
不确定能不能保存,但对我来说更重要的是,它能读取 sqlite 数据库,每当我需要快速瞥一眼某个随机数据库,看看它有哪些表、数据长什么样时,这简直是天赐之物。我知道怎么写 SELECT,但我死活记不住在 sqlite 上检查 schema 和数据库元数据的命令是什么(“是 .describe 吗?也许是 .schema?或者可能是 \t?唉,再看一遍帮助吧……”),所以知道 visidata 能让我快得多地到达那里,感觉很好。> 它本身看起来也很强大 如果你还没被说服,我干脆建议你看看这个闪电演示(约 5 分钟):[VIDEO] — asamarin, 2020-12
“视频演示”在网站上埋得挺深,这里放出来供你欣赏。和大多数可视化一样,看它实际运行比读介绍清楚得多。[VIDEO] — mwexler, 2020-10

相关视频