齐普夫之谜
The Zipf Mystery
频道:Vsauce · 时长:21:05 · 发布:2015-09-15 · 播放:28716933
简介
Vsauce 对齐普夫定律的解释,即一个词的频率与其排名成反比的模式。它展示了该模式在许多领域中的表现,并讨论了为什么它仍然无法解释。
HN 为什么推荐
被链接为对齐普夫定律和幂律分布的有趣介绍。
这实际上是一个非常深刻的问题,称为齐普夫之谜 — HN, 2019
中文字幕节选
嘿,Vsauce。我是Michael。大约6% 你说、读、写的一切都是 "the"——是英语中最常用的词。大约每 16个我们日常遇到的词中就有一个是"the"。英语中最常见的前20个 词依次是"the"、"of"、"and"、"to"、 "a"、"in"、"is"、"I"、"that"、"it"、"for"、"you"、 "was"、"with"、"on"、"as"、"have"、"but"、"be"、 "they"。这是个有趣的事实。一个冷知识,但它 不止于此。你看,无论最常用的词是在整个 语言中排名,还是仅在一本书或一篇文章中,几乎每次都会出现一个奇异的 模式。第二常用的词出现的频率大约是最常用词的一半。 第三常用的词是三分之一。第四常用的词是四分之一。 第五常用的词是五分之一。第六常用的词是六分之一,以此类推,一直到最底部。 说真的。出于某种原因,一个词被使用的次数 恰好与其排名的倒数成正比。词频和排名在对数-对数图上 呈现出一条漂亮的直线。一个幂律。这种现象被称为齐普夫定律, 它不只适用于英语。它也适用于其他语言,比如,嗯, 所有语言。甚至是我们尚未能翻译的古代语言。 而问题在于。我们完全不知道原因。令人惊讶的是,像 现实这样复杂的事物,竟能被像语言这样富有创造力的事物以 如此可预测的方式传达。有多可预测? 嗯,看这个。根据WordCount.org, 该网站根据英国国家语料库对单词进行排名,"sauce"是 第5,555个最常用的英语单词。现在,这里有一份列表,显示了 维基百科上以及整个古腾堡语料库中数万本 公共领域书籍中每个单词出现的次数。最常用的词"the"出现了大约 1.81亿次。知道这两点,我们可以估计单词 "sauce"在维基百科和 古腾堡语料库合计中应该出现大约三万次。而它差不多就是这样。 怎么回事?世界是混乱的。事物的分布方式多种多样,不只是 幂律。而语言是个人的、 有意图的、独特的。世界和我们自身有什么东西会导致如此 复杂的活动和行为遵循如此基本的规则?我们真的 不知道。一个多世纪的研究尚未解开这个谜团。 此外,齐普夫定律不仅仅神秘地描述了词汇使用。它 还出现在城市人口、太阳耀斑强度、蛋白质序列和 免疫受体、网站获得的流量、地震震级、 学术论文被引用的次数、姓氏、神经网络的 放电模式、食谱中使用的食材、人们接到的 电话数量、月球陨石坑的直径、战争中死亡的 人数、国际象棋开局招法的流行度,甚至我们遗忘的速率。 关于语言为何具有"齐普夫特性",有大量理论,但没有确凿的结论, 这个视频也不包含明确的解释。抱歉,我知道 这令人失望,因为我们似乎更喜欢知道答案而非谜团。但话虽如此, 我们提出的问题也多于我们回答的问题。所以让我们深入探讨齐普夫定律的影响、一些 相关模式、一些可能的解释,以及这个 谜团本身的深度。齐普夫定律由哈佛大学的 语言学家乔治·齐普夫推广。它是连续帕累托分布的
HN 上的讨论
有一个有趣的“V-Sauce”视频,关于齐普夫定律,适合想了解更多并看看其他例子的人:[VIDEO] — its_ethan, 2024-07
> 你需要知道任何语言中大约20,000个单词才能听起来流利 你确定吗?据我所知,语言中单词的使用不是均匀分布的,而是遵循帕累托分布。因此,我相信你只需要知道大约500个单词就能说得还行。它不会听起来完美,但你会说得和理解得相当不错。我曾经写过一个Python脚本,从一个充满法语单词及其英语对应词的.txt文件中读取单词,然后显示法语单词,等待你输入你的猜测。它给出即时反馈,我认为这对学习任何东西都很重要。该文件包含了根据大型书籍调查的500个最常用的法语单词。这是在我学校的最后一年,它在我必须用法语写连贯句子的测试中救了我。编辑:在这里!这就是所谓的齐普夫定律。([LINK])这里有一个关于它的有趣视频:[VIDEO] — WhateverHappns, 2021-04
你的震惊是有道理的。这实际上是一个非常深刻的问题,称为齐普夫之谜:[VIDEO] 没有人真正知道为什么它是真的。它不仅适用于人类编造的人工量,也适用于物理常数。同类型的分布出现在语言、自然、数字、国际象棋开局招法的流行度中,无处不在。 — sillysaurusx, 2019-11
我不会说这很容易,但它比你想象的要容易。单词使用在所有语言中都遵循幂律分布(齐普夫定律,[VIDEO] 是Vsauce对此主题的精彩介绍),但简而言之,在相对较短的学习时间后,你就能挑出常见单词并以此为基础,即使你从零开始。 — Baeocystin, 2019-02
大多数做种/下载将发生在(少数)最流行的文件上,而只有少数做种/下载发生在大多数文件上。例如,去TPB看看做种者/下载者的分布。[VIDEO] — cowtools, 2022-10
相关视频
- 如何不无知于世界 | Hans 和 Ola Rosling · TED · 19:09
- 中国的共享单车疯狂了! · serpentza · 10:02
- 测试 60 分钟静默是否会让人发疯 · Veritasium · 10:32
- 大多数已发表的研究都是错的吗? · Veritasium · 12:22
- 无需编写奖励函数训练 AI,使用奖励建模 · Robert Miles AI Safety · 17:51
- 1942 年中途岛海战:从日本视角讲述(1/3) · Montemayor · 41:46
- 为什么肉是世界上最好最坏的东西 🍔 · Kurzgesagt – In a Nutshell · 7:44
- Ben Marking的假BBC核攻击广播(全分辨率,未剪辑,未编辑) · Tooth · 55:42
- 安东宁·斯卡利亚 - 论美国例外主义 · AmericanRhetoric.com · 7:21
- Self:电影; · Jecel Assumpção Jr · 21:01
- 30种奇怪的国际象棋算法:Elo世界 · suckerpinch · 42:35
- 1 小时看完 45 亿年 · Kurzgesagt – In a Nutshell · 1:03:31
- 向量 | 第1章,线性代数的本质 · 3Blue1Brown · 9:51
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- George Lakoff:道德政治 · University of California Television (UCTV) · 58:57