字符、符号和 Unicode 奇迹 - Computerphile
Characters, Symbols and the Unicode Miracle - Computerphile
频道:Computerphile · 时长:9:37 · 发布:2013-09-20 · 播放:2127922
简介
Tom Scott 为 Computerphile 解释 Unicode 和 UTF-8 如何从混乱的旧字符编码中发展而来,成为网络标准。它涵盖了为什么设计有效以及它如何处理全球文本。
HN 为什么推荐
HN 将其视为 UTF-8 的首选简短解释,因其使主题令人印象深刻而受到赞扬。
一个精彩、简洁、信息量很大的视频,描述了 utf-8 编码如何工作以及为什么 — HN, 2020
网络与互联网基础设施 · 信息论与信号处理 · 平面设计与排版
中文字幕节选
UTF-8 也许是最好的黑客技巧, 是写在餐巾纸背面的最好用的一样东西, 它就是这么被拼凑出来的。 UTF-8 的初稿是在一家餐馆的餐巾纸背面写成的, 它就是一个如此优雅的黑客技巧, 解决了那么多问题,我特别喜欢它。 回到 20 世纪 60 年代,我们有电传打字机,有简单的设备,你按一个键, 它发送一些数字,另一边就打出同样的字母, 但需要一个标准,所以在 20 世纪 60 年代中期, 至少美国确定了 ASCII,也就是 美国信息交换标准代码,它是一个 7 位二进制系统, 所以你输入的每个字母 都会被转换成 7 个二进制数字,通过线路发送出去。 这意味着你可以有从 0 到 127 的数字。 他们把前 32 个挪给了控制 码和不太重要的书写内容, 比如“换到下一行”或退格。 然后他们把剩下的做成字符。他们 加了一些数字、一些标点符号。 他们做了一件非常聪明的事,就是让 'A' 等于 65,用二进制表示—— 找 1、2、4、8、16、32、64—— 二进制里,65 是 1000001, 这意味着 'B' 是 66,意味着这里二进制就是 2。 C,67,二进制是 3。 所以你可以看一个 7 位二进制字符,直接去掉前两位, 就知道它在字母表里的位置。 更聪明的是,他们把小写字母往后放了 32 位, 这意味着小写 'a' 是 97——1100001。 任何不符合这个规律的东西,大概 就是空格,方便地全是零,或者某种标点符号。 聪明、巧妙、绝妙、了不起的做法, 这成了标准,至少在英语世界是这样。 至于世界其他地方,有些也做了自己的版本, 但你开始涉及其他字母表,涉及 那些根本不用字母表的语言。 它们都搞出了自己的编码,这倒也没问题。 然后计算机出现了,随着时间推移,情况变了。 我们转向 8 位计算机,所以现在开头多了 一整个数字,只会把事情搞乱, 这意味着我们可以到 256!字符数量可以翻倍! 当然,大家都为这个确定了同一个 标准,因为那样就完美——不。他们谁都没这么做。 所有北欧国家开始把挪威语 字符和芬兰语字符放进去。 日本根本不用 ASCII。 日本自己搞了一套多字节 编码,有更多字母、更多字符, 每个字符对应更多二进制数字。 所有这些都严重不兼容。 日本实际上有三四种不同的编码, 它们彼此之间完全不兼容。 所以你把一份文档从一台老式日本计算机发到另一台, 出来的东西会乱码到甚至 日语里有一个词专门表示“乱码字符”, 就是——我可能发音不对——叫“mojibake”。 这有点噩梦,但也不算太糟, 因为伦敦的人多久才需要发一份文档 到日本另一家公司一台完全不兼容、未知的计算机上? 那时候这很少见。你打印出来,然后传真过去。 然后万维网来了,我们就有问题了, 因为突然间,文档随时随地从世界各地被发送。 于是成立了一个叫做Unicode联盟的组织。 在过去的几十年里,我只能称之为奇迹般地,
HN 上的讨论
Tom是我理解UTF-8的原因[1]。与其说是他解释了“什么”,不如说是他解释的“方式”,才真正让它深入人心。正是他那纯粹、无拘无束的真诚热情,让我记住了他。最优秀的人之一。[1] [VIDEO] — janvdberg, 2024-01
一些补充——因为这篇文章只是花了一点时间讨论不同的编码方案——一个精彩、简洁、信息量很大的视频,由Tom Scott/Computerphile描述UTF-8编码如何工作以及为什么(附带一点历史):[VIDEO] — wcarss, 2020-08
那是我一直以来最喜欢的YouTube视频之一……这个,以及一个关于Unicode的类似视频[1],是我需要向非技术家庭成员说明软件涉及多少背景复杂性时的首选示例 [1] [VIDEO] — douche, 2016-04
我也喜欢 Numberphile,最近偶然发现了 Computerphile。两个节目的风格相同——一个充满热情的人解释一些相当复杂的东西。例如,我喜欢 Computerphile 关于字符编码演变以及 UTF 为何被开发的视频。[VIDEO] — mcphilip, 2014-03
这也让我困惑过。Unicode核心规范在解释方面相当不错,并引入了一些你在文档之外很少听到的术语。第2章“总体结构”值得完整阅读。我链接了一些可能有帮助的部分:> *2.2.3 字符,而非字形* > Unicode标准区分字符和字形。字符是书面语言中具有语义价值的最小组成部分的抽象表示。它们主要但不完全代表构成自然语言文本和技术符号的字母、标点和其他符号。[...] 不同文字中的字母,即使在语义或图形上对应,在Unicode中也由不同的字符表示。> 字符由仅存在于内存表示中的码点表示,如内存中的字符串、磁盘上或数据传输中。Unicode标准只处理字符编码。> *2.4 码点和字符* > 用于编码抽象字符的整数范围称为码空间。这个集合中的特定整数称为码点。当抽象字符被映射或分配给码空间中的特定码点时,它就被称为编码字符。> *2.5 编码形式* 这涉及UTF-{8,16,32},这是一个棘… — Rendello, 2025-06
相关视频
- Look Around You:第一季试播集 - 钙 · DocShadow660 · 21:52
- MIT 的聚变能之路(IAP 2017)- Zach Hartwig · MIT Plasma Science and Fusion Center · 1:11:39
- Hamming,“你和你的研究”(1995年6月6日) · securitylectures · 44:02
- 《暗黑破坏神》:经典游戏事后剖析 · GDC Festival of Gaming · 1:17:43
- 如何演讲 · MIT OpenCourseWare · 1:03:42
- 理查德·费曼谈火 · nebulajr · 4:43
- 第六讲:版本控制(git)(2020) · Missing Semester · 1:24:59
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- D/A 与 A/D | 数字展示与讲解(Monty Montgomery @ xiph.org) · FL Studio · 23:52
- 更难的硬盘:我们不想要也不需要硬盘 · suckerpinch · 36:46
- 快速傅里叶变换(FFT):史上最巧妙的算法? · Reducible · 28:23
- 本视频由 ███ VPN 赞助 · Tom Scott · 7:25
- 棕色;颜色真奇怪 · Technology Connections · 21:14
- 看待网络的新方式 · Google · 1:21:15
- Stephen Fry 动态排版 - 语言 · Built By Matt · 6:34
- 网络中立性:约翰·奥利弗的《上周今夜秀》(HBO) · LastWeekTonight · 13:18