实用的Unicode,或者,我如何停止痛苦?

Pragmatic Unicode, or, How do I stop the pain?

频道:Next Day Video · 时长:36:20 · 发布:2012-03-16 · 播放:80510

在 YouTube 观看

简介

Ned Batchelder在PyCon 2012的演讲快速概述了Unicode是什么,然后重点介绍了Python程序员需要什么来正确处理文本。它提出了“Unicode三明治”策略:在输入时解码字节,内部使用Unicode,在输出时编码。

HN 为什么推荐

评论者指出它是对Python的字节与Unicode模型以及Unicode三明治最清晰的解释,终于让困惑豁然开朗。

在经历了大量痛苦之后,我决定花时间观看这个演讲 — HN, 2019

Python、Ruby 与脚本语言 · 平面设计与排版

中文字幕节选

最后一场演讲由Ned Batchelder带来,主题是务实的Unicode,或者如何停止 痛苦 大家好,嗯,嗨,我是Ned Batchelder,我已经使用Python 超过10年了。嗯,在这次演讲中我会讲得很快,部分 是因为我有很多内容要说,部分是因为我在纽约市长大。嗯,我 使用Python大约10年了,这意味着至少有十几次我 犯了所有你在支持Unicode时可能犯过的同样错误,这些错误 给你带来了痛苦,让你来到这个房间,试图找到停止 痛苦的方法。那么让我们谈谈这是怎么发生的。过去发生的情况是,你写了一个 程序,你非常高兴,因为它能运行,你有一个很棒的程序。嗯,然后 突然发生了奇怪的事情,你的程序中出现了奇怪的字符, 出现了错误,你很难过。好吧,那是 过去,不会再发生了。25分钟后,你将知道 你需要知道的一切,以避免这种情况发生。但你现在感觉 很烦,很生气,而且从根本上对Unicode不感兴趣, 对吧?所以我会尽量保持非常简单直接,只告诉你 你需要知道的内容。我不会深入各种奇怪的冷门知识,好吗?顺便说一句, 这个演讲中没有图片, [掌声] 有很多Python在实现这个,是的, 嗯,我很乐意之后向大家展示我为了让这个演讲成真所做的所有疯狂的事情。 嗯,但这个演讲中会有五个不可避免的生活事实, 你必须接受,还有三个专业提示,会告诉你 如何应对它们。一旦你记住这八件事,Unicode将 不再成为你的问题。这是我的承诺,这是一个很大的承诺,但我 认为我能做到。那么首先让我们谈谈世界 和Unicode。第一个生活事实是,计算机处理的是 字节。不存在向某人发送Unicode这回事,只有发送字节 给某人。你发送的不是文本,而是字节。你存储的不是文本, 而是字节。一切都是字节,这就是计算世界的 运作方式。为了发送文本,我们决定,因为字节本身没有意义, 我们通过约定给字节赋予意义。最基本的文本约定 是ASCII码,我们取了95个图形符号, 赋予它们字节值,并说当我发送这个字节值时,你会知道 我指的是大写字母A,因为我们已经约定这些字节意味着这个。 ISO 8859-1,也称为Latin-1,为字节增加了96个字符,然后 Windows又增加了27个字符。这大致就是你能 用字节处理文本的极限了。好吧,这大约是你用单个字节 能显示的不同符号的最大数量。生活事实 第二:256个符号不足以让世界交流文本。世界上有 很多语言,它们都有自己的书写系统,它们都要求 在桌边有一席之地。没有人会说,你知道,你必须说英语, 对吧?所以回到你的程序出问题的时候,你随意地加入编码和 解码,试图让问题消失,对吧?嗯,我看着 你,你,还有你,是的。我敢肯定有时候你咬紧牙关, 想着为什么他们不能说英语呢?对吧?事情不是 那样的。你无法改变世界,你必须改变你的程序。好吧,所以所有 那些你过去为了让程序工作而做的编码解码乱七八糟的事情,

HN 上的讨论

你必须花些时间理解 Python 中字符串(字节串和 unicode)是如何工作的。我把这件事拖得太久了。在经历了大量痛苦之后,我决定花时间观看 Ned Batchelder 的演讲“Pragmatic Unicode, or, How do I stop the pain?”[0],然后一切都豁然开朗了。现在,我做 Unicode 三明治就像个高手。[0] [VIDEO] — jteppinette, 2019-05
快速浏览文档[0]后,Perl 5.8 的 Unicode 支持听起来很像 Python 2,只是默认编码是 latin1 而不是 ASCII——也就是说,不像 Python 3 那样在读取二进制数据时(此时数据的编码应该是已知的)就显式解码为 Unicode 文本,它会推迟到数据被使用时(在程序中某个完全不相关的地方)才解码,并用某个假设的全局统一编码来解码。由于并不存在全局统一的编码(Windows 甚至在 Win32 和命令提示符之间都有不同的遗留编码!),只要数据是 ASCII,这看起来就能正常工作,但之后在你最意想不到的时候(有人输入了非 ASCII 字符串),就会在 Python 2 中抛出 UnicodeDecodeError,或在 Perl 5.8 中产生乱码数据。Ned Batchelder 做了一个很棒的演讲[1],解释了 Python 3 处理 Unicode 的方… — ptx, 2015-01
我不知道细节(因为我不懂 unicode),但我不确定你说的是否可能。不过对我来说,ASCII 似乎是个障碍。``` fmt.Println("Hello, 世界") ``` 这行 Go 语言代码看起来很漂亮。我敢打赌他们从不必担心字节与 Unicode 的问题。这是 Python……[VIDEO] 我要在清单上再加一条断言。人会出生,人也会死去。把我们的错误和罪过强加给下一代是不公平的。话虽如此,我的想法很简单:所有 Python 脚本(甚至上次我查看时,Firefox 的简单构建都只支持 Python 2)。对任何 Python 新手来说,前进的道路就是我们告诉他们:Python 2 不重要。别看它。学 Python,我指的是 3.0+。我仍然不明白为什么偏偏是谷歌,连它的标准 App Engine 都不支持 Python 3。对我来说,这听起来像是标准版被弃用,转向灵活版(而灵活版… — thanksgiving, 2017-11
Python 3 对初学者来说很有用,因为他们不必学习 Python 2 为了兼容性而保留的那些已废弃的累赘。如果他们只学 Python 3 的做事方式,通常它在 2 和 3 中都能用。在他对类的解释中,有好几段在讲旧式类与新式类,最后说:“完全忽略旧式类与新式类的概念,假设 Python 在创建类时总是要求 (object)。把脑力留给重要的东西。”Python 3 只有新式类,所以整段解释本可以省略,让初学者像他建议的那样,专注于更有趣的事情。另一个例子是他在练习 11 中的建议:由于安全问题,避免使用 input() 函数。Python 3 没有那个函数,所以初学者不必记住要避开它。当然,还有 Unicode,这本书似乎完全忽略了它。从 Python 3 开始的初学者必须学习“Unicode 三明治”方法[1],这同样非常适用于 Python 2 代码。但从 Python 2 开始… — ptx, 2015-03

相关视频