Unicode 转 UTF-16

UTF-16 小解

UTF-16（16-bit Unicode Transformation Format）是一种针对 Unicode 的可变长度字符编码。见 UTF-16。

Unicode 的编码空间可划分为 17 个平面（plane），每个平面包含 65536 个码位。第一个平面称为基本多语言平面（BMP，Plane 0），其他平面称为辅助平面。

Unicode 基本平面与辅助平面

其中：基本平面（BMP）包含大部分常用字（如大部分汉字）；辅助平面包含 emoji 等。

转化过程

1. 将数据转化为 unicode 的 codePoint（如 str.codePointAt(0)）
2. 若 unicode 小于 U+10000，则直接返回，为 UTF-16 编码
3. 若 unicode 大于 U+10000，则分为两个 UTF-16 编码：(codePoint - 0x10000) / 1024 + 0xD800 与 ((codePoint - 0x10000) % 1024) + 0xDC00

例如「🍉」：codePoint 0x1f349，减 0x10000 得 0x0f349，高位 0xd83c，低位 0xdf49。

输入字符查看 UTF-16 编码

在输入框中输入任意字符或文本，工具会显示每个字符对应的 UTF-16 编码值。编码结果以十六进制展示，方便你直接对照 Unicode 码点。

对于基本多语言平面（BMP，U+0000 到 U+FFFF）的字符，UTF-16 编码就是其 Unicode 码点本身。例如：

• A → 0041
• 中 → 4E2D
• © → 00A9

理解代理对（Surrogate Pairs）

当字符的码点超过 U+FFFF（即位于补充平面）时，UTF-16 无法用一个 16 位码元表示，需要拆成一对代理对：

• 高代理（High Surrogate）：范围 D800 - DBFF
• 低代理（Low Surrogate）：范围 DC00 - DFFF

例如，汉字「𠮷」（码点 U+20BB7）的 UTF-16 编码为 D842 DFB7，由两个码元组成。

工具会自动标注哪些字符使用了代理对，帮助你直观地理解编码结构。

Emoji 的编码

Emoji 是代理对最常见的应用场景。绝大多数 Emoji 的码点都在补充平面，因此需要两个码元来表示：

• 😀（U+1F600）→ D83D DE00
• 🎉（U+1F389）→ D83C DF89
• 🇨🇳（旗帜，由两个区域指示符组成）→ D83C DDE8 D83C DDF3

一些复合 Emoji（如肤色修饰、家庭组合）包含更多码元，加上零宽连接符（ZWJ，U+200D），可能由十几个码元组成。

在 JavaScript 中的实际应用

JavaScript 的字符串内部就是 UTF-16 编码。了解这一点能帮你避开常见的字符串处理陷阱：

// length 返回的是 UTF-16 码元数，不是字符数
'😀'.length          // 2，不是 1
'𠮷'.length          // 2，不是 1
'hello'.length       // 5

// 用展开运算符或 Array.from 可以按字符拆分
[...'😀'].length     // 1
Array.from('𠮷')     // ['𠮷']

// charCodeAt 返回码元，codePointAt 返回码点
'😀'.charCodeAt(0)   // 55357 (0xD83D，高代理)
'😀'.codePointAt(0)  // 128512 (0x1F600，完整码点)

当你在工具中看到某个字符被拆成了代理对，就意味着在 JavaScript 里用 charAt 和 charCodeAt 处理它时需要格外注意。

API

JS

在 Javascript 中可借助于 iconv-lite 进行转化：

// Encoding
iconv.encode(str, 'utf16')

// Decoding
iconv.decode(buffer, 'utf16')

Python

> '山月'.encode('utf16').hex()
'fffe715c0867'

> bytes.fromhex('fffe715c0867').decode('utf16')
山月

常见问题

Q: UTF-16 和 UTF-8 有什么区别？

UTF-8 和 UTF-16 都是 Unicode 的编码方式，但编码策略不同。UTF-8 使用 1 到 4 个字节变长编码，对 ASCII 字符只需 1 字节，对中文字符需要 3 字节，非常适合以英文为主的文本和网络传输。UTF-16 则使用 2 或 4 字节编码，基本多语言平面（BMP）内的字符用 2 字节，超出 BMP 的字符（如部分 emoji 和生僻汉字）用 4 字节（代理对）。UTF-16 在处理中日韩文本时空间效率略高于 UTF-8，但对纯 ASCII 文本会浪费一倍空间。

Q: 什么是代理对（Surrogate Pair）？

代理对是 UTF-16 编码中用于表示 BMP（基本多语言平面，U+0000 至 U+FFFF）之外字符的机制。Unicode 预留了 U+D800 至 U+DBFF 作为高代理（High Surrogate），U+DC00 至 U+DFFF 作为低代理（Low Surrogate）。一个高代理加一个低代理组成一个代理对，可以表示 U+10000 至 U+10FFFF 范围内的字符。例如 emoji「😀」的码点为 U+1F600，在 UTF-16 中编码为代理对 D83D DE00。

Q: JavaScript 字符串使用的是 UTF-16 吗？

是的，JavaScript 内部使用 UTF-16 编码存储字符串。每个 string 元素是一个 16 位的码元（code unit），对于 BMP 内的字符，一个码元就是一个字符；对于 BMP 外的字符则需要两个码元（代理对）来表示。这也是为什么 '😀'.length 返回 2 而不是 1 的原因。ES6 引入了 String.prototype.codePointAt() 和 for...of 迭代器来正确处理代理对，避免将一个字符错误地拆成两个码元。

Q: 为什么 emoji 的 length 是 2？

因为大多数 emoji 的 Unicode 码点超出了 BMP 范围（大于 U+FFFF），在 JavaScript 的 UTF-16 编码中需要用两个 16 位码元（代理对）来表示。.length 属性返回的是码元数量而非字符数量，所以一个 emoji 的长度为 2。更复杂的情况是组合 emoji（如 👨‍👩‍👧‍👦），它由多个码点通过零宽连接符（ZWJ）拼接而成，.length 可能高达 11。要获取真实的字符数量，可以使用 [...str].length 或 Intl.Segmenter。

Q: UTF-16LE 和 UTF-16BE 有什么区别？

LE 和 BE 分别代表 Little-Endian（小端序）和 Big-Endian（大端序），指的是多字节数据中字节的排列顺序。以字符「A」（U+0041）为例，UTF-16BE 存储为 00 41（高字节在前），UTF-16LE 存储为 41 00（低字节在前）。Windows 系统默认使用 UTF-16LE，而网络协议中更常见 UTF-16BE。为了标识字节序，文件开头通常会加上 BOM（Byte Order Mark）：FE FF 表示大端序，FF FE 表示小端序。