问题描述
当前,我将使用Azure和GCP转换API,它们都基于“代码点”来计算字符数。
与此同时,在尝试向其发送文本之前,我也试图计算node.js服务器上的字符数。我计算字符数的方法是简单的Javascript的length
属性,如下所示:
var originalText = 'hello 世界';
var textLen = originalText.length; //this is the right way to count the number of 'code point's?
// send a request to azure/gcp translation api
makeTranslationRequest(originalText)
我研究了这个length
关键字,this doc说length
计数UTF-16代码单元,对我来说意义不大。
如果没有,我如何计算Javascript(node.js)的一个文本中的代码点数?
解决方法
不,它们是不同的。我知道,MDN使用了很少使用的“代码单位”一词,这使很多人感到困惑。
代码点是给Unicode元素(字符)的编号。这与编码无关,可以高达0x 10FFFF。 UTF-32代码单元等效于Unicode代码点(如果使用正确的字节序)。
UTF-16中的代码单位是16位数据的单位。使用16位数据有助于我们忽略字节序(但是当您读取字节时,请记住这一额外的困难)。 UTF-16使用1或2个代码单元来描述一个代码点,具体取决于其值。
低于(或等于)0xFFFF(Unicode的旧限制/期望,这种数字足以编码所有字符)的代码点仅使用1个代码单位,并且其值与代码点相同。
Unicode扩展了代码点空间,因此现在0x010000..0x10FFFF之间的代码点需要2个代码单元(并且我们使用“代理”来编码此类字符),总共4个字节。
因此,代码点与代码单位不同。对于UTF-16,代码单位为16位长,代码点可以为1或2个代码单位。
注意:字符宽度和字素(印刷字符)数量与代码点无关:某些字符具有“双倍宽度”,许多代码点正在组合字符,从而修改了先前的字符(例如,通过添加重音符号)。 / p>
如何计算代码点?
我将遍历每个代码单元,并仅对0xDC00..0xDFFF范围之外的代码单元计数。这应该是正确的代码点数(假设一个有效的Unicode字符串,因此总是一对低和高替代)。