无效字符的字节到字符串转换

Question

我需要解析可能无效或包含一些错误的 UDP 数据包。我想用.字节到字符串转换后替换无效字符，以显示数据包的内容。我该怎么做？这是我的代码：func main() {   a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}   s := string(a)   s = strings.Replace(s, string(0xFFFD), ".", 0)   fmt.Println("s: ", s) // I would like to display "a..b."   for _, r := range s {      fmt.Println("r: ", r)   }   rs := []rune(s)   fmt.Println("rs: ", rs)}

Answer 1

您的方法的根本问题是类型转换[]byte为的结果中string没有任何U+FFFDs ：此类型转换仅将字节从源逐字复制到目标。
就像字节切片一样，Go 中的字符串没有义务包含 UTF-8 编码的文本；它们可以包含任何数据，包括与文本无关的不透明二进制数据。

但是对字符串的一些操作——即将它们类型转换为[]rune并使用它们迭代range——确实将字符串解释为 UTF-8 编码的文本。这正是你被绊倒的地方：你的range调试循环试图解释字符串，每次解码正确编码的代码点的尝试失败时，都会range产生一个替换字符，U+FFFD.
重申一下，通过类型转换获得的字符串不包含您希望被正则表达式替换的字符。

至于如何从您的数据中实际生成有效的 UTF-8 编码字符串，您可以采用两步过程：

1. 将你的字节切片类型转换为字符串——就像你已经做的那样。

2. 使用任何将字符串解释为 UTF-8 的方法——替换将在此过程中动态出现的 U+FFFD——在您进行迭代时。

像这样的东西：

var sb strings.Builder

for _, c := range string(b) {

  if c == '\uFFFD' {

    sb.WriteByte('.')

  } else {

    sb.WriteRune(c)

  }

}

return sb.String()

关于性能的说明：由于将 a 类型转换[]byte为string复制内存——因为字符串是不可变的，而切片不是——类型转换的第一步可能会浪费处理大量数据和/或紧密工作的代码的资源处理循环。

在这种情况下，可能值得使用适用于字节片的包的DecodeRune功能。encoding/utf8它的文档中的一个例子可以很容易地适应上面的循环。

Answer 2

您可能希望strings.ToValidUTF8()用于此：

ToValidUTF8 返回字符串 s 的副本，其中每次运行无效的 UTF-8 字节序列都被替换字符串替换，该替换字符串可能为空。

它“似乎”完全符合您的需要。测试它：

a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}

s := strings.ToValidUTF8(string(a), ".")

fmt.Println(s)

输出（在Go Playground上试试）：

a.b.

我写“貌似”是因为如您所见，a和b: 之间只有一个点，因为可能有 2 个字节，但有一个无效序列。

请注意，您可以避免[]byte=>string转换，因为有一个bytes.ToValidUTF8()等价的操作并返回 a []byte：

a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}

a = bytes.ToValidUTF8(a, []byte{'.'})

fmt.Println(string(a))

输出将是相同的。在Go Playground上试试这个。

如果您对多个（无效序列）字节可能会缩小为一个点感到困扰，请继续阅读。

另请注意，要检查可能包含或不包含文本的任意字节切片，您可以简单地使用hex.Dump()which 生成如下输出：

a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}

fmt.Println(hex.Dump(a))

输出：

00000000  61 ff af 62 bf                                    |a..b.|

您的预期输出a..b.包含其他（有用的）数据，例如十六进制偏移量和字节的十六进制表示。

要获得“更好”的输出图片，请尝试使用更长的输入：

a = []byte{'a', 0xff, 0xaf, 'b', 0xbf, 50: 0xff}

fmt.Println(hex.Dump(a))

00000000  61 ff af 62 bf 00 00 00  00 00 00 00 00 00 00 00  |a..b............|

00000010  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|

00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|

00000030  00 00 ff                                          |...|

Answer 3

并且非常清楚地解释了从字符串中扫描 unicode 符文的问题。

只需添加以下注释：如果您的意图是仅查看 ASCII 范围内的字符（可打印字符 < 127）并且您并不真正关心其他 unicode 代码点，您可以更直率：

// create a byte slice with the same byte length as s

var bs = make([]byte, len(s))

// scan s byte by byte :

for i := 0; i < len(s); i++ {

    switch {

    case 32 <= s[i] && s[i] <= 126:

        bs[i] = s[i]

    // depending on your needs, you may also keep characters in the 0..31 range,

    // like 'tab' (9), 'linefeed' (10) or 'carriage return' (13) :

    // case s[i] == 9, s[i] == 10, s[i] == 13:

    //   bs[i] = s[i]

    default:

        bs[i] = '.'

    }

}

fmt.Printf("rs: %s\n", bs)

这个功能会给你一些接近“文本”部分的东西hexdump -C。