透彻学习 JDK:字节流、字符流与乱码定位

中文读写乱码通常不是文件突然损坏,而是字节在错误的字符集下被解释。

edyang · 2013-05-25

中文读写乱码通常不是文件突然损坏,而是字节在错误的字符集下被解释。

本文使用JDK 7,示例为方法体或类定义片段。源码学习需要区分语言规则、公共接口约定与某个版本的实现。本文把讨论范围固定在 Java 7,不把后续版本的集合结构或语法写进来。

1. 从现象推到机制

字节流传输原始字节,字符流通过编码器和解码器转换字符。默认字符集依赖运行环境,写入端与读取端没有显式约定时,同一份文件换机器就可能变样。字符数量与字节数量也不相同。

透彻学习 JDK:字节流、字符流与乱码定位的处理、反馈与观察关系

图中的四个节点分别表示文件字节、解码器、字符缓冲、显示输出。顺着实线检查输入如何变成输出,再沿虚线核对反馈条件。图示表达的是本文讨论的关系,不是实测曲线或现场截图。

2. 最小实现与输入条件

固定 UTF-8 读写一小段中英文,先比较原始字节,再比较解码字符串。不要在已经错误解码后继续尝试多次编码转换。

1
2
3
4
5
6
7
Reader r = new InputStreamReader(
    new FileInputStream("sample.txt"), "UTF-8");
try {
    char[] buf = new char[128];
    int n = r.read(buf);
    System.out.println(new String(buf, 0, n));
} finally { r.close(); }

将片段放入独立的小工程,补齐 imports(导入声明)和调用入口。观察返回值、异常类型及对象状态;并发实验需要重复交错,单次没有出错不能证明线程安全。

3. 用对照区分原因

下表列出需要主动改变的条件。预期行为来自机制分析,复现时还需记录运行环境和原始输出,不能将预期当作已经测得的结果。

改变的条件 需要验证的行为
读写双方使用相同字符集 中文可正确往返
读取方改用另一字符集 相同字节可能显示乱码
按字节截断多字节字符 末尾字符可能无法完整解码

对照 1:读写双方使用相同字符集

中文可正确往返。观察时记录文件字节与解码后的字符。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

对照 2:读取方改用另一字符集

相同字节可能显示乱码。观察时记录首次解码使用的字符集。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

对照 3:按字节截断多字节字符

末尾字符可能无法完整解码。观察时记录截断位置与字节序列边界。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

4. 适用条件与取舍

流的 read 方法不承诺一次填满缓冲区。真实文件处理还要循环读取并处理末尾,示例仅展示字符集指定的位置。

一次正常运行只覆盖了这组输入。继续扩展前,应把上面的异常对照保留下来,尤其关注“按字节截断多字节字符”这一分支。后续方案若改变了图中任意一处依赖,原来的判断就要重新验证,不能仅凭界面相似或返回值相同沿用结论。

同月延伸

参考资料

  1. Java SE 7 API 文档
  2. Java SE 7 语言规范