中文读写乱码通常不是文件突然损坏,而是字节在错误的字符集下被解释。
本文使用JDK 7,示例为方法体或类定义片段。源码学习需要区分语言规则、公共接口约定与某个版本的实现。本文把讨论范围固定在 Java 7,不把后续版本的集合结构或语法写进来。
1. 从现象推到机制
字节流传输原始字节,字符流通过编码器和解码器转换字符。默认字符集依赖运行环境,写入端与读取端没有显式约定时,同一份文件换机器就可能变样。字符数量与字节数量也不相同。
图中的四个节点分别表示文件字节、解码器、字符缓冲、显示输出。顺着实线检查输入如何变成输出,再沿虚线核对反馈条件。图示表达的是本文讨论的关系,不是实测曲线或现场截图。
2. 最小实现与输入条件
固定 UTF-8 读写一小段中英文,先比较原始字节,再比较解码字符串。不要在已经错误解码后继续尝试多次编码转换。
1
2
3
4
5
6
7
Reader r = new InputStreamReader(
new FileInputStream("sample.txt"), "UTF-8");
try {
char[] buf = new char[128];
int n = r.read(buf);
System.out.println(new String(buf, 0, n));
} finally { r.close(); }
将片段放入独立的小工程,补齐 imports(导入声明)和调用入口。观察返回值、异常类型及对象状态;并发实验需要重复交错,单次没有出错不能证明线程安全。
3. 用对照区分原因
下表列出需要主动改变的条件。预期行为来自机制分析,复现时还需记录运行环境和原始输出,不能将预期当作已经测得的结果。
| 改变的条件 | 需要验证的行为 |
|---|---|
| 读写双方使用相同字符集 | 中文可正确往返 |
| 读取方改用另一字符集 | 相同字节可能显示乱码 |
| 按字节截断多字节字符 | 末尾字符可能无法完整解码 |
对照 1:读写双方使用相同字符集
中文可正确往返。观察时记录文件字节与解码后的字符。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
对照 2:读取方改用另一字符集
相同字节可能显示乱码。观察时记录首次解码使用的字符集。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
对照 3:按字节截断多字节字符
末尾字符可能无法完整解码。观察时记录截断位置与字节序列边界。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
4. 适用条件与取舍
流的 read 方法不承诺一次填满缓冲区。真实文件处理还要循环读取并处理末尾,示例仅展示字符集指定的位置。
一次正常运行只覆盖了这组输入。继续扩展前,应把上面的异常对照保留下来,尤其关注“按字节截断多字节字符”这一分支。后续方案若改变了图中任意一处依赖,原来的判断就要重新验证,不能仅凭界面相似或返回值相同沿用结论。