配置文本肉眼看起来从第一列表头开始,程序却把首列识别成另一个名称,今年会建议检查编码起始标记,让不可见字符与真实字段内容得到合适处理。
起始标记不是普通可见文字
BOM是某些Unicode编码中用于标记等用途的字节序列,UTF-8文件也可能带有这种起始信息。MDN的文本解码资料说明了解码选项与相关处理,工具应按实际编码读取,而不是假定所有文本都直接从第一个可见字母开始。若标记被当成字段名的一部分,严格匹配时便可能出现表头看起来相同、程序却找不到的情况,问题不一定来自用户拼写。
检查可以从原始字节和解码后的首个内容入手,再核对解析器是否已正确处理。不要为了修复一个表头就删除文件中所有不可见字符,因为其他位置可能具有真实含义。处理规则应限定在明确格式和位置,并保留原件;同样也不宜反复手工重存文件,却不记录编码变化,避免后续问题难以追溯到最初来源。
导出约定应让双方一致
发送端与接收端可以明确采用哪种编码、是否带起始标记以及换行方式,减少每次导入猜测。若需要兼容不同来源,可在可识别范围内处理,并清楚提示不能确认的情况。自动猜测可能方便,但不能把猜测结果包装成已经证实的原始编码,出现异常时仍需要能够回到实际字节检查,恢复依据要保留下来。