26.2. 测试结果评估 #
某些安装正确且功能完备的PostgreSQL实例,可能会因为平台特有因素而在部分回归测试中“失败”,例如浮点表示或时区支持不同。目前这些测试是通过把输出与参考系统生成的输出做简单的diff比较来评估的,因此结果会对细微的系统差异很敏感。报告某项测试“失败”时,请务必检查预期结果与实际结果之间的差异;你可能会发现这些差异并不重要。尽管如此,我们仍努力在所有受支持平台上维护准确的参考文件,因此原则上应期待所有测试都能通过。
回归测试的实际输出位于src/test/regress/results目录中的文件里。测试脚本使用diff把每个输出文件与存储在src/test/regress/expected目录中的参考输出进行比较。任何差异都会保存到src/test/regress/regression.diffs中供你检查。(如果愿意,也可以自己运行diff。)
26.2.1. 错误消息差异
某些回归测试包含故意构造的非法输入值。错误消息可能来自 PostgreSQL代码,也可能来自宿主平台的系统例程。在后一种情况下,消息会因平台而异,但应反映相近的信息。这类消息差异会导致回归测试显示为“失败”,但可以通过检查确认其有效性。
26.2.2. Locale differences
如果你针对一个使用 C 以外排序规则顺序的区域设置初始化的已安装服务器运行测试,就可能因为排序顺序不同而出现差异,并导致后续失败。回归测试套件通过提供备用结果文件来处理这个问题;这些文件合起来已知可以覆盖大量区域设置。例如,对于char测试,预期文件
char.out覆盖C和
POSIX区域设置,而文件char_1.out
覆盖许多其他区域设置。回归测试驱动器在检查成功和计算失败差异时,会自动挑选最匹配的文件。(这意味着回归测试无法检测结果对于所配置的区域设置是否合适。测试只会简单地挑选效果最好的那个结果文件。)
如果由于某种原因,现有的预期文件没有覆盖某个区域设置,你可以新增一个文件。命名方案是。具体的数字并不重要。请记住,回归测试驱动器会把所有这类文件视为同样有效的测试结果。如果测试结果是平台相关的,则应当改用第 26.3 节中描述的技术。
testname_digit.out
26.2.3. 日期和时间差异
horology测试中的少数查询,如果你在夏令时切换当天或其后一天运行测试,就会失败。这些查询预期昨天午夜、今天午夜和明天午夜之间的间隔恰好是二十四小时——如果其间夏令时生效或失效,这一预期就是错误的。
注意
由于使用的是美国的夏令时规则,无论你所在地区何时实行夏令时,这个问题总是出现在四月第一个星期日、十月最后一个星期日及其后的星期一。另外请注意,该问题在太平洋时间(UTC-7 或 UTC-8)午夜出现或消失,而不是你当地时间的午夜。因此,取决于你所在的地点,失败可能出现在星期六深夜,也可能一直持续到星期二的大部分时间。
大多数日期和时间结果依赖于时区环境。参考文件是在时区
PST8PDT(加利福尼亚州伯克利)下生成的,如果测试未在该时区设置下运行,就会出现表面上的失败。回归测试驱动器会将环境变量
PGTZ设为PST8PDT,这通常能够确保获得正确结果。
26.2.4. 浮点差异
某些测试涉及从表列计算 64 位浮点数(double precision)。已经观察到涉及double precision列数学函数的结果存在差异。float8和geometry测试尤其容易在不同平台之间、甚至在不同编译器优化设置下出现微小差异。需要人工目测比较来确定这些差异的真实意义,它们通常出现在小数点右侧第 10 位。
某些系统把负零显示为-0,而另一些只显示
0。
某些系统对pow()和exp()
发出错误的方式,与当前PostgreSQL代码所预期的机制不同。
26.2.5. 行顺序差异
你可能会看到这样的差异:同样的行在输出中的顺序与预期文件中的顺序不同。在大多数情况下,严格说来这并不是缺陷。大多数回归测试脚本并没有细致到为每一个SELECT都使用ORDER BY,因此按 SQL 规范,它们的结果行顺序并没有良好定义。实际上,由于我们看到的是同一软件在同一数据上执行相同查询,通常在所有平台上都会得到相同的结果顺序,所以缺少ORDER BY并不是问题。不过,有些查询确实会表现出跨平台的顺序差异。(非 C 区域设置也可能触发顺序差异。)
因此,如果你看到顺序差异,一般无需担心,除非查询确实包含
ORDER BY而你的结果违反了它。不过,仍请报告该问题,这样我们可以为那个特定查询加上ORDER BY,以在后续版本中消除这种虚假的“失败”。
你可能会好奇,为什么我们不显式地为所有回归测试查询排序,从而一劳永逸地解决这个问题。原因在于,那样反而会降低回归测试的价值,因为测试会倾向于覆盖能产生有序结果的查询计划类型,而排除那些不能产生有序结果的计划类型。
26.2.6. “random” 测试
random测试脚本旨在产生随机结果。在少数情况下,这会导致随机回归测试失败。输入:
diff results/random.out expected/random.out
应该只产生一行或几行差异。除非随机测试反复失败,否则不必担心。