实现`make check`或`make test`

Question

如何使用Make实现简单的回归测试框架？ （如果重要的话，我正在使用GNU Make。）

我当前的makefile看起来像这样（为简单起见而编辑）：

OBJS = jscheme.o utility.o model.o read.o eval.o print.o

%.o : %.c jscheme.h
    gcc -c -o $@ $<

jscheme : $(OBJS)
    gcc -o $@ $(OBJS)

.PHONY : clean

clean :
    -rm -f jscheme $(OBJS)

我想要进行一系列的回归测试，例如，expr.in测试一个“好”的表达式和unrecognized.in测试一个“坏”的测试，expr.cmp和unrecognized.cmp是每个的预期输出。手动测试如下所示：

$ jscheme < expr.in > expr.out 2>&1
$ jscheme < unrecognized.in > unrecognized.out 2>&1
$ diff -q expr.out expr.cmp # identical
$ diff -q unrecognized.out unrecognized.cmp
Files unrecognized.out and unrecognized.cmp differ

我想在makefile中添加一组规则，如下所示：

TESTS = expr.test unrecognized.test

.PHONY test $(TESTS)

test : $(TESTS)

%.test : jscheme %.in %.cmp
    jscheme < [something.in] > [something.out] 2>&1
    diff -q [something.out] [something.cmp]

我的问题： •我在[东西]占位符中添加了什么？ •有没有办法用diff替换消息说“测试expr失败”？

Answer 1

如问题中所述，您最初的方法是最好的。您的每个测试都以一对预期输入和输出的形式出现。 Make非常有能力迭代这些并运行测试;没有必要使用shell for循环。实际上，通过这样做，您将失去并行运行测试的机会，并为自己创建额外的工作以清理临时文件（不需要）。

这是一个解决方案（以bc为例）：

SHELL := /bin/bash

all-tests := $(addsuffix .test, $(basename $(wildcard *.test-in)))

.PHONY : test all %.test

BC := /usr/bin/bc

test : $(all-tests)

%.test : %.test-in %.test-cmp $(BC)
    @$(BC) <$< 2>&1 | diff -q $(word 2, $?) - >/dev/null || \
    (echo "Test $@ failed" && exit 1)

all : test 
    @echo "Success, all tests passed."

该解决方案直接解决您的原始问题：

• 您正在寻找的占位符是分别对应于先决条件$<和$(word 2, $?)的%.test-in和%.test-cmp。与@reinierpost注释相反，不需要临时文件。
• 差异消息被隐藏并使用echo替换。
• 应该使用make -k调用makefile来运行所有测试，无论单个测试是失败还是成功。
• 只有在所有测试成功后才会运行make -k all。

我们通过利用文件命名约定（all-tests）和GNU make *.test-in来定义functions for file names变量时，避免手动枚举每个测试。作为奖励，这意味着解决方案可以扩展到数万个开箱即用的测试，因为变量的长度是GNU make中的unlimited。这比基于shell的解决方案更好，一旦你击中操作系统command line limit就会崩溃。

Answer 2

制作一个测试运行器脚本，该脚本采用测试名称并推断输入文件名，输出文件名和smaple数据：

#!/bin/sh
set -e
jscheme < $1.in > $1.out 2>&1
diff -q $1.out $1.cmp

然后，在你的Makefile：

TESTS := expr unrecognised

.PHONY: test
test:
    for test in $(TESTS); do bash test-runner.sh $$test || exit 1; done

你也可以尝试实现像automake的simple test framework这样的东西。

Answer 3

我最终得到的是这样的：

TESTS = whitespace list boolean character \
    literal fixnum string symbol quote

.PHONY: clean test

test: $(JSCHEME)
    for t in $(TESTS); do \
        $(JSCHEME) < test/$$t.ss > test/$$t.out 2>&1; \
        diff test/$$t.out test/$$t.cmp > /dev/null || \
            echo Test $$t failed >&2; \
    done

这是基于杰克凯利的想法，包括Jonathan Leffler的提示。

Answer 4

我会解决你关于差异的问题。你可以做：

diff file1 file2 > /dev/null || echo Test blah blah failed >&2

虽然您可能想使用cmp而不是diff。

另外，您可能会发现继续采取行动并使用automake是有帮助的。您的Makefile.am（完整）将如下所示：

bin_PROGRAMS = jscheme
jscheme_SOURCES = jscheme.c utility.c model.c read.c eval.c print.c jscheme.h
TESTS = test-script

你会得到很多非常好的免费目标，包括一个功能齐全的测试框架。