selftests: mptcp: lib: format subtests results in TAP
authorMatthieu Baerts <matthieu.baerts@tessares.net>
Mon, 17 Jul 2023 13:21:26 +0000 (15:21 +0200)
committerDavid S. Miller <davem@davemloft.net>
Wed, 19 Jul 2023 10:10:52 +0000 (11:10 +0100)
commitc4192967e62f91d26f54f9e8d80282ea469647e7
tree9bf5341007b7b3ec9b59a2c87d9107a97a094ecc
parentd8463d81652de31fa8878b89629954be7a715c05
selftests: mptcp: lib: format subtests results in TAP

The current selftests infrastructure formats the results in TAP 13. This
version doesn't support subtests and only the end result of each
selftest is taken into account. It means that a single issue in a
subtest of a selftest containing multiple subtests forces the whole
selftest to be marked as failed. It also means that subtests results are
not tracked by CIs executing selftests.

MPTCP selftests run hundreds of various subtests. It is then important
to track each of them and not one result per selftest.

It is particularly interesting to do that when validating stable kernels
with the last version of the test suite: tests might fail because a
feature is not supported but the test didn't skip that part. In this
case, if subtests are not tracked, the whole selftest will be marked as
failed making the other subtests useless because their results are
ignored.

This patch adds some helpers in mptcp_lib.sh to be able to easily format
subtests results in TAP in the different MPTCP selftests.

Closes: https://github.com/multipath-tcp/mptcp_net-next/issues/368
Acked-by: Paolo Abeni <pabeni@redhat.com>
Signed-off-by: Matthieu Baerts <matthieu.baerts@tessares.net>
Signed-off-by: David S. Miller <davem@davemloft.net>
tools/testing/selftests/net/mptcp/mptcp_lib.sh