Salome HOME
Add new label shaper for tests
[tools/configuration.git] / tests / README.txt
1 ListOfSalomeTestLabelsToBeOK file contains all "salome test" labels expected to be OK for tagged released versions.
2 During DEV versions between tagged released versions all non passing tests should lead to a corrective action.
3
4 Each line of ListOfSalomeTestLabelsToBeOK precises a salome test label launchable using :
5
6 salome test -L <LABEL>
7
8 The format of each line :
9
10 <LABEL> <Parallelisable launch> <tests to exclude of the default list>
11
12
13 <Parallelisable launch> can have 2 values :
14
15 - SP : means sensible to parallelism. means that some tests in label launch several process/thread in paralle. Means that for some of them, overloaded machine test can lead to a false negative test. For these tests it's better for sustain result to launch it in sequential on a computer doing nothing else.
16 - PP : parallelism proof. means that all tests in label launch monothread treatments so they can be launched in parallel safely
17
18 <tests to exclude of the default list>
19
20 A comma separated list containing tests to be excluded from the tests to be OK inside the corresponding label
21
22 Examples
23 ========
24
25 In python3 to read 
26
27 with open("ListOfSalomeTestLabelsToBeOK") as f:
28     li = f.readlines()
29 listOfLabels = [elt.rstrip().split(" ")[0] for elt in li]
30 parallelismOfLabels = [elt.rstrip().split(" ")[1] for elt in li]
31 testsToSkipPerLabel = [elt.rstrip().split(" ")[2] for elt in li]