Skip to content
Snippets Groups Projects
Commit 82fd9990 authored by Theophile GENTILHOMME's avatar Theophile GENTILHOMME
Browse files

Add tests and change test data

parent a62f5710
No related branches found
No related tags found
2 merge requests!54Refactors the score loading and scripts functionality,!52generic plotting script for bob measure
Hide whitespace changes
Inline Side-by-side
bob/measure/data/test_m1.txt
+ 14
− 14
View file @ 82fd9990
[Min. criterion: EER] Threshold on Development set `dev-1.txt`: -8.025286e-03
╒══════╤═════════════════════════╕
│ │ Development dev-1.txt │
╞══════╪═════════════════════════╡
│ FMR │ 6.263% (31/495) │
├──────┼─────────────────────────┤
│ FNMR │ 6.208% (28/451) │
├──────┼─────────────────────────┤
│ FAR │ 5.924% │
├──────┼─────────────────────────┤
│ FRR │ 11.273% │
├──────┼─────────────────────────┤
│ HTER │ 8.599% │
╘══════╧═════════════════════════╛
[Min. criterion: EER] Threshold on Development set `dev-1`: -8.025286e-03
╒══════╤═════════════════════╕
│ │ Development dev-1 │
╞══════╪═════════════════════╡
│ FMR │ 6.263% (31/495) │
├──────┼─────────────────────┤
│ FNMR │ 6.208% (28/451) │
├──────┼─────────────────────┤
│ FAR │ 5.924% │
├──────┼─────────────────────┤
│ FRR │ 11.273% │
├──────┼─────────────────────┤
│ HTER │ 8.599% │
╘══════╧═════════════════════╛
bob/measure/data/test_m2.txt
+ 28
− 28
View file @ 82fd9990
[Min. criterion: EER] Threshold on Development set `dev-1.txt`: -8.025286e-03
╒══════╤═════════════════════════╤═══════════════════╕
│ │ Development dev-1.txt │ Test test-1.txt │
╞══════╪═════════════════════════╪═══════════════════╡
│ FMR │ 6.263% (31/495) │ 5.637% (27/479) │
├──────┼─────────────────────────┼───────────────────┤
│ FNMR │ 6.208% (28/451) │ 6.131% (29/473) │
├──────┼─────────────────────────┼───────────────────┤
│ FAR │ 5.924% │ 5.366% │
├──────┼─────────────────────────┼───────────────────┤
│ FRR │ 11.273% │ 10.637% │
├──────┼─────────────────────────┼───────────────────┤
│ HTER │ 8.599% │ 8.001% │
╘══════╧═════════════════════════╧═══════════════════╛
[Min. criterion: EER] Threshold on Development set `dev-2.txt`: 1.652567e-02
╒══════╤═════════════════════════╤═══════════════════╕
│ │ Development dev-2.txt │ Test test-2.txt │
╞══════╪═════════════════════════╪═══════════════════╡
│ FMR │ 4.591% (23/501) │ 3.333% (16/480) │
├──────┼─────────────────────────┼───────────────────┤
│ FNMR │ 4.484% (20/446) │ 7.006% (33/471) │
├──────┼─────────────────────────┼───────────────────┤
│ FAR │ 4.348% │ 3.170% │
├──────┼─────────────────────────┼───────────────────┤
│ FRR │ 9.547% │ 11.563% │
├──────┼─────────────────────────┼───────────────────┤
│ HTER │ 6.947% │ 7.367% │
╘══════╧═════════════════════════╧═══════════════════╛
[Min. criterion: EER] Threshold on Development set `dev-1`: -8.025286e-03
╒══════╤═════════════════════╤═════════════════╕
│ │ Development dev-1 │ Test test-1 │
╞══════╪═════════════════════╪═════════════════╡
│ FMR │ 6.263% (31/495) │ 5.637% (27/479) │
├──────┼─────────────────────┼─────────────────┤
│ FNMR │ 6.208% (28/451) │ 6.131% (29/473) │
├──────┼─────────────────────┼─────────────────┤
│ FAR │ 5.924% │ 5.366% │
├──────┼─────────────────────┼─────────────────┤
│ FRR │ 11.273% │ 10.637% │
├──────┼─────────────────────┼─────────────────┤
│ HTER │ 8.599% │ 8.001% │
╘══════╧═════════════════════╧═════════════════╛
[Min. criterion: EER] Threshold on Development set `dev-2`: 1.652567e-02
╒══════╤═════════════════════╤═════════════════╕
│ │ Development dev-2 │ Test test-2 │
╞══════╪═════════════════════╪═════════════════╡
│ FMR │ 4.591% (23/501) │ 3.333% (16/480) │
├──────┼─────────────────────┼─────────────────┤
│ FNMR │ 4.484% (20/446) │ 7.006% (33/471) │
├──────┼─────────────────────┼─────────────────┤
│ FAR │ 4.348% │ 3.170% │
├──────┼─────────────────────┼─────────────────┤
│ FRR │ 9.547% │ 11.563% │
├──────┼─────────────────────┼─────────────────┤
│ HTER │ 6.947% │ 7.367% │
╘══════╧═════════════════════╧═════════════════╛
bob/measure/test_script.py
+ 18
− 1
View file @ 82fd9990
......@@ -54,13 +54,22 @@ def test_roc():
test1 = bob.io.base.test_utils.datafile('test-1.txt', 'bob.measure')
test2 = bob.io.base.test_utils.datafile('test-2.txt', 'bob.measure')
with runner.isolated_filesystem():
result = runner.invoke(evaluate.roc, ['--test', '--output',
result = runner.invoke(evaluate.roc, ['--test', '--split', '--output',
'test.pdf',
dev1, test1, dev2, test2])
if result.output:
click.echo(result.output)
assert result.exit_code == 0
with runner.isolated_filesystem():
result = runner.invoke(evaluate.roc, ['--test', '--output',
'test.pdf', '--titles', 'A,B',
dev1, test1, dev2, test2])
if result.output:
click.echo(result.output)
assert result.exit_code == 0
def test_det():
dev1 = bob.io.base.test_utils.datafile('dev-1.txt', 'bob.measure')
runner = CliRunner()
......@@ -72,6 +81,13 @@ def test_det():
dev2 = bob.io.base.test_utils.datafile('dev-2.txt', 'bob.measure')
test1 = bob.io.base.test_utils.datafile('test-1.txt', 'bob.measure')
test2 = bob.io.base.test_utils.datafile('test-2.txt', 'bob.measure')
with runner.isolated_filesystem():
result = runner.invoke(evaluate.det, ['--test', '--split', '--output',
'test.pdf', '--titles', 'A,B',
dev1, test1, dev2, test2])
if result.output:
click.echo(result.output)
assert result.exit_code == 0
with runner.isolated_filesystem():
result = runner.invoke(evaluate.det, ['--test', '--output',
'test.pdf',
......@@ -93,6 +109,7 @@ def test_epc():
test2 = bob.io.base.test_utils.datafile('test-2.txt', 'bob.measure')
with runner.isolated_filesystem():
result = runner.invoke(evaluate.epc, ['--output', 'test.pdf',
'--titles', 'A,B',
dev1, test1, dev2, test2])
if result.output:
click.echo(result.output)
......
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Please register or to comment