Commit 82fd9990 authored by Theophile GENTILHOMME's avatar Theophile GENTILHOMME

Add tests and change test data

parent a62f5710
[Min. criterion: EER] Threshold on Development set `dev-1.txt`: -8.025286e-03
╒══════╤═════════════════════════
│ │ Development dev-1.txt
╞══════╪═════════════════════════
│ FMR │ 6.263% (31/495)
├──────┼─────────────────────────
│ FNMR │ 6.208% (28/451)
├──────┼─────────────────────────
│ FAR │ 5.924%
├──────┼─────────────────────────
│ FRR │ 11.273%
├──────┼─────────────────────────
│ HTER │ 8.599%
╘══════╧═════════════════════════
[Min. criterion: EER] Threshold on Development set `dev-1`: -8.025286e-03
╒══════╤═════════════════════╕
│ │ Development dev-1 │
╞══════╪═════════════════════╡
│ FMR │ 6.263% (31/495) │
├──────┼─────────────────────┤
│ FNMR │ 6.208% (28/451) │
├──────┼─────────────────────┤
│ FAR │ 5.924% │
├──────┼─────────────────────┤
│ FRR │ 11.273% │
├──────┼─────────────────────┤
│ HTER │ 8.599% │
╘══════╧═════════════════════╛
[Min. criterion: EER] Threshold on Development set `dev-1.txt`: -8.025286e-03
╒══════╤═════════════════════════╤═══════════════════╕
│ │ Development dev-1.txt │ Test test-1.txt
╞══════╪═════════════════════════╪═══════════════════╡
│ FMR │ 6.263% (31/495) │ 5.637% (27/479)
├──────┼─────────────────────────┼───────────────────┤
│ FNMR │ 6.208% (28/451) │ 6.131% (29/473)
├──────┼─────────────────────────┼───────────────────┤
│ FAR │ 5.924% │ 5.366%
├──────┼─────────────────────────┼───────────────────┤
│ FRR │ 11.273% │ 10.637%
├──────┼─────────────────────────┼───────────────────┤
│ HTER │ 8.599% │ 8.001%
╘══════╧═════════════════════════╧═══════════════════╛
[Min. criterion: EER] Threshold on Development set `dev-2.txt`: 1.652567e-02
╒══════╤═════════════════════════╤═══════════════════╕
│ │ Development dev-2.txt │ Test test-2.txt
╞══════╪═════════════════════════╪═══════════════════╡
│ FMR │ 4.591% (23/501) │ 3.333% (16/480)
├──────┼─────────────────────────┼───────────────────┤
│ FNMR │ 4.484% (20/446) │ 7.006% (33/471)
├──────┼─────────────────────────┼───────────────────┤
│ FAR │ 4.348% │ 3.170%
├──────┼─────────────────────────┼───────────────────┤
│ FRR │ 9.547% │ 11.563%
├──────┼─────────────────────────┼───────────────────┤
│ HTER │ 6.947% │ 7.367%
╘══════╧═════════════════════════╧═══════════════════╛
[Min. criterion: EER] Threshold on Development set `dev-1`: -8.025286e-03
╒══════╤══════════════════════════════════════╕
│ │ Development dev-1 │ Test test-1
╞══════╪══════════════════════════════════════╡
│ FMR │ 6.263% (31/495) │ 5.637% (27/479)
├──────┼──────────────────────────────────────┤
│ FNMR │ 6.208% (28/451) │ 6.131% (29/473)
├──────┼──────────────────────────────────────┤
│ FAR │ 5.924% │ 5.366%
├──────┼──────────────────────────────────────┤
│ FRR │ 11.273% │ 10.637%
├──────┼──────────────────────────────────────┤
│ HTER │ 8.599% │ 8.001%
╘══════╧══════════════════════════════════════╛
[Min. criterion: EER] Threshold on Development set `dev-2`: 1.652567e-02
╒══════╤══════════════════════════════════════╕
│ │ Development dev-2 │ Test test-2
╞══════╪══════════════════════════════════════╡
│ FMR │ 4.591% (23/501) │ 3.333% (16/480)
├──────┼──────────────────────────────────────┤
│ FNMR │ 4.484% (20/446) │ 7.006% (33/471)
├──────┼──────────────────────────────────────┤
│ FAR │ 4.348% │ 3.170%
├──────┼──────────────────────────────────────┤
│ FRR │ 9.547% │ 11.563%
├──────┼──────────────────────────────────────┤
│ HTER │ 6.947% │ 7.367%
╘══════╧══════════════════════════════════════╛
......@@ -54,13 +54,22 @@ def test_roc():
test1 = bob.io.base.test_utils.datafile('test-1.txt', 'bob.measure')
test2 = bob.io.base.test_utils.datafile('test-2.txt', 'bob.measure')
with runner.isolated_filesystem():
result = runner.invoke(evaluate.roc, ['--test', '--output',
result = runner.invoke(evaluate.roc, ['--test', '--split', '--output',
'test.pdf',
dev1, test1, dev2, test2])
if result.output:
click.echo(result.output)
assert result.exit_code == 0
with runner.isolated_filesystem():
result = runner.invoke(evaluate.roc, ['--test', '--output',
'test.pdf', '--titles', 'A,B',
dev1, test1, dev2, test2])
if result.output:
click.echo(result.output)
assert result.exit_code == 0
def test_det():
dev1 = bob.io.base.test_utils.datafile('dev-1.txt', 'bob.measure')
runner = CliRunner()
......@@ -72,6 +81,13 @@ def test_det():
dev2 = bob.io.base.test_utils.datafile('dev-2.txt', 'bob.measure')
test1 = bob.io.base.test_utils.datafile('test-1.txt', 'bob.measure')
test2 = bob.io.base.test_utils.datafile('test-2.txt', 'bob.measure')
with runner.isolated_filesystem():
result = runner.invoke(evaluate.det, ['--test', '--split', '--output',
'test.pdf', '--titles', 'A,B',
dev1, test1, dev2, test2])
if result.output:
click.echo(result.output)
assert result.exit_code == 0
with runner.isolated_filesystem():
result = runner.invoke(evaluate.det, ['--test', '--output',
'test.pdf',
......@@ -93,6 +109,7 @@ def test_epc():
test2 = bob.io.base.test_utils.datafile('test-2.txt', 'bob.measure')
with runner.isolated_filesystem():
result = runner.invoke(evaluate.epc, ['--output', 'test.pdf',
'--titles', 'A,B',
dev1, test1, dev2, test2])
if result.output:
click.echo(result.output)
......
Markdown is supported
0%
or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment