Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.446 (higher is better)
Average character error rate (CER): 0.552 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 8 3 0.000 1.000
[3r] text Vnd ein pfert die wir vnd
ynnen knechten vber hulffend
den So waz menem eyn weg
dame den wir macfftend
vnd viefend die knecft duf
vns vil in vnß ayden ars
vnd die pfert vnß an die
fetel vnd was ze mol ein grosser
nebel dz wir k
üm gesaffend
vnd als mit grosser arbeit kame
wir ze mittem tag zü sant
kristoffel vff den
perg do
do sach ich die bücher do gar
vil herren wopen jn ston
die ir stür dahin geben hand
do stund mines vatters sligen
wopen och in dem einen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wopen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.891 0.105

Result for image_2

Average fuzzy score: 0.627 (higher is better)
Average character error rate (CER): 0.436 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Selbs my frowaltare Sie fefzend
win gantz vnd ein stuck von
dem heiligen fron crütz dz
lit in vff ir brust vnd ein
bein von fant marien madalsne
rüggratt jst vff samstag nach
dem ostertag der do
was der
ander tag des abrellen do
fürend wir gen megan do
ligend in sant stephans
kilchen be hündert der kindlin
die herodes erstlüg in einem
altar die selbe wond vnd
sicht man noch bescheidenlich
ir hend vnd füs vnd die
nagel dar an wundas in
dem sümentag früig do
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuorend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.891 0.107
[4v] addition1 Megan Muran glas hütten 0.364 0.765

Result for image_3

Average fuzzy score: 0.656 (higher is better)
Average character error rate (CER): 0.365 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text vnd die jnsel ist bi cc mil
wit vnd ist der venediger
ist von kurssn vnz gon
modun sind cc mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger zu modun
wachsset der rumanien vnd
ist och do bi ein heilig geistet
do bi ij milen
vnd die insel ist bi ccc mil
wit vnd ist der venediger
It von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
It von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
It von candia vntz gon rodis
sind ccc mil wer aber
0.671 0.466
[9v] addition1 Candia
Creta
Candia vff Creta 0.786 0.250
[9v] addition2 Vinum
m
aluasier
Virum Malva ricum 0.500 0.412
[9v] addition3 Rhodis Rhodg. 0.667 0.333

Result for image_4

Average fuzzy score: 0.910 (higher is better)
Average character error rate (CER): 0.075 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der graff von swartzburg
vnd fast all ander ritter
vnd knecht wolten nit
dar dan ir was enteilwol-
lich vsz
genomen her jacob
von habern
ut vnd hans
von lietenstein ritter
die zwen werent gern
mit mir gesyn aber der
patron wolt vnser nit
beiten Do d
u merteil mit
dar wolt vnd also musten
wir mit grossem vnwillen
dannen scheiden den wir
mit dem patron vnd
och den briederen dar
vmb hattend ze zyten
wachsz
t dz zuker
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vs
genomen her jokob
von hareg
urt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachse
t dz zuker
0.890 0.101
[18r] addition1 Saccharu
in Cypro
nascitr.
Sachharu in Cypro nascit 0.840 0.125

Result for image_5

Average fuzzy score: 0.852 (higher is better)
Average character error rate (CER): 0.141 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Das nach got may in die
t
ugent des heiligen grudes
Do ist ain altar vnd wurmet
stain gemacht vber das heilig
grad do vnser herre geworw
hot vnd monstig in gelegen
ist. vnd ist do vferstanden
an dem dritten tag von
dem tod

It In dem tor des tempels
do ist ein loch vnd stat au-
ch ain
klain stain do sprach
vnser here es were das mittel
der welt

It Me nachgeschriben stond Die
Die bildgrostet vswendig des
tempels in der stat

It Das hus des bisch[?] ruso
It dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
It in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
It hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
It das h
us des karge riche
0.852 0.141

Result for image_6

Average fuzzy score: 0.824 (higher is better)
Average character error rate (CER): 0.219 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Item von patron ij grosser
stür
by geducht
Item ze emaus ein grossen
Item ze iherusalem j gross ze
kürchen von den esten
Item dem tempel v gross
Item den tempel vj gross
Item ze betlahem ein gross
Item ze sant johans ein gross
Item wider ze iherusalem ein
gross ze curtisier aber j gross
Item wider in den tempel iij
gross
Item ze dem jordan ein gross
von den eseln ze lon
Item aber ein gross ze purifier
Item aber ze iherusalem j gross
It dem patron iii grossen
für sin zerung
It ze emaus ein grossen
It ze Iherusalen i gross ze
kurtisig
von den eselen
It dem consul v gros
It in den tem
pel ii gros
It ze
betlahem ein gros
It ze sant Johans ein gros
It wider ze Jheruaelem ein
gros ze
curtasig aber i gros
It wider in den tempel iiii
gros
It ze dem Jordan xii gros
vo den eselen ze lon
It aber ein gros ze curtisig
It aber ze J
herusale i gros.
0.824 0.219