Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.919 (higher is better)
Average character error rate (CER): 0.074 (lower is better)
View raw result from gemini-2.5-flash

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Vnd ein pferit Die mir vnd
minen knechten vber Rulfand
Sen So was menchen Eim weg
Senne Sen Wir machtend
vnd vichend Sie knecht Sid
vnd vil in vntz an Sen and
vnd Sie
pferit vntz an Die
petel vnd was ze mol ein grosse
nebel Dz wir kum gepassend
vnd als mit grosser arbeit kame
wir ze mittem tag zu sant
Eimfoffel vff Sen berg So
So sach ich Die bucher So gar
vil herren wappen zu stont
Die in four Selgen geben hand
So sind mincs vattero plagen
wappen ach in Sem anen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.838 0.149

Result for image_2

Average fuzzy score: 0.773 (higher is better)
Average character error rate (CER): 0.210 (lower is better)
View raw result from gemini-2.5-flash

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gelbe im fronaltar Sic bofend
W
ir gantz vnd ein stück von
Dem heiligen kruz Dz
lit in vff in brust vnd ein
bein von sant marien madalene
vinggrot vff samstag noch
Dem ostertag Do
was Der
ander tag Sib abrelten Do
fürend wir gen meran Do
ligend in sant steffans
kilchen bi hundert Der kindlin
Die herodes erschlug in einem
altar Die bofend wir vnd
sicht man noch befferdentlich
in hand vnd füe vnd die
nagel dar an vff prindet an
Dem pfinentag früg Do
Selbs im fronaltar die sohend
w
ir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.860 0.126
[4v] addition1 Murzan
glas
fue
ttn
Muran glastten 0.686 0.294

Result for image_3

Average fuzzy score: 0.378 (higher is better)
Average character error rate (CER): 0.674 (lower is better)
View raw result from gemini-2.5-flash

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text vnd die insel ist bi cc mil
wit vnd ist der venediger
ist von curfuy vmb xxv
modum sind xl mil vnd
ist och ein gůbesig stat vnd
ein ertbistum vnd ist och
der venediger
ze modum
wachset der rumanier vnd
ist och do bi ein heilig gespet
do bi ij milen
ist von modum biß gen candia
sind cc mil vnd candia
ist ein grob insel vij mil
Malua
wit vnd wachset der
vinum maluasier do vnd ist och
der venediger
ist von candia vmb xxv rodib
sind
cc mil wir aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
It von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
It von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
It von candia vntz gon rodis
sind c
cc mil wer aber
0.880 0.131
[9v] addition1 Candia Candia vff Creta 0.545 0.625
[9v] addition2 Cycta. Virum Malva ricum 0.087 0.941
[9v] addition3 Vinum Rhodg. 0.000 1.000

Result for image_4

Average fuzzy score: 0.838 (higher is better)
Average character error rate (CER): 0.169 (lower is better)
View raw result from gemini-2.5-flash

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der graff von Romtzburg
vnd fast all ander ritter
vnd
knecht wolten mit
Das sey in was entweicht
richt vffgenomen ges. Jacob
von Gattgurt vnd Hans
von Hertzberg ritter
Die zwen werend gesen
mit mir gesin aber der
patron wolt vnser mit
beiten So der meisteil mit
Das wolt vnd also missen
wir mit grossem vnwillen
Dannach begerten sy wir
mit dem patron vnd
och den brüderin der
vmb gartent ze zipren
wasche dz guter
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz zu
ker
0.819 0.174
[18r] addition1 Sarchant
in Cypro
najestz
Sachharu in Cypro nascit 0.694 0.333

Result for image_5

Average fuzzy score: 0.370 (higher is better)
Average character error rate (CER): 0.665 (lower is better)
View raw result from gemini-2.5-flash

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Jst Sar noch got man in Die
K
appel des heiligen grabes
Es ist ein altar von marmel
Stein gemacht vber das heilig
grab S
o vnser herre gewes
sot vnd monntag in gelegen
ist vnd So Say
vffstanden
an dem dritten tag von
dem tod
Jm dem t
or des tempels
So ist ein lang vnd stat hin
B
i ein klem Stein So sprucht
vnser herre Es were das mittel
der welt
It dar noch got man in die
k
appel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab D
o vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von
vferstanden
an dem dritten tag von dem tod
It in dem c
or des tempels
do ist ein loch vnd stot dar
b
i ein klein stein do sprach
vnser here dz were das mittel
der welt
It hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
It das h
us des karge riche
0.741 0.331
[23v] addition1 Dise notgeschriben stand Die
Die pilgerstat offwendig des
tempels in der stat
0.000 1.000

Result for image_6

Average fuzzy score: 0.771 (higher is better)
Average character error rate (CER): 0.248 (lower is better)
View raw result from gemini-2.5-flash

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Jst Dem patron in grossen
nfftzig von Ein spley
Jst ze Emad Ein grossen
Jst ze Jerusalem in grossen
fünfftzig
von Ein spley
Jst Dem consul n gros
Jst in Dem tempel in gros
Jst ze Betta
hem Ein gros
Jst ze sant johans Ein gros
Jst wider ze Jerusalem Ein
gros ze cünfftzig aber in gros
Jst wider in Dem tempel in
gros
Jst ze Dem jordan in gros
Jst Dem spley ze lon
Jst aber Ein gros ze cünfftzig
Jst aber ze Jerusalem in
gros.
It dem patron iii grossen
r sin zerung
It ze emaus ein grossen
It ze Iherusalen i gross ze
kurtis
ig von den eselen
It dem consul v gros
It in den tem
pel ii gros
It ze betlahem ein gros
It ze sant
Johans ein gros
It wider ze
Jheruaelem ein
gros ze curtasig aber i gros
It wider in den tempel iiii
gros
It ze dem
Jordan xii gros
vo den eselen ze lon
It aber ein gros ze curtisig
It aber ze
Jherusale i gros.
0.771 0.248