Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.923 (higher is better)
Average character error rate (CER): 0.070 (lower is better)
View raw result from gemini-2.5-pro

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Vnd ein pferit Die mir vnd
minen Energen vber Rul
pend
Sen So was menen Ein weg
Senne Den wir machtend
vnd viehend Sie Energe Sut
vnd vil in vntz an Sen anß
vnd Sie
pferit vntz an Die
petel vnd was ze mol ein grosse
nebel dz wir kum gepasend
vnd alß mit grosser arbeit kome
wir ze mittem tag zu sant
Eirrossel vff Sen berg So
So sach ich die buecher So gar
vil Gerren wopen zu pont
Die in stur Solrin geben hand
So seind mines vatterß flugen
wopen och in dem einen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.847 0.139

Result for image_2

Average fuzzy score: 0.744 (higher is better)
Average character error rate (CER): 0.197 (lower is better)
View raw result from gemini-2.5-pro

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Selbs im fronaltar Sie stoßend
W
ir gantz vnd em sinct von
Dem heiligin fron crütz dz
lit in vff ir brust vnd ein
bein von sant marien madalene
ringgÿrot jst vff samstag noch
Dem ostertag Der do
was Der
ander tag Des abrellen Do
fúr
end wir von meran do
ligend in sant # steffans
kilchen bi hundert Der kindlin
Die herodes erßlug in emem
altar Die stoßend vorn vnd
sicht man noch besunderlich
ir hend vnd fús vnd die
nagel dar an spinden an
Dem pfinentag frúg do
Selbs im fronaltar die sohend
w
ir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die soh
end wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.882 0.100
[4v] addition1 Muran
glas
fu
eth
Muran glas hütten 0.606 0.294

Result for image_3

Average fuzzy score: 0.332 (higher is better)
Average character error rate (CER): 0.778 (lower is better)
View raw result from gemini-2.5-pro

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Vnd die jnsel ist bi cc mil
wit vnd ist der venediger
Jst von kurfun vntz gan
modun sind al mil vnd
ist ouch ein guͤbspag stat vnd
ein ertzbistum vnd ist ouch
der venediger ze modun
wachßet der rumanier vnd
ist ouch do bi ein heilig berget
do bi ij milen
Jst von modun biß gan candia
sind cc mil vnd candia
ist ein gros jnsel vÿ mil
wit vnd wachßet der
hicum maluasier So vnd ist ouch
der venedier
Js
t von candia vntz gan rodis
sind ccc mil wir aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
It von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
It von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
I
t von candia vntz gon rodis
sind ccc mil wer aber
0.901 0.111
[9v] addition1 Candia
Cyeta
Vinum
Malba
Rhody.
Candia vff Creta 0.426 1.000
[9v] addition2 Virum Malva ricum 0.000 1.000
[9v] addition3 Rhodg. 0.000 1.000

Result for image_4

Average fuzzy score: 0.861 (higher is better)
Average character error rate (CER): 0.140 (lower is better)
View raw result from gemini-2.5-pro

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der graff von Romburg
vnd s
ust all ander ritter
vnd
knecht wolten mit
Jm Sey in was enteilwagt
Recht vffgenomen gen Jacob
von Garegnart vnd gamb
von hertgenßeig vitter
Die zwen werend gern
mit mir gsin aber der
patron wolt vnser mit
beiten So der merteil mit
Jm wolt vnd also mußen
wir mit grossem vnwillen
Darumb begerden sey wir
mit dem patron vnd
och den brüderen dar
umb gartend ze zipren
wachtte dz guter
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz z
uker
0.823 0.171
[18r] addition1 Sarchani
in Cypro
nascitur
Sachharu in Cypro nascit 0.760 0.250

Result for image_5

Average fuzzy score: 0.401 (higher is better)
Average character error rate (CER): 0.642 (lower is better)
View raw result from gemini-2.5-pro

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text + Uf dar nach gat man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab d
o vnser herre geweser
got vnd mensch in gelegen
ist vnd do nach
vferstanden
an dem dritten tag von
dem tod
Item dem vor dem tempelo
do ist ein loch vnd stat dar
bi ein klein stein, do sprach
vnser herre dz were das mittel
der welt
It dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab D
o vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von
vferstanden
an dem dritten tag von dem tod
It in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
It hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
It das hus des karge riche
0.801 0.285
[23v] addition1 Disse nachgeschriben stond die
pilger stet vßwendig des
tempels in der stat
0.000 1.000

Result for image_6

Average fuzzy score: 0.791 (higher is better)
Average character error rate (CER): 0.226 (lower is better)
View raw result from gemini-2.5-pro

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Voñ dem patron ij grossen
für sin zierung
Voñ ze emad ein grossen
Voñ
ze Jherusalem ij gross z
kurtzig
von dem cplay
Voñ dem conful N gr
ab
Voñ in den tempel ij grob
Voñ ze betlahem ein grob
Voñ ze sant Johans ein grob
Voñ wid
er ze Jherusalem ein
grob ze kurtzig aber j grob
Voñ wider in den tempel iij
grob
Voñ ze dem jordan ze ij grob
Voñ dem cplay ze lon
Vof aber ein grob ze purific
Vof aber ze Jherusalem j grob
.
It dem patron iii grossen
für sin zerung
It ze emaus ein grossen
It ze Iherusalen i gross ze
kurtisig von den eselen
It dem consul v gros
It in den tempel ii gros
It ze betlahem ein gros
It ze sant Johans ein gros
It wider
ze Jheruaelem ein
gros ze curtasig aber i gros
It wider in den tempel iiii
gros
It ze dem Jordan xii gros
vo den eselen ze lon
It aber ein gros ze
curtisig
It
aber ze Jherusale i gros.
0.791 0.226