Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.941 (higher is better)
Average character error rate (CER): 0.054 (lower is better)
View raw result from gemini-2.5-flash

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Vnd ein pferit Die mir vnd
minen knechten vber Rulfand
Sen So was mencky kein weg
Denne den wir machtend
vnd ziehend Sie knecht die
vnd vil in vntz an den and
vnd die
pferit vntz an die
bettel vnd was ze mol ein grosse
nebel do wir kaum gesahend
vnd als mit grosser arbeit kame
wir ze mittem tag zu sant
kinroffel vff den berg Do
do sach ich die buecher do gar
vil herren
wopen zu stonde
die in four edlen geley hand
do seind mincs vattero pflegen
wopen ach in dem einem
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wopen och in dem einen
0.881 0.109

Result for image_10

Average fuzzy score: 0.588 (higher is better)
Average character error rate (CER): 0.424 (lower is better)
View raw result from gemini-2.5-flash

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jtem zuo dem ꝛsten Maij heind graff albrecht vo
Lombgalt
Jtem
her ludwig lantgraff von luchtenberg
Jtem graff ott von Remenberg
Jtem graff
Bernhart von Regenstein
Jtem graff gůtfrꝛd von Rastens
chlag
Jtem graff ꝛchhart von Mansfeld
Jtem graff ludwig von Ruburg
Jtem her Gottschall von Pless
Jtem her Hans von tw
rgöw
Jtem Jörg Bayenschein
Jtem her Su
ppelin von Stein wz Vochlin Ritter
Jtem lug von Rotenhan
Jtem Jörg von Waldenschafft
Jtem Gylprand von Hungen
Jtem Jö
rg von Slueben
Jtem henrij
n quast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ
her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhar
t von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von
Bless bedpanchn
Itꝰ her hans von tu
rgöw
Itꝰ Jerg vo Bappenhein
Itꝰ her Buppelin vom s
tein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿ
n quast
0.764 0.271
[73r] addition1 bedspanschind 0.000 1.000

Result for image_11

Average fuzzy score: 0.890 (higher is better)
Average character error rate (CER): 0.092 (lower is better)
View raw result from gemini-2.5-flash

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich von Eülspetten
nig das hüs
Jüma
sch den pfriber
vß dem stift von
mentz
Hans loffi tomꝛein ze mantz
sant johans ordens
Heinrich von
wiſſengaꝛde
Rittꝛ
Heinrich smit sin knecht
von bern vbi
oͤstland
Ludwi
g von Dießbach
Hans von der Grüben
Hans Vlman
heinrich von lstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Ritt

heinrich smit sin knecht
von bern vs oechtland
lud
wig von diesbach
hans von der
gruoben
hans volman
0.780 0.185

Result for image_12

Average fuzzy score: 0.589 (higher is better)
Average character error rate (CER): 0.403 (lower is better)
View raw result from gemini-2.5-flash

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vß dem land ze
magdenburg
Cunrat Gobe Ritter
Dietrich hertzog
peter ein Barfuß prieſt
Vß Luttringen
Jakob von garzkurt Ritter
Deſiderius de miricurt prieſt
Cola von Bayen ein Encoſte
Vß Golſſen land
Jakob Veltang
H
ans Ruderß
Heinrich Lang
Von Frowburg
Hans von Genf
elt ein prieſt
Hans
Jagans deſelb
Vs dem land ze
megglenburg
Cuonrat hobe Ritt
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Ritt
Desiderius vo mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
h
ans Rudbeck
heinrich lang
von strosburg
hans von bens
elt ein pristꝛ
sant
Johans ordens
0.766 0.208
[93r] addition1
Püſ
Put
0.000 1.000

Result for image_2

Average fuzzy score: 0.754 (higher is better)
Average character error rate (CER): 0.249 (lower is better)
View raw result from gemini-2.5-flash

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gelbs im fronaltar Sie solgend
wir gantz vnd em stuck von
Dem heiligen kruz Dz
lit in uff ir brust vnd em
bein von sant marien madalene
ringyrot Jst vff samstag noch
Dem vffertag Der do
was Der
ander tag Sib abrelen Do
fürend wir gen meran Do
ligend in sant # steffans
kilchey bi hundert Der kindlin
Die herodes erschlug in emem
altar Die solgend vns vnd
sicht man noch bestgordenlich
in rand vnd für vnd die
nagel dar an sy apindet an
Dem pfunentag früg Do
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.842 0.146
[4v] addition1 Muram
glas
fuett
Muran
glas
tten
0.667 0.353

Result for image_3

Average fuzzy score: 0.756 (higher is better)
Average character error rate (CER): 0.363 (lower is better)
View raw result from gemini-2.5-flash

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Und die insel ist bi ccc mil
wit und ist der Venediger
ist von turc
key vmb zey
modun sind xc mil und
ist ouch ein guoter par und
ein en
tzboutung und ist ouch
der V
enediger ze modun
wachsset der rumanier und
ist ouch do bi ein heilig gespet
do bi ij milen
ist von modun bis gen candia
sind ccc mil und candia
ist ein grob insel vij mil
wit und wachset der
maluasier do und ist ouch
der Venediger
ist von candia vmb gen rodis
sind ccc mil wer aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von
kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein er
tzbistum vnd ist och
der v
enediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vntz gon rodis
sind ccc mil wer aber
0.851 0.146
[9v] addition1 Candia
Cyeta.
Candia vff
Creta
0.733 0.375
[9v] addition2 Vinum
Malua
vicum maluasier
Virum
Malva
ricum
0.609 0.765
[9v] addition3 Rhody. Rhod. 0.833 0.167

Result for image_4

Average fuzzy score: 0.852 (higher is better)
Average character error rate (CER): 0.153 (lower is better)
View raw result from gemini-2.5-flash

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der graff von Romburg
vnd fast all ander ritter
vnd
knecht wolten mit
Sam dem in was entwilgt
Recht vßgenomen ges. Jacob
von Gatzguart vnd Hans
von Hertzogßberg Ritter
Die zwey werend gesen
mit mir geschin aber der
patron wolt vnser mit
beiten So der meisteil mit
Das wolt vnd also missen
wir mit grossen vnwilleÿ
Sam̃a begirden der wir
mit dem patron vnd
ochs der brüderen der
vns garrend ze zÿren
wasste es guter
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz zu
ker
0.797 0.208
[18r] addition1 Sarchani
in Cypro
najitz
Saccharu
in Cypro
nascit
0.760 0.250

Result for image_5

Average fuzzy score: 0.366 (higher is better)
Average character error rate (CER): 0.676 (lower is better)
View raw result from gemini-2.5-flash

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Jch Sar noch got man in die
c
appel des heiligen grabes
Es ist ein altar von marmel
stein gemacht vber das heilig
grab do vnsꝛ
herre gewes-
sen vnd monntag in gelegen
ist vnd do von vffstanden
an dem dritten tag von
dem tod
Vnd von dem
tempel
So ist ein lang vnd stat hin
B
i ein klein stein do sprucht
vnsꝛ herre Es wari das mittel
der welt
Itꝰ dar noch got man in die
k
appel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser
herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des
tempels
do ist ein loch vnd stot dar
b
i ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.732 0.352
[23v] addition1 Dise nott geschriben stend die
Bileger stat ofwendig des
tempels my der stat
0.000 1.000

Result for image_6

Average fuzzy score: 0.738 (higher is better)
Average character error rate (CER): 0.272 (lower is better)
View raw result from gemini-2.5-flash

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Roſꝰ Dem patron in groſſem
für ſin zierung
ꝛoꝰ ze
cmaꝛ ein groſſen
ꝛoꝰ ze
Jeruſalem in groſſꝰ z
fünffzig
von dem opfer
ꝛoꝰ dem
conſul n groſ
in dem tempel in groſ
ꝛoꝰ ze Bettaſem ein groſ
ꝛoꝰ ze ſant
Joſam ein groſ
ꝛoꝰ wider ze Jeruſalem ein
groſ ze fünffzig aber in groſ
ꝛoꝰ wider in dem tempel in
groſ
ꝛoꝰ ze dem Jordan in groſ
ꝛoꝰ dem opfer ze lon
ꝛoꝰ aber ein groſ ze fünffig
ꝛoꝰ aber ze Jeruſalem in groſ
.
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem
consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant
Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ aber ze
Jherusale i gros.
0.738 0.272

Result for image_7

Average fuzzy score: 0.793 (higher is better)
Average character error rate (CER): 0.227 (lower is better)
View raw result from gemini-2.5-flash

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Des selben tags gay salzburg In der wueꝛ
gay jesay dem
balmtag des do wꝰ
Des sibenzehenden tags vittzy w
ueꝛ
gay feltzeb jesay dem a
chczehende
tag gay terfis N
ud bliben zwey
tag do nud firend an dem Gotsen
Donstag des do wꝰ der a
cht vn
zwenczigt tag des merxey Vff
den Wasser No terfis gay vellechtig
Jesay dem opcroben des do wꝰ der
lest tag in merxey Do solhen wir
etwe manigey sithuꝛey Und grose
pffiff als mechtige güter selbste
von sant maro minster vnd des
Gevogtey palast der ist gemolstain
von pund daruß vil geden Vnd er
nud knechttey Knu
ppen Die denn
Ze Venedig gewesey sind Es ist
ein Cappell an dem minster Got
der
pey in ein altar gevasset ist
Vnser Balsalter des opß Vff sas
des selben tags gon falzion In der wur-
gen Itꝰ an dem
balmtag derdo wz
der s
ubenzehende tag Ritten wir
gon felters
Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd f
uorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem ostero
ben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitk
usten vnd grosse
s
chiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind
Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs X
ps vff fas
0.770 0.234
[62v] addition1 Venechꝛ
Ducis.
palatium
magnificum.
Veneti
Ducis
palatiu
magnifi
cum
0.817 0.219

Result for image_8

Average fuzzy score: 0.500 (higher is better)
Average character error rate (CER): 0.504 (lower is better)
View raw result from gemini-2.5-flash

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Von nattuor kome in pfiffer vn
trumeter zummen. hernach
Die gallen vnd hoßerten zů
finen gnaden Die
glich kome
Die windepfpen pfiffe vnd
trumeter vnd boßenhaßer
Nu hoßerten zů ach nach in
fitten alß
ward mine gnedige
herren vnd aller der fine vil
erxi
erbotten Ich muondert ge
gen tag fun
ent wir zů donne
vnd kamen vff fritag nach funt
Velem
b tag der do was der erst
tag in
brudtmonet den funfen
erest ein offene pat hirt zurch
geschloßen deßhal
ben ob der
rat von vff funtag donnert
funent
wir zů donne der vff
zinstag vor funt vitz tag
kamen zů vns in gallen by zuop
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des
glich kome
die windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also
ward mine gnedige
hern vnd allen den sine vil
eren do
erbotten Itꝰ morndes ge
gen tag fuor
ent wir do dannen
vnd kamen vff freitag nach sant
vr
bans tag der do wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit zwen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.764 0.262
[69r] addition1 Honora
Marchio
er exi
bibi.
Honores Marchio
ni exhi
biti
0.737 0.250

Result for image_9

Average fuzzy score: 0.508 (higher is better)
Average character error rate (CER): 0.661 (lower is better)
View raw result from gemini-2.5-flash

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu Sꝛy erg bꝛschoff Do selbe
Nu zungt man vnd Iꝛ gꝛlten
in dem thum Do selbe Iꝛ
sunt hÿntus houpt Die ꝛoꝛ
kopff junger eynꝛ wꝛgꝛt sꝛt
Bꝛrbꝛrꝛ emb kungt Nu zÿpꝛy
bꝛstꝛr houpt Iꝛ sunt blesÿen
Nuß ꝛch zꝛh Nuß sunt ꝛndꝛs nam Iꝛ
dꝛ cÿg wꝛg Nuß sunt pꝛssimb ꝛwÿg Iꝛ nu
kꝛb dꝛwꝛn solt zwꝛy zꝛh Hie Do sunt ꝛppolo
wꝛr in fꝛÿtt nien Iꝛgꝛflagt Lwrdent Iꝛ
hantꝛil blꝛwnt
wꝛrt mit nꝛff Mꝛntꝛg Vꝛr sunt Jollꝛnß
wꝛrbt Die blꝛ kꝛy Gꝛ Dünstꝛgky fÿrꝛy vnn
gꝛy vnd Gꝛll vnd Pꝛndiꝛ Lw fÿrꝛnd ꝛnÿ
Lw gꝛnüg nÿg nÿg vnn nÿg Pꝛndiꝛ Lw fÿrꝛnd ꝛnÿ
wꝛrꝛs vnn fÿr ꝛntwunt sich die pꝛfꝛssÿ
vnd vnn Indispꝛy Do kꝛm Zü Nuß kꝛttelꝛ
wꝛgꝛy Vꝛl Mꝛrkÿw fꝛyt Do Lwppute sꝛt die
nÿ fꝛndtt trÿg
vnd pꝛ Die rꝛt pꝛsÿflut ꝛll gꝛmꝛnschꝛft Vnd
gꝛgꝛy sꝛpitꝛl Lwrmꝛnd ꝛll bilgerÿn Iuꝛ
Vn dꝛm hꝛimꝛ
bꝛwffsꝛ klꝛpꝛr
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor
Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.514 0.762
[70v] addition1 Vn zungt ma
vnd ach zꝛh
dꝛ cÿg
wꝛg
kꝛb dꝛwꝛn solt
wꝛr in
fꝛÿtt nien
hantꝛil blꝛwnt
wꝛrt mit nꝛff
wꝛrbt Die blꝛ
kꝛy
gꝛy vnd Gꝛll
Lw gꝛnüg nÿg
wꝛrꝛs vnn fÿr
vnd vnn Indispꝛy
wꝛgꝛy Vꝛl Mꝛrkÿw
nÿ fꝛndtt trÿg
vnd pꝛ Die rꝛt
gꝛgꝛy sꝛpitꝛl
Vn dꝛm hꝛimꝛ
bꝛwffsꝛ klꝛpꝛr
vn zougt ma
vns och ze ka
dia ein
win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem
kleine
Bar
fuossekloster
0.501 0.561