Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.916 (higher is better)
Average character error rate (CER): 0.072 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Vnd ein pferit Die mir vnd
minen knechten vber Rulfand
Den So was mennky ein weg
Senne
Den wir machtend
vnd viehend Sie knecht Die
vnd vil in vntz an Den and
vnd Die
pferit vntz an Die
pettel vnd was ze mol ein groſſe
nebel Dz wir kum gepaſſend
vnd alſo mit groſſer arbeit kame
wir ze mittem tag zů ſant
Einſtoffel vff Den berg Do
So ſach ich Die bůcher Do gar
vil herren wopen zů ſtone
Die w ſür ſelber geben hand
So ſind mincb vatterb plegen
wopen acz in dem amen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.833 0.145

Result for image_10

Average fuzzy score: 0.595 (higher is better)
Average character error rate (CER): 0.412 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jtem zu dem ersten Mÿn herrn graff albrecht vo
lomhalt
Jtem
her ludwig lantgraff von luchtenberg
Jtem groff ott von Remenberg
Jtem groff
Bernhart von Regenstein
Jtem groff gottfried von Raßenla
ch
Jtem groff geßhart von Manßfeld
Jtem groff ludwig von Rußburg
Jtem her Gottschall von Pleß
Jtem her Hans von tw
rgöw
Jtem Jörg Bappenheim
Jtem her S
uppelin von stein wz Vorlÿn Ritter
Jtem lug von Rotenham
Jtem Jörg von Waldenßelß
Jtem Gylprand von Hungen
Jtem Jörg von Glücken
Jtem henßi
n quaſt
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ
her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhar
t von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von
Bless bedpanchn
Itꝰ her hans von tu
rgöw
Itꝰ Jerg vo Bappenhein
Itꝰ her B
uppelin vom stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ Jerg von waldenfelss
Itꝰ h
ÿlprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿ
n quast
0.785 0.237
[73r] addition1 beßpanchÿn 0.000 1.000

Result for image_11

Average fuzzy score: 0.899 (higher is better)
Average character error rate (CER): 0.073 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich von Fülpetten
Ein B
arfüß
Jtem Hans den pfriber
vß dem stift von
ment
z
Hans Loßi camerir
ze mentz
sant johans ordens
Heinrich von wißengardi
Ritt
H
einrich smit sin knecht
von Bern vß
ochßland
L
udwig von Dießbach
Hans von der Grüben
Hans Vlman
heinrich von külstetten
ein b
arfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli comet
ür ze mentz
sant johans ordens
heinrich von wissengerode
Ritt
h
einrich smit sin knecht
von bern vs oechtland
l
udwig von diesbach
hans von der gruoben
hans volman
0.798 0.146

Result for image_12

Average fuzzy score: 0.602 (higher is better)
Average character error rate (CER): 0.391 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vß dem land ze
magdeburg
Cunrat gobe Ritt
Dietrich hertzog
peter ein barfuß priest
Vß luttringen
Jakob von gartzkurt Ritt
Desiderius de minicourt priest
Cola von Bayen ein Enege
Vß holsten land
Jakob Nelang
Hans Zudeck
Heinrich Lang
Vo
n provßburg
Hans von Senfelt ein priest
sant jagams ordenß
Vs dem land ze
megglenburg
Cuonrat hobe Ritt
Dietrich liebzöw
peter ein barfuos priest
vs luttringen
Jokob von harenkurt Ritt
Desiderius vo mirecurt priest
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ei
n pristꝛ
sant Johans ordens
0.805 0.172
[93r] addition1 P
put

gans

priest


priest
0.000 1.000

Result for image_2

Average fuzzy score: 0.723 (higher is better)
Average character error rate (CER): 0.277 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gelbs im fronalter Sic folgend
W
ir gantz vnd em stuck von
Dem heiligen kruz Dz
lit in uff ir brust vnd em
bem von sant marien madalene
rungrot yff off samstag noch
Dem oftertag Dz do
was Der
ander tag Dis abrellen Do
fürend wir gen meran Do
ligend in sant Steffans
kirchen bi hundert Der kindlin
Die herodes erschlug in emem
altar Die folgend wir vnd
sicht man noch beßferdenlich
in hend vnd füß vnd Die
nagel dar an Dz prindet an
Dem pfundentag früz Dz
Selbs im fronaltar die sohend
w
ir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.835 0.143
[4v] addition1 Muram
glab
Suetta
Muran
glas
tten
0.611 0.412

Result for image_3

Average fuzzy score: 0.310 (higher is better)
Average character error rate (CER): 0.787 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Vnd die jnsel ist bi cc mil
wit vnd ist der venediger
jst von turchi vnd von
modon sind al mil vnd
ist och ein g
übßig stat vnd
ein ertzoistunng vnd ist och
der venediger ze modon
wachßst der rumanier vnd
ist och do bi ein hailig geyst
das bi ij milen
jst von modon biß gen candia
sind cc mil vnd candia
ist ein groß jnsel vij mil
wit vnd wachßst der
rumanier do vnd ist och
der venediger
jst von candia vnd gen rodib
sind
cc mil wir aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein h
übsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vntz gon rodis
sind c
cc mil wer aber
0.863 0.148
[9v] addition1 Candia
Czeta.
Vinum
Malma
ticuum.
Rhodib.
Candia vff
Creta
0.379 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.828 (higher is better)
Average character error rate (CER): 0.165 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Das graf von Rantzburg
vnd fast all ander ritter
vnd
knecht wolten mit
dem day in was entzwaigt
recht vßgenomen ges. Jacob
von Gatzgunt vnd Hans
von Hertzgantz ritter
Die zwen werend gery
mit mir gesin aber der
patroy wolt vnsr mit
beiten do der melteil mit
dem walt vnd also mißen
wir mit groſſen vnwillen
dannen schaiden day wir
mit dem patroy vnd
ock den bruͤdern dar
vmb garrent ze zypren
wazzer dz guter
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz zu
ker
0.790 0.203
[18r] addition1 Sarchant
in cypro
naſtz
Saccharu
in Cypro
nascit
0.694 0.292

Result for image_5

Average fuzzy score: 0.858 (higher is better)
Average character error rate (CER): 0.138 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text If Sar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre gewes
sen
und monntag in gelegen
ist vnd do hay verstanden
an dem dritten tag von
dem tod
Vnd dem vor des tempels
Do ist ein berg und stat dan
bi ein
klein stein Do sprach
vnser herre Dz were das mittel
der welt
Auf die notgeschriben stand die
Die pilgerstat ofwendig des
tempels in der stat
Vnd das grab des heiligen vater
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.858 0.138

Result for image_6

Average fuzzy score: 0.779 (higher is better)
Average character error rate (CER): 0.258 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Iſt dem patron in groſſen
fuir fin zekunfft
Iſt ze emauß ein groſſen
Iſt ze I
heruſalem j groſſ z
kunfftig
von dem epleu
Iſt dem
conſul n groſ
Iſt in dem tempel j groſ
Iſt ze Bet
haſſem ein groſ
Iſt ze ſant ioſans ein groſ
Iſt wider ze Iheruſalem ein
groſ ze kunfftig aber j groſ
Iſt wider in dem tempel in
groſ
Iſt ze dem iordan j groſ
vō dem epleu ze tōg
Iſt aber ein groſ ze kunfft
Iſt aber ze Iheruſale j groſ
.
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betla
hem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ aber ze J
herusale i gros.
0.779 0.258

Result for image_7

Average fuzzy score: 0.846 (higher is better)
Average character error rate (CER): 0.201 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Des selben tags gay salzburg In der wuerz
gay jrsay den
balmburg des do waz
Der sibenzelfende tag Vntz an wir
gay selterß jrsay den a
chtzelfende
tag gay terßis N
üd bliben zwen
tag do n
üd firend an den Gosten
s
unntag Der do waz der achtzün
zwenczigt tag Des merzgen Vff
den Wasser No terßis gay vellendig
jrsay den operobay der do waz der
lest tag ing merzay Do sahen wir
etwe mainigen sithurzen Lnd groste
pffaff als mechtige Fürsten selbste
von sant marß münster vnd des
Hertzogay palast der ist gemalt hie
palatium poud ducis vil geen vnder
magnifi vnd knechten kna
ppen Die denÿ
ze venedig gewesen sind Ds ist
ein Cappell an dem münster Do ist
der prinz in ein altar gevasset ds
Vnsers
behalter Jhs Xps Vff sas
des selben tags gon falzion In der wur-
gen Itꝰ an dem
balmtag derdo wz
der s
ubenzehende tag Ritten wir
gon felters
Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd f
uorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem ostero
ben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitk
usten vnd grosse
s
chiff als mechtige hüser och sohe
wir sant marx m
ünster vnd des
hertzogen palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind
Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vnser
behalter Jhs Xps vff fas
0.771 0.246
[62v] addition1 Venedig
Ducis.
palatium
magnifi
cum.
Veneti
Ducis
palatiu
magnifi
cum
0.921 0.156

Result for image_8

Average fuzzy score: 0.498 (higher is better)
Average character error rate (CER): 0.509 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Der nacht kome pfiffer vn
trumeter zummen, hernach
Die galley vnd hofierten so
finey gnaden Die
glich kome
Die windeptzen pfiffer vnd
trumeter vnd bögsen schieser
Nu hofierten so ach nach vñ
bittẽ also ward nñe gnedige
heren vnd alley dey fine vil
eceyꝛ
bettey Ich mündet gſ
gey tag fineñt
wir da donne
Und
komeñ ach freitag nach funt
velent tag Det do
koz Det erst
tag in vastmonet den funfzeñ
Iſt ein affene pat hint zwelch
geſchloſen Deſslüſserÿ ob Det
stat von vñ funktag Donndeñ
fineñt wir da donne Nu ach
zinstag vor funt vitz tagñ
komeñ zu vns in galley
by zwo
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des
glich kome
die windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do er
botten Itꝰ morndes ge
gen tag fuorent
wir do dannen
vnd kamen vff freitag nach sant
vr
bans tag der do wz der erst
tag im brachmonet gon
kurfon
dz ist ein schone stat mit zwen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.735 0.277
[69r] addition1 Honoraÿ
Marchio
in exi
bili.
Honores Marchio
ni exhi
biti
0.759 0.250

Result for image_9

Average fuzzy score: 0.522 (higher is better)
Average character error rate (CER): 0.637 (lower is better)
View raw result from gemini-2.5-flash-preview-09-2025

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu Ianu ꝛg bepſtoff Do ſelbe
Nu zangt man vnd Iꝛ geſ
chü
ꝛy Iꝛy thümp Do ſel
be Iꝛ
ſunt thÿmꝰ houpt Diꝛ Iꝛde
ꝛeyſy junger emen wꝰ Iꝛy ſunt
Barbara vnd kunigk Da zÿpꝛy
beſter houpt Iꝛy ſunt bleſyſy
vnd ach zeh Nu ſunt andꝛe nem Iꝛy
draciy wꝛy Nu ſunt peſsimꝰ wꝛy Iꝛy nu
xeb ſuvan ſoltz zwey zen Iꝛy Do ſunt appolo
wix in frieſt mien Vfgeſlage wurdent Iꝛy
nacht mit nu Vf mentag Var ſunt Joſant
wrißt Diꝛ blüꝛy Ge Dungerſty fürcy vnw
gꝛy vnd gall pandia Lou fürend an Iꝛy
vnd genz frieſt nu entwich für die piſchꝛechi
vnd nu Iꝛdſpꝛey Do kam zu nu ſattela
wꝛyſy val ſchꝛier ſeyt Do wſpꝛute ſich die
nu ſundt wriſt pſiſlut all gememlig vnd
gency ſpital menemend all bilgerin Iꝛe
vn dem haime
wriſuſ klaſu
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
to
chter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch f
ür die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.546 0.664
[70v] addition1 Von zongenia
nuß ach zeh
draciy
wꝛy
xeb ſuvan ſoltz z
wey zen Iꝛy
wix in frieſt mien
tentcil blangt
nacht mit nu
wrißt Diꝛ bleꝛy
gꝛy vnd gall
vnd genz
frieſt
vnd nu Iꝛdſpꝛey
wꝛyſy val ſchꝛier
nu ſundt wriſt
gency ſpital
vn dem haime
wriſuſ
klaſu
vn zougt ma
vns och ze ka
dia ein
win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii
frucht trüg
vn ist die reb
gegen de spital
in de
m kleine
Bar
fuossekloster
0.497 0.611