Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.891 (higher is better)
Average character error rate (CER): 0.102 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text vnd ein pferit Die mir vnd
minen energen vber Rul
pend
Son So was menen k
ün weg
Sonne Das wir machtend
und viehend Sie Energt Sind
und vil in vntz an den anß
ond Sie
pferit vng an Die
pettel vnd was ze mol ein groffe
nebel Ds wir kün gepaütend
vnd als mit groffer arheit kanc
wir ze mittem tag zu fant
Einsaffel vff den berg So
Do sach ich Die bücher Do gar
vil Gerren wopay zu fone
Die in für Solgen geben hand
So feind mincb vatterß Rügen
wopay ach in dem amcay
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.781 0.204

Result for image_10

Average fuzzy score: 0.851 (higher is better)
Average character error rate (CER): 0.157 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jhf zu den septey M(a)ij beid graff albra(u)ft vo
lombalt
Jhf her ludwig lantegraf von huchtenberg
Jhf groff ott von hem(m)berg
Jhf groff bernhart von neggenstain
Jhf groff gotfridt von haßlach
Jhf groff gerhart von mamfels
Jhf groff ludwig von luburg
Jhf her gotphalt von pleff
Jhf her hans von tuygöno
Jhf ger bapemhein
Jhfher su
ppoln dompkin w3 voch(t)n Ruter
Jhf hug von rotenham
Jhf jerg von waldensff
Jhf gylprant von hungen
Jhf jerg von slieben
Jhf henij
n quast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ her Buppelin v
om stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ Jerg von waldenfelss
Itꝰ hÿl
prand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿ
n quast
0.702 0.314

Result for image_11

Average fuzzy score: 0.843 (higher is better)
Average character error rate (CER): 0.141 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinric von Eülspetten
Ei
g Bar hie
Jurnab den papst

NB Dem piſt von
menz
Ganb loßi romein ze mant
pant Johans ordens
Heinric von
wiffengarde
Riht
Heinric fmicſin Enecht

Von berri vß:
Oſtland
Ludwi
g von Dießbach
Ganb von der Grißen
Ganb Ninan
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
lud
wig von diesbach
hans von der
gruoben
hans volman
0.685 0.281

Result for image_12

Average fuzzy score: 0.882 (higher is better)
Average character error rate (CER): 0.114 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text VB dem land ze
magdeburg
Cunrat gobe pitt
Dietrich liebzo
petcr sin barfuß priet

VB lutvringen
Jakob von garzkurt pitt
Defiderius de minicurt priet
Cola von bayen sin Enece

VB golfran land
Jakob Neßang
Jans Ruderck
Heinrich Eanct

van provoburg
Jans von Senfelt sin priet
Jant jagans dracib
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.764 0.228

Result for image_2

Average fuzzy score: 0.758 (higher is better)
Average character error rate (CER): 0.255 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Selbs im fronaltar Sie folgend
W
ir gantz vnd em finct von
Dem heiligen fran vritz Dz
hit in vff in brust vnd ein
bem von pont marien madaline
vinggrot jof off samstag noch
Dem oftertag Do
was Daz
ander tag Dz abrellen Do
für
end win yoy meray Do
legend in pint # proffins
füettig bi hundert Der findin
Die gerads erflüg in emem
altar Die folgend win vnd
ficht may noch beftgerdentlich
w. Rond vnd für vnd die
nagel dar an sy spündes an
Dem pmentag früg Do
Selbs im fronaltar die sohend
w
ir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die soh
end wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.774 0.215
[4v] addition1 Mura
glas
Suettn
Muran
glas
tten
0.743 0.294

Result for image_3

Average fuzzy score: 0.190 (higher is better)
Average character error rate (CER): 0.823 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Und Die pfel ist bi co mil
wit vnd ist Der Venediger
Iof von Eurfpurg vng gey
modurg find at mil vnd
it ocf em gübßp̧ par vnd
ein ex
tzifftung vnd it ocf
Der Venediger ze modurg
wacffet Der vumanier vnd
it ocf Do bi ein geilig gespft
do bi ij milen
Candia Iof von modurg bis gey candia
Czeta. find at mil vnd candia
Vinum ist ein grob pfel vy mit
Malta wit vnd wacffet Der
nicum. maluaßier Do vnd ist ocf
Der Venediger
Rhody. Iof von candia vng gey rodib
find at mil wir aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kur
fun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vn
tz gon rodis
sind ccc mil
wer aber
0.761 0.290
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.827 (higher is better)
Average character error rate (CER): 0.184 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der graf von Rantzburg
und fupt all ander ritter
und Encofl wolten, mit
dem Sey in was entweylast
Rich ufnomen ges. Jacob
bey Garetgnurt vnd Gant
an Hertgansbeig ritter
Die zuxy werend gieng
mit mir gefin aber Der
patroy woltt sufer mit
beiten So Er melteil mit
Das Walt vnd also muſen
wir mit groſsen unwilley
Samna Regerbey Dey wir
mit dem patroy vnd
och Den brüdern Der
umb Garrent ze zypren
woſſer zu zuter
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz z
uker
0.735 0.261
[18r] addition1 Sarcbani
in Cypro
nachitz
Saccharu
in Cypro
nascit
0.745 0.292

Result for image_5

Average fuzzy score: 0.410 (higher is better)
Average character error rate (CER): 0.593 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Jf Jar nach got man in Die
T
empel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab So vnper Herre gewesn
got vnd monsig in gelegen
ist vnd So Nay vffstanden
an dem dritten tag von
dem tod

Jtem Daz tor des tempels
Do ist ein tor vnd ist dan
bi ein stein fram So jnper
vnper Herre Dy were das mittel
der welt

A
uf die nachgeschriben stund Die
Pilgerstat ofwendig des
tempels in das stat
Jst das quo des seligs vnde
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
t
empels in der stat
Itꝰ das h
us des karge riche
0.821 0.186
[23v] addition1 + 0.000 1.000

Result for image_6

Average fuzzy score: 0.729 (higher is better)
Average character error rate (CER): 0.267 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Jof Dem patron in groffem
fiir fiir Zirnund
Jof ze cmad zin groffen
Jof ze Jerufalem ij groff z
curtiifig von Sin eplen
Jof Dem conful n grob
Jof in Dem tempel ij grob
Jof ze Betlagem ein grob
Jof ze fant Io
hann ein grob
Jof wider ze Jerufalem ein
grob ze curtiifig aber ij grob
Jof wider in Den tempel in
grob
Jof ze Dem Jordan ij grob
Jof Dey spalen ze lon
Jof aber ein grob ze curtiif
Jof aber ze Jerufalem ij grob
.
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant
Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tem
pel iiii
gros
Itꝰ ze dem
Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros
ze curtisig
Itꝰ aber ze
Jherusale i gros.
0.729 0.267

Result for image_7

Average fuzzy score: 0.355 (higher is better)
Average character error rate (CER): 0.669 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Des selbigen tagß gey falziun In der wun
gey Iefu an I
em balmtag Ixdes w3
des f
ubenzehnde tag Wittzy wır
gey feltz
ö Ief an Iem adtzelffende
tag gey terffs Nid bliben zwey
tag so
und fürend an dem Goßen
Samptag Sex do w3 der adtſun
zwenzugſet tag Des mergen vff
den Waſſer No terffs gey velledig
Ief an dem operobey Des do w3 der
teſt tagin mergen Da foſey wir
ctive manigen ſitheyen Und groſſe
pſchſ als mechtige güter ſoſche
Veneh' nun ſant maro minſter vud Ieſ
Ducis. Gerzagen palat Ie yt gemoſſchin
palatio in pond Dauigt will geſen Vſter
magniſi vnd ſincſtey Knu
pper Die deny
cum. Ze Venedig gewefen find Is yt
Iſy
Cappell an dem minſter Sagt
den ſein in einſaltar gewaſſet Is
Viſer Beſalter Iſoſteſſe vff ſas
des selben tags gon falzion In der wur-
ge
n Itꝰ an dem balmtag derdo wz
der s
ubenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol sch
ön
vn stönd dar
uff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind
Do ist
ein
Cappell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs Xps vff fas
0.710 0.339
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.465 (higher is better)
Average character error rate (CER): 0.541 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Donerstag kōme in pffister in
trūmeter zummen, her
wff
Die galley zud hofiertē So
fincÿ grūdcÿ Die ylute
kōme
Die
wūdeptÿcn pffīce vnd
trūmeter
bnd bōgfenlaßer
Nu hofiertē So ach nach
we
sittē alß ward nūno gnedigc
herr vnd alley dsy fine vil
cxcÿ verbottē Jch mōndet ge
gÿ tag fūncnt wir Jo Domno
Zud hōc
kÿ off freytag nach funt
Nebent tag det Jo kōz dat erst
tag in andtmonat dsy fūncÿn
Jz yst ein affone pat hint züch
pechoffen Nōlffhūffery ob Izt
pat von Nff funktag Dawnach
fincÿ wir Jo Domno Nn off
finp̄ag nür funt nütz tag
fincÿ zū und in j galley
by zop
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die
windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vrbans tag der do
wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit zwen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.650 0.373
[69r] addition1 Honoray
Marchio
in exli
bibi.
Honores Marchio
ni exhi
biti
0.746 0.250

Result for image_9

Average fuzzy score: 0.270 (higher is better)
Average character error rate (CER): 0.867 (lower is better)
View raw result from gemini-2.5-flash-lite-preview-09-2025

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu Sanc erg bepsoß Do pßße
Nu zangt man vnb in gkelü
in Semy thgupn Do pßße Jf
fant thysmb houpt Dix so de
kspij junger emex wzgpfat
Barbare emb kungß So zipery
boßter houpt Jff fant bleßijey
vnb ach zeha Nnd fant pßßmb awy Jff nu
Sracij wny Jff fant pßßmb awy Jff nu
xeb Saray toke zway zen Jk So fant appols
wix in frist mien Vfigflage Lurrdent Jf
tentcid blauft
mast ant vn Jff mengtag Var fant Joßand
wicht Die blü tag Se Aungstkey fürcy wun
gong vnd gall Pandia Lon fürend an J"
vnd gung zng vntwirt für die pßßße ze
wark va feit vnd aur indisperey So kany zu Sut battela
nauzey vel anckrer fant So luspuste fiet die
ney sendt tring Jff fant So luspuste fiet die
gegegy Spital lromend all bilgzerij Jue
by Semy tlime
anßpffteßlaper
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor
Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.540 0.733
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000