Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.887 (higher is better)
Average character error rate (CER): 0.117 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Und ein pferit Sie mir vnd
minen knechtay
über hulfand
Son do was minem Sin weg
Semü den wir machtend
vnd richend das Enckly vnd
vnd vil in vns an Sin and
vnd Sie
pferit vns an Sie
fettel vnd was ze mol ein groffer
nebel do win kum gesahend
vnd als mit groffer arebeit kamend
wir ze mitten tag zů fant
künffel vf dem Berg do
So fach ich die Bucken So gan
vnd horten woffen Jn fone
Sie wur Stür dolhin gelien hand
So fuond mines waters pfleger
woffey Sag ich dem emag
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wopen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.774 0.233

Result for image_10

Average fuzzy score: 0.607 (higher is better)
Average character error rate (CER): 0.418 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 23 73 0.500 0.500
[73r] text Jst zů dem eren myꝛ herꝛgraff albreht vo
lmbalt
Jst her ludwig lantzgraff von luchtenberg
Jst graff ott von zierrenberg
Jst graff Bernhart von Eberstein
Jst graff gotfries von holtzendorff
Jst graff gebhart von manfells
Jst graff hanns von lupffen
her Gottfrid von stap* belspanchin
her hanns von tungen
her
Bappenchein
her Bupphein vonstain wnd herꝛn Butꝛ
von lug vo
n Rotenhain
herꝛ
von waldenfellꝛ
Jst hilprant von thungen
her Egen von suedden
her henꝛi
n quast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ
her Buppelin vom stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ Jerg
von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿ
n quast
0.714 0.337

Result for image_11

Average fuzzy score: 0.834 (higher is better)
Average character error rate (CER): 0.179 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinricg Von Eůlstatten
fry dar vff
Cůnratz der pfriber

vß dem ftilf von
hans E
gli comtein ze mon-
ant jolans ordenß
heinric
g Von vilengert-
lin
heinrich fri-
schin Endeg-
ge
Von ber-
ny vß:
her-
wig Von Diep-
bach
hans von der w-
iben
hans von ma-
y
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.667 0.358

Result for image_12

Average fuzzy score: 0.801 (higher is better)
Average character error rate (CER): 0.231 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vff Sant and ze
mayen kung
Cunrat bischoff zů
Strassburg hie baw
peter zů sant peter priester

Vß Luttringen
Jokob von Gansꝛtatt (probst
heꝛ zu minꝛꝛ frawꝛn) priester
Cola von Gayßlingen frawꝛn

Vß Goffen land
Jakob Nollinger
Hans Rüdekke
Heinrich Esweg

von proffburg
Hans von Benfeld ain priester
fant jagende dürch
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein bar
fuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo
mirecurt priestꝛ
Cola von b
ayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.602 0.462

Result for image_2

Average fuzzy score: 0.362 (higher is better)
Average character error rate (CER): 0.675 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Jch bitt vnd ermaneten Sie solichs
von
gantzem hertzen vnd em steten vnd
dem heiligen fron crist Js
lit in vff sin vrst vnd em
hem von sant marcin matheine
ringgv
ot If off samstag noch
dem ofts
tag der do was der
ander tag. Sid abrellen do
Me
wran fren wir gon messan do
glab hagnod in sant #lefflin
Sntlin f hundrt der kindlin
Die gnadel cepfing in emem
alan die pflegent wir vnd
sicht man noch beiligendlicb
in sand vnd fab vnd die
magel dar an ay mndas ay
Dem fmentig frig So
Selbs im fronaltar die sohend
wir
gantz vnd ein stück von
dem heiligen fron crü
tz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggr
ot It vff samstag noch
dem oster
tag der do was Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.725 0.350
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.181 (higher is better)
Average character error rate (CER): 0.838 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Vnd die pfef ist by eim mit
wit vnd ist der Nenndꝛger
vf von eusfing vnd gon
modꝛn fro at mil vnd
vnd at dem libꝛa hat vnd
ein ex
tzeltum vnd ist och
der Nenndꝛger ze modꝛn
wacꝛt der rumanier vnd
tů syꝛt do die ein heilig geꝛft
es bi in milen
Candia ift von modꝛn die gon candia
crꝛta. vnd at mil vnd candia
Vinum ift ein groꝛs mel vf mil
Malfa mit vnd wacꝛt der
heunnenaples do mit ift er
der Nenndier
Rhodg. ift von candia vnd gon rodus
fto at mil wer aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kur
fun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vn
tz gon rodis
sind ccc mil
wer aber
0.724 0.353
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.565 (higher is better)
Average character error rate (CER): 0.457 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Das grosz von Rorensbꝛg
vnd fůrt all ander ritter
vnd
knecht walten mit
der Sey in was entwicht
richt Agnenmony das Joch
von gottes gnꝰ vnd gand
von herczogthum sitten
Die zwen nement geru
mit sin gefin oder der
patroy wart vffon mit
Beitgon So der merteil mit
Das wolt vnd also misgon
wir mit grossem vnwillen
sampt gegenwirtig der wir
mit dem thoron vnd
och der briederin dar
vnd hattent dz zupron
wasget dz zůber Sarchbant
in cypro
nafter
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also muosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz zu
ker
0.694 0.372
[18r] addition1 Saccharu
in Cypro
nascit
0.000 1.000

Result for image_5

Average fuzzy score: 0.701 (higher is better)
Average character error rate (CER): 0.370 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Jst dar nach got may in die
heylgen dry
faltigkait vnd ist ein alter vonn erwem
ktem gemachet vber das heilig
grab So vnszer fraw genesen
got vnd monig in geligen
ist vnd so vay opfertenndy
an dem gütentag vay
bey tod

vff den tag vor die tempelt
do ist ein lantz vnd stat hin
bi ein Elem ftem so manig
vnszer herre dz were das mittel
der wellt

vff die nehstgebürßy fertt die
die obgen(anten) opfertenndy die
tempelt my der frat

vff das gid die Enggel wide
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein
klein stein do sprach
vnser here dz
were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das hus des
karge riche
0.701 0.370

Result for image_6

Average fuzzy score: 0.575 (higher is better)
Average character error rate (CER): 0.506 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text vnd Sant patroclus in troyen
sint sin
bruͮder
was ein groß heiliger
vnd die Niculaus i groß heilikeit von dem eploͮy
vnd sin conpliͮt n groͮß
vnd sin tempel i groß heilikeit
vnd Sant Bethalhem ein groß
vnd Sant Johanns ein groß
wider die Niculaͮs ein
vnß ge antlaß aber i groß
vnd in dem tempel mit
vnß die Entͮluͮng gen groß
vnd den galen ze con
vnd aber ein groß ze pͮniſch
vnd aber ze Niculaͮs i groß
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig
von den eselen
Itꝰ dem consul v gros
Itꝰ in den tem
pel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze
curtasig aber i gros
Itꝰ
wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze curtisig
Itꝰ aber ze J
herusale i gros.
0.575 0.506

Result for image_7

Average fuzzy score: 0.294 (higher is better)
Average character error rate (CER): 0.744 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Oct filkey tage doy falzoy Jn der wuoch e
fry le
pay Sey baltmy̅g der do w3
dox filbezgefu̅de tag lutter wir
gay felteno off my Sey adzdehunte
tag doy textbe vnd obley zuoer
tag do firend my Sey Golley
Stuprag der do Noꝛ der actiov
frucuzgupt tag deb mercey vff
dey wuoche va textib gon videry
Tfy my dey ofrobo̅ der do w3 der
leyt tagin mercey da folley wir
etve manigey fittbuzey vnd guaff,
pryff als werdige giſter satfole
Vench von fantmavo munchen vndles
Ducis gezogey palap See jomulchytt
palalchi von paid Sevſt vil wuꝛdeter
magnifinuo kichetor hwuoper die Sey
cum. ze Nürczigewelen find Is ot
kin Samptt ou Jon minſter Sank
dein groy in widalton geuapfet od
wilfer Gaſttex Jg8 opti vff fas
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem a
chzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sit
kusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd knechten woppen die denn
ze venedig gewesen sind Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vnser behalter
Jhs Xps vff fas
0.589 0.488
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.469 (higher is better)
Average character error rate (CER): 0.583 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Sigmundt künig von pfilffen der
künig von pfilffen zu münchen hof
die galler vnd hospitecy dasel
bs
fincz grossen Joch sy hatt
kom
die
wondstaty pfliczen vnd
trummter vnd
büchſenſchlager
Nu hofpitczy do ſy nach
we
fitczig alfz
ward mine groſſczyge
lewt vnd aller der sine vil
exceperbotten Jf wundet dz
ity tåg finczent war do ſam
lude
kumend vff hettag nach ſint
debone tåg Jft do voz dat cft
tåg in dem heilgen fron
licht ein krone pat hent zwey
pilegerin baſſlerg of dz
pat con fundtag dienſtag
vnd fritag vnn Sa ſamſtag
hinglag nur fant vitz tag
finczy zi vnd vij galley
by vnd
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich
kome
die windesche
n pfiffer vnd
trumeter vnd
böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vrbans tag der do
wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit z
wen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.600 0.499
[69r] addition1 Honoray Marcio
in exi biti.
Honores Marchio
ni exhi
biti
0.807 0.250

Result for image_9

Average fuzzy score: 0.246 (higher is better)
Average character error rate (CER): 0.922 (lower is better)
View raw result from meta-llama/llama-4-maverick

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Vnd do der bchoff doͦ sprach
Die zought manig vnd i
ch acht
In
kryeg dryssig doͦ waz der erst
Mit harnes
ch holtzf Sie doͦ
bey byͦchoff ligen ence waz nit fúr
Burhaze ein Rungh doͦ swery
tarfter ficht Let mit blyͦdry
Vnd zougtma menig Appent andrer menig
It facht wol fúr fich anwyͦt
Die cryeg newͦ famb anwyͦt
kot Johan folez wer zey die doͦ fant Syͦbols
wur ... wurd mich Syͦflage fturdend It
fúrtek Blanht
waff vnd It onyͦtig Nar fant Jafanb
trübet die bletter kryeg Be Emmengerftey fúrcy wur
opryͦ vnd Galli knudia kou fúrend myͦ
It gouryͦ ... fúr
waz ... pítkrutwich fúr die fúrtegen zi
vnd and Syͦpreyͦ doͦ kryeg zü Indy Battela
wolczyͦ Vel fúrchú fúr doͦ wappnet fich die
It fúrft kryeg vnd ftritfalt all mengenlich
fúrtzü fúrtal krmennd vnd hilgering fúr
vnd Sey Elinen
Grauffte Elſtor
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
to
chter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sunge
chten fuoren wir
von kandia vn fuorend an der
mitwu
ch für die insel ze zi
pern do
kam zuo vns ein kattela
nier fust do
wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.493 0.844
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000