Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.939 (higher is better)
Average character error rate (CER): 0.063 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Vnd ein pferdt die mir vnd
minen knechten oder hulfend
den do was menen den weg
danne den wir machend
vnd welchend die knecht tud
vnd vil in vntz ayden arb
vnd die pferut vntz an die
stuel vnd was ze mol ein grossa
nebel do wir kum ersachen
vnd als mit grosser arbeit kame
wir ze mittem tag zu sant
bastafel vff den
perg do
do sach ich die bucher do gau
z
ül herren wapen jn stont
die w stür dolhin gelien hand
do sicht mines vatters slogen
wapen och in dem einen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.877 0.126

Result for image_10

Average fuzzy score: 0.582 (higher is better)
Average character error rate (CER): 0.436 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Item zwen cresten Mʒ heini groß allmuͦgt vo
kinholt
It her lud
wig langraff von huchtenberg
It graff ou boz hiemenberg
It graff
Bernhart von Sakensen
It graff zürich von habspurk
It graff eckhart von Münfelt
It graff ludwig von Ötenburz
It her Gotsthalt von kilg
It her hanß von tregern
It der Margemihen
It her Bu
ppelin von ſtein anz vorher
It lu
z vom Rotenheim
It ber
von walkeifelt
It hibrant von thungen
It ber von Öliehen
It hanſe
n quaſt
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her lud
wig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart vo
n Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschal
k von Bless bedpanchn
Itꝰ her hans von turgö
w
Itꝰ Jerg vo
Bappenhein
Itꝰ her Buppelin vom stein w
z vorhin Ritter
Itꝰ lut
z vom Rotenhan
Itꝰ Jerg
von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ Jerg von Slieben
Itꝰ henÿ
n quast
0.745 0.308
[73r] addition1 bedpanchen 0.000 1.000

Result for image_11

Average fuzzy score: 0.675 (higher is better)
Average character error rate (CER): 0.387 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 9 90 0.667 0.500
[90r] text Hainrich von Kulsnetten
zů Basel
Gůnt
zels den pfaffen
von Gem stift von
m
eng
Hans Lüfti
kamerer ze meng
sant Josůns oůdens
Hainrich von nüssenzerde
frůt
Hainrich Smit filius knecht
von Bern von
öchtland
Ludwi
g von Diessach
Hůns vej der Grůben
Hůns vbman
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
ment
z
hans lösli cometür
ze mentz
sant johans ordens
heinrich von wiss
engerode
Rittꝛ
heinrich smit sin
knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.683 0.273

Result for image_12

Average fuzzy score: 0.652 (higher is better)
Average character error rate (CER): 0.338 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 73 93 0.500 0.500
[93r] text Vs dem land ze
machlen burgt
Cunrat Hobe Riet
Dietrich liebzaw
peter im barfus prieſt

Vs tutringen
Jakob von harzkant Riet
Hel
perůs do merient prieſt
Cola von bayen ſu knecht

Vs Holſten land
Jakob vellang
Hans Rudieck
Hainrich lang
Von ſtraſburg
hans von benfeld ein prieſt
ſant johans ordens
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo
mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans
Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.804 0.175

Result for image_2

Average fuzzy score: 0.394 (higher is better)
Average character error rate (CER): 0.631 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Selbe my fronaltar die selhend
von h
antz vnd ein stuck der y
dem heiligen fron
tz itz dz
sit in vff in brust vnd ein
bein von sant marien madalena
russ rot vff ost samstag nach
dem ostertag daz
do was der
ander tag des abrellen do
kamen fürend nun gan merung de
glaz begend in sant stoffans
kilchen blössen bi hundert der brüder
die spraches erstlich in einem
altar die pflant vin vnd
sicht man noch beschedentlich
ir sind vnd die brid die
müffend als
wymels vn
dem sürnentag frig de
Selbs im fronaltar die sohend
wir g
antz vnd ein stück von
dem heiligen fron crü
tz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der
do was Der
ander tag des abrellen do
fuorend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.787 0.261
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.198 (higher is better)
Average character error rate (CER): 0.818 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Vnd die pꝼel ist bi vns mil
wit vnd ist der venediger
ꝑst von kuꝼsing vntz gen
padun Snd es mil vnd
ist och ein j
üstig stat vnd
ein ertzogstum vnd ist och
der venediger ꝫ modu

vachstr der rummen vnd
ist och do in ein heilig gestist
do bi ij milen
Candiaist von modu
bis gen candꝛa
crota Snd ee mil vnd candꝛa
varaꝰ ist ein gꝛos jnſel vff mil
lºstu
wyt vnd maist der
rrummatnalieꝛer do vnd ist och
der venedier
☙lady ist von candꝛa vntz gen ꝑotꝰs
Snd ee mil wer aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein h
übsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
It
von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
It
von candia vntz gon rodis
sind ccc mil
wer aber
0.792 0.272
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.860 (higher is better)
Average character error rate (CER): 0.138 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der erꝺest von Wertemberg
und fust all ander ritter
Vnd knecht wolten nit
dan dey in was entrůstet
siech vsgenomen her
pebst
bey Hederſh
ut und haut
ein reichstark eitt Rutet
Die zwen weren glegen
mit im vesten aber der
patrꝰn wolt unser nit
beiten So der meteil nit
Das wolt und also můssen
wir mit grossen ſn willen
dannen ſcheiden Dey wir
mit den gnurog Vnd
och den búderen Der
vnd Hardentze s
pren
wachst Sy zuker
Der grof von swartzburg
vnd s
ust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zi
pren
wachset dz zuker
0.756 0.246
[18r] addition1 Zarcharia
in Cypro
nascit
Saccharu
in Cypro
nascit
0.824 0.167

Result for image_5

Average fuzzy score: 0.737 (higher is better)
Average character error rate (CER): 0.276 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Dar nacz hat man in die
ligget des heiligen crůces
ist zin altaꝛ vō marmel
stein gemacht vber das heilig-
graß do vnseꝛ heꝛꝛe ge
weꝛen
hat vnd mensch in gelegẽ
ist vnd da hei Ÿ gestandẽ
in dem dꝛitten tag von
dem tot
In dem oꝛ des tempels
ist ein berg vnd stat z
u
ku ein klein stein des spꝛũgt
vnseꝛ heꝛꝛe bꝰ waꝛe das mittel
deꝛ welt
Alle nottzafften sind die
die bildeꝛ statt & werden des
tempels in deꝛ stat
Das huoꝛ des essels vnde
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here d
z were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.737 0.276

Result for image_6

Average fuzzy score: 0.766 (higher is better)
Average character error rate (CER): 0.260 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Dem patron in grosser
kur sin dienst
It ze eem
bs zin grossn
It ze
pfarnsalcz j grossz z.
kurtiscz von den eslen
It dem toustel v groß
It m den tempel ij groß
It ze betalgen em groß
It ze sant johans em groß
It wider ze pfarnsalen em
groß ze cuntilcz oder j groß
It wider in den tempel iij
groß
It ze dem garden ꝫ ij groß
vo den eselen ze lon
It aber em groß ze zuostet
It aber ze pfarnsal j groß
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze
betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tem
pel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ aber ze Jherusale i gros
.
0.766 0.260

Result for image_7

Average fuzzy score: 0.000 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text N/A des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd knechten woppen die denn
ze venedig gewesen sind Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs Xps vff fas
0.000 1.000
[62v] addition1 N/A Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.362 (higher is better)
Average character error rate (CER): 0.770 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Gar nach kome ir pfiffͤ ꝫ zu
trum
pete zu jnnen uffarten vff
die gallen vnd hoffarten do
sinen groden delzlich
kome
bie wunderften pfiffͤ vnd
trvmpeta vnd
büczenshater
den hoffartan do sich nach dro
sitten Als
wnd jnno größe
fietend vnd alten den sine vil
czegenlossten Jst nundertt ge
gen von friden Nvr do demo
vnd rich eg stuter noch
kunt
lút du erzit fo lig
bit zuͦliͦ
gib im beschnumet den bracht
fu den ff laue gat tont leben
fielosen bli lasen fing dan ob uf
dot von uff harleff dannet
men non de demo deu off
funsten ner sintt daz tag
konig zu dot in gallen big pffͤ
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die windeschen
pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vr
bans tag der do wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit z
wen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.626 0.454
[69r] addition1 4ta no co
ni adelu
in acts
d
iu.
Honores Marchio
ni exhi
biti
0.459 0.857

Result for image_9

Average fuzzy score: 0.441 (higher is better)
Average character error rate (CER): 0.751 (lower is better)
View raw result from claude-sonnet-4-5-20250929

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text vnd Im Jnsigel byftoſſ Do ſellte
Im zauſt manig hochfze hůs
In den pſenn Do ſellte ſich
ſant thilmſ honat Der walt
Bÿ Rin ſtůnder vnder vns hef ſin
Denkent ons knecht die vngern
pſitter houpſt heſ ſint All pſiſſen
vnd ſaut ſiſſſiuſ an yn heſ ſin
vnd ſaut ſiſſſiuſ an yn heſ ſin
vok vañ ſachs wañ zan die ſint enpald
wol wit heſſ Menʒ Oſſert lint Vurden ſſt
kindel blannt die fech wolden lit
veſt auf vns hef dy vndan var ſant hoſſalad
exilcht die tñenon der Dungetſter furen win
perg vnd half den kunden Lat fobenſ an gʒ
vnd truner lad antwisch fůr die fuſtel ze bz
vnd vns ſchdigern Do kam zů Intt pellella
awenſ vil Suchiere ſteſt do wegnnelt ſich die
yſt fuoſt nit ín pole vil geſſatiet all gemenlich vnd
ſſhoſt heſt emment roll bilagen ſne
vñen linne
knſſſte klogen
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant
Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend al
l bilgerin Ire
0.485 0.800
[70v] addition1 Diſe gezugt vnd
vns ouſ geſeb
die ain ſchol
ra
k oñ ain ſochs
v
ff alle menſchʒ
voch bz
fag vnd
etwz viſ hett
erlelſt die til
perg vnd halſ
vnd mord vnd
alt vre zit den
vn zougt ma
vns och ze
ka
dia ein win
reb daran sohe
wir iiii
frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii
frucht trüg
vn ist die reb
gegen de spital
in de
m kleine
Bar
fuossekloster
0.396 0.702