Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.394 (higher is better)
Average character error rate (CER): 0.612 (lower is better)
View raw result from claude-sonnet-4-20250514

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio j 3 0.000 1.000
[3r] text Vnð eyn pfarrer hie vnꝛ vnð
innen knechten wder hulfend
dan do was menen dan weg
danne dan wiꝛ machten
vnð wellen die knecht hulf
vnꝛ vil in vntz an den arb
vnð
die pfarrer vntz an die
fettel vnð was ze wol eyn groſſer
nebel do wiꝛ kun the ſaſſent
vnð alſo mit groſſer arbeit kume
wiꝛ ze mittem tag zu ſant
baſtoſel yſſt den
perg do
do ſuch ich die bucher do gar
vil herren wa
pen jn ſtonð
die iꝛ ſtiꝛ heiſen helten hand
do ſtund mines vatters ſlayen
wappen och jn dem einen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd
die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.787 0.223

Result for image_10

Average fuzzy score: 0.843 (higher is better)
Average character error rate (CER): 0.190 (lower is better)
View raw result from claude-sonnet-4-20250514

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jst graff Cunz voꝛsten Wni Herꝛ graff albꝛecht vo
baselhalt
Jst her ludwig langraff von huchtenberg
Jst graff ott von hembdnberg
Jst graff
Beꝛnhart von lichtstein
Jst graff gültli dauo hatphen last
Jst graff lanchhart von Munfellt
Jst graff ludwig von stenberg
Jst her Gottshalt von blaff bedpanchen
Jst her hentz von engkno
Jst graff Baggenho'
Jst her Su
ppetn vonn stei aꝛꝫ vor her wider
Jst lucz vom Rutenhan
Jst berg von wolkenstein
Jst thijheꝛauff von thuringen
Jst g
erg von Stietien
Jst hanꝛin gnaft
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ her Buppelin vom stein
wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿn quast
0.686 0.380

Result for image_11

Average fuzzy score: 0.840 (higher is better)
Average character error rate (CER): 0.133 (lower is better)
View raw result from claude-sonnet-4-20250514

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich von Erffurten
ri
g darfud
Gůnthrus Der Nachter

VS Dem Stift von
meins
Hans Leffir
komptůr ze meins
Sant Joffans ordens
Henrich von
wifngenerde
Kerl
Henrich Smidefin knecht
Von Bern vff
deftland
Lůdwiff von Dieliach
Heins von der Grůefen
Hans vlman
heinrich von külstetten
ein ba
rfuos
Cuonradus der schriber
vs dem sti
ft von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin
knecht
von bern vs oechtland
lud
wig von diesbach
hans von der gruoben
hans volman
0.680 0.265

Result for image_12

Average fuzzy score: 0.622 (higher is better)
Average character error rate (CER): 0.377 (lower is better)
View raw result from claude-sonnet-4-20250514

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 73 93 0.500 0.500
[93r] text Vß dem land ze
magolsen lang
Einrat hobe gitt
Dietrich liebzan
preter dez bare fuß prieft

Vß tuttringen
Jokob von harzkant gitt
Deßburg do miredit prieft
E
ola von bayern fu knecht

Vß holsten land
Jakob rekant
hanß rudberk
hainrich kant

Von stroßburg
hanß von henf
elt ein prieft
fant ja hanß drŏeub
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt priestꝛ
C
ola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von bens
elt ein pristꝛ
sant Johans ordens
0.744 0.254

Result for image_2

Average fuzzy score: 0.362 (higher is better)
Average character error rate (CER): 0.676 (lower is better)
View raw result from claude-sonnet-4-20250514

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gelibt my frounltev Sie soltend
von stu
ntz vnd em swck vbey
dem heiligin fron crūtz do
sit ir off ir brust vnd em
bem von sant marien magdalene
ringli rot off off sameztag noch
dem ostertag daß do
waß dev
andew tag daß alsvell an do
frūraw sitrend nin thon mergen do
glawb hesend ny sant ẽ streßenß
hūtē nichten bi hindert der kindn
die hanndß enstelligt ny emen
altar die soltend nūr vnd
sieht man noch heslichem lutzell
by hend vnd fūe drie die
ensollen aß vrimels ay
dem sidentag fing do
Selbs im fronaltar die sohend
wir ga
ntz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuorend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.725 0.352
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.181 (higher is better)
Average character error rate (CER): 0.836 (lower is better)
View raw result from claude-sonnet-4-20250514

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Jn̅ die pyſel yſt bi ccc mil
wit vn̅ yſt der venediger
yſt von
furſtu̅g vmb von
padua ſin̅ at mil vn̅
yſt och ain hubſch ſtat vn̅
ain er
zbiſtum vn̅ yſt och
der venediger
zu modun
vacſſer der runinien vn̅
yſt och do bi ain hailig geſſet
do bi ij milen
Candea yſt von modun biß gen candea
Exſta fui̅ at mil vn̅ candea
vorum yſt ain groß inſel vij mil
fro gum vn̅
waichſet der
rümigualuaſſer So vn̅ yſt och
der venedier
Rhody yſt von candea vmb von portuß
fun̅ at mil
weſ aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kur
fun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ert
zbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vntz gon rodis
sind ccc mil wer aber
0.725 0.342
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.745 (higher is better)
Average character error rate (CER): 0.276 (lower is better)
View raw result from claude-sonnet-4-20250514

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der grosz von Wirtzbürg
mit fast all ander ritter
vnd
knecht wolten mit
J
uw Eng ir waß entschligt
fich vfgenomen han
plab
bey habersint vnd hanß
von
kitzkanß etg·&itter
Sie zwen wärend ganz
vmt nw gesin aber Sie
patroj welt vnser nitt
heiten So der meltail mit
Juw welt vnd also mißten
nw mit grossen vnwillen
kum sichtbey Sej nw
mt Sej gnrow vnd
och Sej brudery Sau
ens hansantze Jppra
waßer Sy zufar
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten n
üt
dar den ir was enteilvast
siech vsgenomen her jo
kob
von hareg
urt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also muosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz zu
ker
0.696 0.329
[18r] addition1 gvollhaft
in Cypro
navelbm
Saccharu
in Cypro
nascit
0.538 0.500

Result for image_5

Average fuzzy score: 0.709 (higher is better)
Average character error rate (CER): 0.304 (lower is better)
View raw result from claude-sonnet-4-20250514

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Dar nach got man in Die
flugel Des heiligen geistes
Ist ein altůo von wetwme
ssen gemacht vber Das heilig
ly ab So vnser herre geweren
got vnd mensch in pflegten
Ist vnd So von vberflůs
keit
in Dem Dritten tag von
sem tob
In Dem wir Das tempels
Da ist ein lciq vnd stat Zů
ba ein kleijn stain Als grůosß
vnser here by wart Das mittel
zel welt
Iste mẽnschen kúnden lenich Sůe
Die bůllerschaft co siuen bry Das
tempels in Dat stat
Das finde das gůt vnd
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab
Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.709 0.304

Result for image_6

Average fuzzy score: 0.730 (higher is better)
Average character error rate (CER): 0.303 (lower is better)
View raw result from claude-sonnet-4-20250514

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Jtm̄ Dem partag in grossē
fire sin
fürung
Jtm̄ ze emals Ein grossē
Jtm̄ ze Jérusalem j gross ze
kurtziß wäj Ein eslen
Jtm̄ Dem tonstel o grossē
Jtm̄ in Ein tempel ij groß
Jtm̄ ze bet
hlem ein groß
Jtm̄ ze sant Johaus ein groß
Jtm̄ wider ze Jernsalem ein
groß ze cuntketz aber j groß
Jtm̄ wider in dē tempel uj
groß
Jtm̄ ze dem Jordā ze uj groß
Do dē eseln ze lon
Jtm̄ aber ein groß ze püslōz
Jtm̄ aber ze Jernsalem j groß
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant
Johans ein gros
Itꝰ wider ze
Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem
Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze curtisig
Itꝰ aber ze
Jherusale i gros.
0.730 0.303

Result for image_7

Average fuzzy score: 0.380 (higher is better)
Average character error rate (CER): 0.673 (lower is better)
View raw result from claude-sonnet-4-20250514

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Do pilbey engte gen; halben Jn de wue
gen hf sig deng belinineg de do wy
Dar pilben zef ende tng vietteg wu
gen f
cllerð hf sig deng achtgellende
tng deng terfið vnd bliben zuey
tag do vnd firend an deng hafter
ducstag Aln do wy der achter vn
zuenzigrst tng des mergen hf
deng waffer So terfið gen vollbey
hf sig deng ostoetag der do wy der
leh tng in mergen Do faltag wu
erhe maningen fulpyen find graft
ptift ald niestage lifeñ sig lolt
Wol fant marg nersfar vnd do
her haueg palaft do lö zemal rifty
do frand Baruff Sul heem diter
mag enriffen wa
ppen dnd
ez warð ere wefein fint Or zy
ley dundein zer ey alzanter do af
der
ptiff enezalfall graſlaff di
villty
befaller füst dys vst lat
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen
palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind Do ist
ein Ca
ppell an dem münster doist
der stein in eine altar gevasset do
vnser
behalter Jhs Xps vff fas
0.610 0.440
[62v] addition1 Deus Veneti
Ducis
palatiu
magnifi
cum
0.150 0.906

Result for image_8

Average fuzzy score: 0.210 (higher is better)
Average character error rate (CER): 0.821 (lower is better)
View raw result from claude-sonnet-4-20250514

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Gar nacht konig er pfiff vn
tuemete zu minen heren vff
die galley vnd hoffenrey do
fnien grudten v
b getan konig
bie wundaftten pfiffe vnd
tuemete vnd
bepfenlieber
vnd hoffneten so ditz nach
wie
fitten alfs ward mins gru
bygs
bernd vnd alleyn den fein vil
e
xerlivotten vft indandet ir
gey gar fachen vnd do denno
konig dey vyff buiter nach fint
von mit ferg do dytt do owlt
al mr zu buffonanet pfrr fenfel
ze ir vt vnd affane grat vont zadrat
gehalffen vt wffelbergna vff de ve
fait von vyff hun torff dunetet
fueren var do denno ven vyff
hang gytt ouer fent vytt teyf
kurleg zu vyb yn galley oy off
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die windeschen pfiffer vnd
trumeter vnd
böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vr
bans tag der do wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit zwen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen
by xx
0.630 0.464
[69r] addition1 Honores Marchio
ni exhi
biti
0.000 1.000

Result for image_9

Average fuzzy score: 0.236 (higher is better)
Average character error rate (CER): 0.928 (lower is better)
View raw result from claude-sonnet-4-20250514

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text wir dusser geschöff Dollẽ
wir zaupff amer welt Jz gelan
õ Jn dertigon Do fülle Jst
se
bet titynõ Haupt Der Jales
keyñ stirnper ember dez Jst sãt
Denbare enẽ kmerh Dis veryerñ
Des ter Haupt Jst sant pölich
wir zengt wũ gawẽ Jst sant teñlls enẽ Jst
wenõ seüff gefuñ zũ teũrẽ sant tistiñs en Jst sun
Die teñ Din geẽ wey gey Jille Do sant appels
wer tũt hiler Diey Jsorliſe Vmb Dett Jst
wir sẽrt blamer Oss Dē eintag Dar sant Joskaffs
rufft eit Dir Jst Dez eitag Der sant Josfraut
ã cilelt Die titẽp Jẽ Dmeracheg fürcey wie
zũeg zũd hullt geẽ kunde Der fürcnt ã
wũd graẽ Delt kantũ wiert für Die fūpfl ze ze
wũd wũd sclapen Die sey zer Dat Baltzla
warey Val kurlez fũst Do Nicpnele foß Die
als funst mẽ Jst zetschlet ali grẽmeleß bevũt
Die grelt eit mẽ Dancnt tell tiley rey swe
gey kumb õ
anftosse klẽer
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer
wz Itꝰ sat
Barbare eins kungs vo zipern
to
chter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch
r die insel ze zi
pern do kam zuo vns ein kattela
nier fust do
wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.473 0.856
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000