Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.440 (higher is better)
Average character error rate (CER): 0.560 (lower is better)
View raw result from claude-opus-4-20250514

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 0.000 1.000
[3r] text Vnd ein pfarit die mir vnd
minen knechten wider hulfend
den do was menen dem wer
denne dem wir machtend
vnd viehend die kneicht dub
vns vil in vntz an den ard
vnd die pfarit vntz an die
seitel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd alß mir grosser arbeit kome
wir ze mittem tag zu sant
berstoffel vff den
perg do
do sich ich die bucht Do gar
vil herren war
pen zu stoul
die ir stur dz sin geliehen hand
do stůnd minch vatterß klugen
worpen och in dem einem
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.879 0.120

Result for image_10

Average fuzzy score: 0.857 (higher is better)
Average character error rate (CER): 0.149 (lower is better)
View raw result from claude-opus-4-20250514

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jch zuo dem eꝛsten Mein heꝛn grossalbꝛancht vo
e
nchsolt
Jch heꝛ ludwig lanegrass von luchtenberg
Jch gross ott von heimenberg
Jch gross Bernhart von seckingen
Jch gross götfꝛid von halsen lach
Jch gross Reckhart von Mansseld
Jch gross ludwig von ysenburg
Jch heꝛ Gotfhalt von bleyss bodꝛanchin
Jch heꝛ hainꝛ von k
urgöw
Jch gross Bꝛagꝛemhsen
Jch heꝛ Rupꝛelin von
stein wz vohin Ritter
Jch hug vom Rotenhon
Jch heꝛg von walkenfelss
Jch symund von thüngen
Jch heꝛ
g von Slüchen
Jch heny
n quast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart vo
n Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gots
chalk von Bless bedpanchn
Itꝰ her hans von t
urgöw
Itꝰ Jerg vo Bappenhein
Itꝰ her Buppelin vo
m stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿ
n quast
0.714 0.298

Result for image_11

Average fuzzy score: 0.917 (higher is better)
Average character error rate (CER): 0.079 (lower is better)
View raw result from claude-opus-4-20250514

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text heinrich von kúlstetten
ein barfůß
Conradus den schnider
vs den
stift von
mentz
Hans loßer conetur ze mentz
sant johans ordens
heinrich von wißlinger
ritt
heinrich sin
t sin knecht
von bern vßͤ
dietland
ludwick von diestbach
spieß voy der
grüben
Hans vlman
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem
stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissengerode
Rittꝛ
heinrich smi
t sin knecht
von bern vs oechtland
ludwig von diesbach
hans von der gruoben
hans volman
0.835 0.158

Result for image_12

Average fuzzy score: 0.668 (higher is better)
Average character error rate (CER): 0.326 (lower is better)
View raw result from claude-opus-4-20250514

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 73 93 0.500 0.500
[93r] text dem land ze
merschenburg
Cunrat hobe Ritt
Dietrich liebzow
peter Im baufuß priest

vß luttringen
Jokel von harzkunrt Ritt
baldenuß vo minẽrat
priest
Cola von bayon sin knecht

vß holsten land
Jakob velklint
hans Rudberk
heinrich Lant

ven straßburg
hans von benfelt ain prist
sant johans ordens
Vs dem land ze
megglenburg
Cuonrat hobe Ritt
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo
mirecurt priest
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans
Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.836 0.152

Result for image_2

Average fuzzy score: 0.684 (higher is better)
Average character error rate (CER): 0.376 (lower is better)
View raw result from claude-opus-4-20250514

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gꝛellos im fromalten Sie solhend
m
ir gantz vnd ein stuck von
dem heiligen fron trutz Sꝛ
lit ir vff ir bruſt vnd ein
bon von sant marien magdalen
rucgſtab Jſt oſſ samſtag noch
dem oſ
tertag der do was Ar
ander tag des abrellen
Do
fu
rend wir gon magan Do
liſſend in ſant ſſteſſins
kirchen bi hundert der kinden
die herodes erſchluog in einem
altar die ſ
ohend wir vnd
ſicht man noch beſchedunlich
ir hend vnd fuoß vnd dꝛu
machel dar an riandes in
dem ſwnentig kung die
Selbs im fronaltar die sohend
w
ir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem os
tertag der do was Der
ander tag des abrellen do
fuo
rend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die s
ohend wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.843 0.163
[4v] addition1 Morgan
glaub
duelli
Muran
glas
hütten
0.526 0.588

Result for image_3

Average fuzzy score: 0.618 (higher is better)
Average character error rate (CER): 0.466 (lower is better)
View raw result from claude-opus-4-20250514

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text vnd die wiſe ist bi ccc mil
wit vnd ist die venediger
ist von kurſun
vntz gen
moꝺun sint cℓ mil vnd
ist och ein gulſch stat vnd
ein ertzbiſtum vnd ist och
der venediger ☙ moꝺun
wachſet der rumaner vñ
ist och do bi ein heilig geisſet
do bi ij milen
ist von moꝺun bis gen tanꝺra
sind ccc mil vnd tanꝺra
ist ein groſs wiſel vij mil
wit vnd wachſet der
maluaſier do vnd ist och
der venedier
ist von tanꝺra vntz gen ſoꝺiſs
sint ccc mil wer aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia
vntz gon rodis
sind ccc mil
wer aber
0.863 0.139
[9v] addition1 Candia
Creſta
Candia vff
Creta
0.800 0.312
[9v] addition2 Virnum
Mlſa
neumm
Virum
Malva
ricum
0.667 0.412
[9v] addition3 Aſ och f Rhodꝰ. 0.143 1.000

Result for image_4

Average fuzzy score: 0.872 (higher is better)
Average character error rate (CER): 0.125 (lower is better)
View raw result from claude-opus-4-20250514

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der groß von swechburg
vnd sin all ander ritter
vnd knecht wolten mit
Em den ir was entwichen
sech vßgenamen hēr Jacob
von habeꝛ
purt vnd hans
von hiettmanßein Ritter
die zwen warēt gern
mit mir gesin aber der
patron wolt vnser mit
keiten So der merteil mit
Em wolt vnß also mißen
wir mit grossen vnwillen
dannen scheiden den wir
mit den
patran vnd
och den briederan dar
vmb hattend Jē zyten
wachs
t dz zuker
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zi
pren
wachse
t dz zuker
0.831 0.167
[18r] addition1 Sarchani
in Cypro
nastiti
Saccharu
in Cypro
nascit
0.784 0.208

Result for image_5

Average fuzzy score: 0.815 (higher is better)
Average character error rate (CER): 0.193 (lower is better)
View raw result from claude-opus-4-20250514

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Dar noch stet man in die
ingel des heiligen grabes
Do ist ein altar von mermel
stein gemacht vber das heilig
grab
Do vnser herre gewun-
dert vnd monich in erschigen
ist vnd do von vfferstanden
an dem dritten tag von
dem tod

Item dem tor des tempels
Do ist ein loch vnd stat nu
bi dem
klein stein Do vnser
vnser herre sy wart des mittel
des welt

Iſt die notthofftiniberi ſtend- Die
die bilgerftet oſſwending des
tempels in der ſtat

Iſt Das gůt des herꝛ růſt
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab
Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.815 0.193

Result for image_6

Average fuzzy score: 0.775 (higher is better)
Average character error rate (CER): 0.251 (lower is better)
View raw result from claude-opus-4-20250514

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text It dem patron üj grossen
fùro sij d
vruff
It z
c emas zön grossen
It z
c Iſſensslen j gross z
kurtzeſt den dij eklen
It dem
couſul v gros
It in den tempel ij gros
It zc lietaſſem ein gros
It ꝙ sunt ſoſſans ein gros
It wider zc Iſſensslen ein
gros zc cuwrtiſſt
aben j gros
It wider in den tempel üij
gros
It zc dem zorkan ꝙ̄ij gros
do den esalen zc lon
It aber ein gros zc tuoſſet
It aber zc Iſſenssle j gros
It dem patron iii grossen
f
ür sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig
von den eselen
Itꝰ dem
consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze
curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ
aber ze Jherusale i gros.
0.775 0.251

Result for image_7

Average fuzzy score: 0.611 (higher is better)
Average character error rate (CER): 0.489 (lower is better)
View raw result from claude-opus-4-20250514

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text So sollest vnß gen sahͤen jr dce wer?
gen ist an dem
bͦllnūg dce do wz
D
ce soltengeltͦnde tag Mitten wūr
gen soltͦn
ck ist an dem achtʒehͦende
tag gen terrib vnd bliben ʒwen
tag do vnd füerens an dem solichen
Suntag Dce do wz dce acht vn
ʒwenʒigst tag des merʒen Vff
dem wasser vo tersis gen Vellebin
ist an dem osteroben dce do wz der
lest tag an merʒen Do soltẽ wir
etiwe mangen sickūʒen hmd fnoß
feliff allo nichtige hůser och solte
wir sunt mans münʒer vnd dce
hewʒůʒen palast dce hĩ ʒemalshẽ
Da sond fecruss vbll hͦben Veder
vnd knechten kreyster die Gun
ʒen vergrewesen fur vals So et
din ha
ppell an dem münʒer do st
dce stůnt an cinksilent gewasset da
Velf
er bͦlsalter ist xpī/vff/sab
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem a
chzehende
tag gon terfis vnd
bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der a
cht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
s
chiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd
knechten woppen die denn
ze venedig gewesen sind Do ist
ein Cappe
ll an dem münster doist
der stein in eine altar gevasset do
vns
er behalter Jhs Xps vff fas
0.714 0.321
[62v] addition1 Vener p
Dns
pun
ñ
mab sn
ciuris
Veneti
Ducis
palatiu
magnifi
cum
0.507 0.656

Result for image_8

Average fuzzy score: 0.245 (higher is better)
Average character error rate (CER): 0.771 (lower is better)
View raw result from claude-opus-4-20250514

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Dar noch kunge ir pfister vn
trumetter zu jnnen heim off
das gaſſen vnd hoffierten So
jnen gnoden de
b gſich konig
die vunderthen pfister vnn
trumetter vnd
bergſenplaher
vn hieſperten do och nach
we
sitten alſo
ward mins gnedigo
herrn vnd allen den sine
wil
erenierbotten Jch meandeb de
gen tag furemt wir do danno
vnd
komen off fatag nach ſant
walburgen dag do wir do eſt
tagz im kamgmnet ston lagen
vnſer zu aſhone gat kunig welch
die beſten koufflut zu vch der
hat von off kuntzeff danrnach
furen wir do danno vnn off
jmſtag wor ſant vrbj tag
komen zu vnd ön gu
llen by gio
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die windeschen pfiffer vnd
trumeter vnd
böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vr
bans tag der do wz der erst
tag im brachmonet gon kurfon
dz ist ein schone stat mit z
wen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.735 0.312
[69r] addition1 Honores Marchio
ni exhi
biti
0.000 1.000

Result for image_9

Average fuzzy score: 0.279 (higher is better)
Average character error rate (CER): 0.909 (lower is better)
View raw result from claude-opus-4-20250514

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu den crtzbyschoff do selbs
zu ganff mag au
ch dꝰ schaw
zů dem kung do sel
bs jst
sant thÿnuol houpł dꝰ dohe
hꝛzog junge ender wyset sat
das kan eins kunsts do zwen
tachter houptgest sant schÿen
zů zeugrůnd nun jst sant andꝛes crnn jst
und och ze sta und sant sassmus crugst den
din erzgan schetzwen gen dal do sant cupꝛals
wir og schuss mag vsgeslugtz wunder jst
dat da blůot dꝰ jst wentag war sant jessaůds
macht nit werd dss wenrag war sant jessaůds
crůhet die lütprůg de erůngechsten sůren wir
geng oůd halb den knaben ken sürent ong
dꝛn gantz genůg bedautwuech für die sufol ze he
und bedautwuech für die sufol ze he
und oůch bedispꝛeng do kung zů dul kattela
worzeg del jarliner fest do wegmůte fest die
wiss fausts nicht
den jst die volgrichstler all grmeinehaff wnd
gogen die hasl bedůmend ull biltzen sꝛe
eht oben kaine
aines esse klayster
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
to
chter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sunge
chten fuoren wir
von kandia vn fuorend an der
mitwu
ch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do
wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.557 0.818
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000