Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.432 (higher is better)
Average character error rate (CER): 0.564 (lower is better)
View raw result from claude-opus-4-1-20250805

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 0.000 1.000
[3r] text Vnd ein pferit die mir vnd
minen knechten oder hulfend
den do was menen kan weg
denne den wir machtend
vnd viehend die knecht diſt
vns vil in vntz an den ard
vnd die pferdt vntz in die
ſtifel vnd was ze mol ein groſſer
nebel dz wir kum geſahend
vnd alſo mir groſſer arbeit kame
wir ze mittem tag zu ſant
karſtoffel vſſ den
perg do
do ſah ich die bucher do gar
vil herren weren zu ſtouk
die ir ſtur do hin gelien hand
do ſtůnd minech vatterſ klagen
wol
pen och in dem einem
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.865 0.128

Result for image_10

Average fuzzy score: 0.879 (higher is better)
Average character error rate (CER): 0.150 (lower is better)
View raw result from claude-opus-4-1-20250805

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jst zuo dem ersten Mij herr graff albraicht vo
einsidel
Jst
her ludwig langraff von hichtenberg
Jst graff ott von hennenberg
Jst gra
ff Bernhart von katzenelnbogen
Jst graff götfried von habs
purg
Jst graff gerhart von Manssfeld
Jst graff ludwig Von stemberg
Jst her Gotfrialt von liess bodganelm
Jst her henri
ch von twegöw
Jst graff Bragennem
Jst her Ru
pelm vom stein wz vorhm Ritter
Jst hug vom Rotenhon
Jst herg von walbenfels
Jst spibrend von thunigen
Jst h
erg von Slieben
Jst henꝛin guast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ
her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ gro
ff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschal
k von Bless bedpanchn
Itꝰ her hans von tur
göw
Itꝰ Jerg vo Bappenhein
Itꝰ her Buppelin
vom stein wz vorhin Ritter
Itꝰ lutz vo
m Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿn quast
0.758 0.300

Result for image_11

Average fuzzy score: 0.919 (higher is better)
Average character error rate (CER): 0.083 (lower is better)
View raw result from claude-opus-4-1-20250805

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text heinrich von külstetten
ein barfuoß
Conradus den schnider
vß den
stift von
mentz
Hans leste tameran ze mentz
sant johans ordens
heinrich von wissengerde
breit
heinrich smit sin knecht
von bern roß
achslant
ludwick von diestach
spieß von der
grienen
stras vlman
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem
stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissengerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
ludwig von diesbach
hans von der gruoben
hans volman
0.839 0.165

Result for image_12

Average fuzzy score: 0.897 (higher is better)
Average character error rate (CER): 0.087 (lower is better)
View raw result from claude-opus-4-1-20250805

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vb dem land ze
mechsenburg
Cunrat hebe ritt
Dietrich liebzow
Peter Im baufuß priest

Vb luttringen
Jokel von harzkurt ritt
Balderuß vo minerat
priest
Cola von bayen sin knecht

Vb clotten land
Jakob velklint
Hanß vudeck
Heinrich lant

Von straßburg
Hanß von benfelt ain priest
Sant Johanß orden
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo
mirecurt priest
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.794 0.175

Result for image_2

Average fuzzy score: 0.696 (higher is better)
Average character error rate (CER): 0.403 (lower is better)
View raw result from claude-opus-4-1-20250805

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Ghelbet mij fronalten Sie solhend
wir gantz dut ein stuk von
dem heiligen fron trutz So
lit ir vff ir bruost vnd ein
bein von sant marien magdalene
riuogtrot Jst ouch samstag nach
dem ostentag
Der bo was Ar
ander tag des abrellen So
fur
end wir gen magan So
liezend in sant Jst steffins
kilchen bi hundert der kinden
die heraduo erstluog in einem
altar die solhend wir vnd
sicht man noch bescheidenlich
ir hend vnd fuos vnd die
machel dar an windes wy
dem swnendig sung die
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die soh
end wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.854 0.159
[4v] addition1 Murgan
glauob
Suostris
Muran
glas
tten
0.537 0.647

Result for image_3

Average fuzzy score: 0.648 (higher is better)
Average character error rate (CER): 0.449 (lower is better)
View raw result from claude-opus-4-1-20250805

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Vnd die pscheyt bi ett mit
wit vnd ist der venediger
ist von kurtzuy vntz gen
meduy hut t
zt mil vnd
ist och ein guldig stat vnd
ein er
tzbitum vnd ist och
der venediger ze meduy
wachtet der rumaner vnd
ist och do bi ein heilig geysset
do bi ij milen
ist von meduy bis gen tandria
xiiij ett mil vnd tandria
ist ein grob pssel vij mil
wit vnd wachtet der
maluasier do vnd ist och
der venedier
ist von tandria vntz gen soꝛib
hut ett mil wer aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein er
tzbistum vnd ist och
der venediger
ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vn
tz gon rodis
sind ccc mil
wer aber
0.817 0.184
[9v] addition1 Candia
Creta
Candia vff
Creta
0.828 0.250
[9v] addition2 Vreum
Mare
V
icarium
Virum
Malva
ricum
0.615 0.529
[9v] addition3 A bodg Rhodꝰ. 0.333 0.833

Result for image_4

Average fuzzy score: 0.825 (higher is better)
Average character error rate (CER): 0.210 (lower is better)
View raw result from claude-opus-4-1-20250805

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der groß von swartzbürg
vnd s
ust all ander ritter
vnd
knecht wolten mit
dar den ir was entwildest
sölch ofgenomen herꝛ Jacli
von hardenurt vnd hanß
von liechtenkelch Ritter
die zwen waren gern
mit mir gesin aber der
patrön wolt vnser mit
listen So der metteil mit
dar wolt vnd also müsten
wir mit grossen vnwillen
damied scheiden den wir
mit den gůtten vnd
och den brüderen der
vnub hattend ze zypren
wachst dz zůker
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten n
üt
dar den ir was enteilvast
siech vsgenomen her jokob
von hareg
urt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also muosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz zu
ker
0.861 0.130
[18r] addition1 Sareham
in Cypro
via Alexi
Saccharu
in Cypro
nascit
0.615 0.500

Result for image_5

Average fuzzy score: 0.806 (higher is better)
Average character error rate (CER): 0.193 (lower is better)
View raw result from claude-opus-4-1-20250805

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Dar noch get man in die
t
uggel des heiligen grabes
Do ist ein altaw vbij mermelꝛ
stein gemacht vbeꝛ das heilig
grab Do vnseꝛ herꝛe gewundeⁿ
wart vnd mõnsch in ist legen
ist vnũ so von vferstanden
an dem dritten tag von
dem toď
ff vj Dem toꝛ des tempels
Da ist ein loch vnd stat Aur
hi den
klein stein do vnseꝛ
vnseꝛ herꝛe Sij wart Das mittel
des welt
Die nochgeschriben stend Die
die bügersteⁿ ofswenđig des
tempels in Deⁿ stat
f Das gruob des kunigs vide
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.806 0.193

Result for image_6

Average fuzzy score: 0.761 (higher is better)
Average character error rate (CER): 0.284 (lower is better)
View raw result from claude-opus-4-1-20250805

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Item patron üij grossen
für sin dienst
Item eᵉ emas zin grossen
Item ze gemeinem
hoff ze
kurtzer den dꝛij ecklen
Item dem touste
l v gros
Item den tempel ij gros
Item
bertahem ein gros
Item sant Johans ein gros
Item wider ze scharplan ein
gros ze twrtikst aber j gros
Item wider in den tempel iiij
gros
Item ze kungarten iiij gros
do den ecklen ze lon
Item aber ein gros ze purper
Item aber ze scharplan j gros
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze I
herusalen i gross ze
kurtisig von den eselen
Itꝰ dem
consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze
betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze
curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze curtisig
Itꝰ aber ze J
herusale i gros.
0.761 0.284

Result for image_7

Average fuzzy score: 0.677 (higher is better)
Average character error rate (CER): 0.363 (lower is better)
View raw result from claude-opus-4-1-20250805

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Do sillen noch gen salmen so dez wære
gen ist an dem
bolming dz edo wz
Der sel
ben geste tag bitten wir
gen selli
ch ist an dem achtzehende
tag gen tersis vnd bliben zwen
tag do vnd f
uorens an dem sechsen
Suntag deb do wz der achtende
zwentzigst tag deb merzen Vff
dem wasser so tersis gen valleby
ist an dem osteraben der do wz der
lest tag an merzen do selley wir
etwe manigen sickinen hund spisse
schiff allo nichtige hieser och solle
wir sant maꝛco munster vnd deb
hewtzigen palast der in gemalsehig
von fꝛieb sawlef vil schon Vater
vnd knechten wayssen die dem
ze wayg geroesct sint Als do et
lich ca
ppell an dem munter do ist
der fron an engelent gevosset do
vnser lieholter jhs x
ps vff sab
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem a
chzehende
tag gon terfis vnd
bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem ostero
ben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
s
chiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd kn
echten woppen die denn
ze venedig gewesen sind Do ist
ein Ca
ppell an dem münster doist
der stein in eine altar gevasset do
vnser
behalter Jhs Xps vff fas
0.762 0.258
[62v] addition1 Vene[t]
Duces
Buchardi
mag cum
cuim
Veneti
Ducis
palatiu
magnifi
cum
0.592 0.469

Result for image_8

Average fuzzy score: 0.251 (higher is better)
Average character error rate (CER): 0.762 (lower is better)
View raw result from claude-opus-4-1-20250805

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Sarnach kunge ir pfister zuͦ
trumette zuͦ ynnen hern vff
die gallen vnd hofferten do
sinen gnoden de
b gelich kome
die vundesten pfister dar
trumette vnd liessen slahes
dar hofferten do vff nach ire
sitten als
o ward mine gnedige
hern vnd allen den sine
wil
exentzxlietten ich morde
b ge
gen hern furemt
wir do danne
vnd
kamen vff satag nach sant
wilhelms tag do bo wir der erst
tag im kunigsmat den kusch
richten geslane gat sint welch
slabessen bufflibergn ob den
hat dar vff sambstag darnach
furen wir do denne dar vff
sunstag war sant wlrichs tag
kamen zuͦ vns in gu
llen by pip
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die windeschen pfiffer vnd
trumeter vnd
böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vrbans tag der d
o wz der erst
tag im brachmonet gon kurfon
dz ist ein schone stat mit z
wen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.753 0.286
[69r] addition1 Honores Marchio
ni exhi
biti
0.000 1.000

Result for image_9

Average fuzzy score: 0.260 (higher is better)
Average character error rate (CER): 0.923 (lower is better)
View raw result from claude-opus-4-1-20250805

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu den eꝛn beſſhoff do ſelbe
en zauff meynung den ſolten
in den
klungen do ſelbe Iſt
ſent thyꝛnl houpt der dode
lyꝛoꝺi ſung
endeꝛ wijſet ſut
Petuhen eins
kunigs des Jewꝛeη
to
chteꝛ houpt geſ ſent ſcſchi
vnd zennt md gꝛun geſ ſent andꝛis
cꝛem Iſt
vnd och jo hd vnd ſent ſteffins oꝰmgeſt den
dm eiη dch ſol zwen zeη dil do ſent engels
miꝛ eꝛη ſvlſ men vyſyſſenſz wundeꝛn Iſt
Jt vi
l blůit Iſt och do des entag vas ſent Joſſaubs
mit mit vnd des entag vas ſent Joſſaubs
eꝛſlict die bilgeꝛing do Siungethſeη fꝛireη wir
gmeη oꝰo halb vnd och kanbia kan foꝛben eng°
vm gꝛonie gehꝰ heſ hundtvnich fur die ſuſel ze ze
mꝛie ſol ſudent vnd och gelhꝰpzen do kong zu vnd hiltela
voꝛzen vei ſuꝛlmeꝛ feſt do wegnute ſich die
veiſ ſenſit nicht
vnd ſt die vchſteptbleꝛ all gꝛmemliaſs vnd
gꝛo die ſuſels vꝛdinent all bilgeꝛuηg ſve
das oꝰen deine
diuſ hiſſe klaſteꝛ
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins
kungs vo zipern
tochter houpt Itꝰ sant
blesÿen
arm It
sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
z
wen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant
johans
tag ze sungee
kten Item uff mentag vor Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwu
ch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete si
ch die
s
chiflut all gemeinlich vnd
nomend al
l bilgerin Ire
0.519 0.846
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000