Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.462 (higher is better)
Average character error rate (CER): 0.533 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 0.000 1.000
[3r] text Vnd ein pferd die mir vnd
minen knechten wder hulfend
den do was menen kam weg
danne den wir machtend
vnd viellend die knechte dick
wie vil in vntz anden ars
vnd die pferd vntz an die
setel vnd was ze mol ein grosser
nebel dz wir kum gesahend
vnd als mit grosser arbeit kame
wir ze mittem tag zu sant
kristoffel vff den berg do
do sach ich die bucher do gar
vil herren wopen jn stone
die ir stur do hin geben hand
do stund mines vatters schigen
wopen och in dem einen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wopen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wopen och in dem einen
0.923 0.067

Result for image_10

Average fuzzy score: 0.909 (higher is better)
Average character error rate (CER): 0.109 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jst Zͮ dem ersten Min heren groff albrecht vo
wirtshalt
Jst her ludwig lantgrof vom luchtenberg
Jst groff ott von hennenberg
Jst groff Bernhart von Regenstein
Jst groff gotfrid von hohenloch
Jst groff gebhart von Mansfelt
Jst groff ludwig von ysenburg
Jst her Gotschalk von hesse bey panchen
Jst her hans von trugeno
Jst herr Braunembken
Jst her Ruprecht von
stein wz vorhin Ritter
Jst lutz vom Rotenhan
Jst Jerg von waldorff
Jst hiltprand von thungen
Jst jerg von Elichen
Jst heny
n quast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ her Buppelin vo
m stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿ
n quast
0.818 0.218

Result for image_11

Average fuzzy score: 0.914 (higher is better)
Average character error rate (CER): 0.079 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich von fulstetten
Ein dieb
Einmals den schriber

dem stift von
mentz
Hans kaste comegin ze mentz
sant johanns ordens
Heinrich von wissen
gerde
Ein dieb
Heinrich smits sin knecht

von bern vß
oechtland
ludwich von diefbach
hans von den gruben
hans vlman
heinrich von külstetten
ein bar
fuos
Cuonradus der schriber
vs
dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissengerode
Rittꝛ
heinrich smit sin
knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.828 0.158

Result for image_12

Average fuzzy score: 0.925 (higher is better)
Average character error rate (CER): 0.058 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vs dem land ze
megolten sint
Cunrat hobe gut
Dietrich liebzow
Peter ein barfuß priest

Vs luttringen
Johab von harzkurt Ritt
Desiderius vo minerut priest
Cola von bayen sin knecht

Vs hessen land
Jakob veltung
Hans rudbeck
Heinrich lang

Von strasburg
Hans von benf
elt ein priest
sant johans ordens
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priest
vs luttringen
Jokob von harenkurt Ritt
Desiderius vo mirecurt priest
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von bens
elt ein pristꝛ
sant Johans ordens
0.851 0.116

Result for image_2

Average fuzzy score: 0.694 (higher is better)
Average character error rate (CER): 0.366 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Selba my fronnaltar die sehend
vm
gantz vnd ein stuck von
dem heiligen fron crutz dz
lit in vff ir brust vnd ein
bein von sant marien madalene
ruoget vff eff samstag nach
dem ostertag der do wab der
ander tag des abrellen do
fu
rend wir von megan do
kofend in sant steffans
kirchen bi hundert der kindlin
die herodes ersluog in einem
altar die se
hend wir vnd
sicht man noch bescheidenlich
ir hend vnd fuos vnd die
nagel dar an stundz in
dem sunnentag fruog do
Selbs im fronaltar die sohend
wir
gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was Der
ander tag des abrellen do
fuo
rend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die so
hend wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.908 0.085
[4v] addition1 Murgen Muran
glas
hütt
en
0.480 0.647

Result for image_3

Average fuzzy score: 0.718 (higher is better)
Average character error rate (CER): 0.292 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text vnd die jnsel ist bi ccc mil
wit vnd ist der venediger
ist von kursum vntz gon
modun sind cc mil vnd
ist och ein hubsch stat vnd
ein ertzbistum vnd ist och
der venediger zu modun
wachset der rumanien vnd
ist och do bi ein heilig gestet
do bi ij milen
Jst von modun bis gon candia
sind ccc mil vnd candia
ist ein gros jnsel vnj mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Jst
von candia vntz gon rodis
sind ccc mil weg aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ
von candia vntz gon rodis
sind ccc mil wer aber
0.929 0.065
[9v] addition1 Candia
Creta
Candia vff
Creta
0.828 0.250
[9v] addition2 vinum
malva-
sia
Virum
Malva
ricum
0.571 0.353
[9v] addition3 Rodis Rhodꝰ. 0.545 0.500

Result for image_4

Average fuzzy score: 0.932 (higher is better)
Average character error rate (CER): 0.072 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der graff von flantzburg
vnd sust all ander ritter
vnd knecht wolten mit
Daz den ir was enteilwist
Recht vszgenomen her jacob
von hades
unt vnd hans
von liechtenbeꝛg Ritter
Die zwen werent gern
mit mir gesyn aber der
patron wolt vnser nüt
beiten Do du metteil mit
Dar wolt vnd also müsten
wir mit grossem vnwillen
dannēd scheiden den wir
mit dem
patron vnd
och den briederen dar
vmb hattend ze zyten
wachs
t dz zuker
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den br
üderem dar
vmb hattend ze zi
pren
wachse
t dz zuker
0.891 0.092
[18r] addition1 Saccharum
in Cypro
nascitur
Saccharu
in Cypro
nascit
0.906 0.125

Result for image_5

Average fuzzy score: 0.430 (higher is better)
Average character error rate (CER): 0.570 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Item was got may in die
himel vnd heiligen gr
u
Dz ist ein altar vin swarmel
stein gemacht vber das heilig
grab do vnser herre gewesen
hat vnd monßig in gelegen
ist, vnd do von vferstanden
am dem dritten tag von
dem tod

Item in dem tor des tempels
do ist ein loch vnd stat xur
hi ein
klein stein do sprach
vnser here es were das mittel
der welt

Item nachgeschriben stond die
die bildprister oßwendig des
tempels in der stat

Item das hus des kriech rich
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre ge
worer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.861 0.140
[23v] addition1 0.000 1.000

Result for image_6

Average fuzzy score: 0.823 (higher is better)
Average character error rate (CER): 0.191 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Jt dem patron iiij grosser
für sÿ gerung
Jt ze ennö ein grossen
Jt ze jherusalem j gross ze
kurtis
ch von den cplen
Jt dem tempel v gross
Jt in den tempel ij gross
Jt ze betlahem ein gross
Jt ze sant johanns ein gross
Jt wider ze jherusalem ein
gross ze curtischÿ aber j gross
Jt wider in den tempel iiij
gross
Jt ze dem jordan ze v gross
vo den cplen ze lon
Jt aber ein gross ze pursÿt
Jt aber ze jherusal j gross
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant
Johans ein gros
Itꝰ wider ze
Jheruaelem ein
gros ze
curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze curtisig
Itꝰ aber ze J
herusale i gros.
0.823 0.191

Result for image_7

Average fuzzy score: 0.736 (higher is better)
Average character error rate (CER): 0.315 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Des selben tage gen salzburg zu der wirt-
gen hof an dem
balmtag der do wz
Des sibenzehende tag virten wir
gen salzburg hof an den achzehende
tag gen terste vnd bliben zwey
tag do vnd firend an dem hohsten
donstag der do wz der achtun
zwenzigest tag des merzen vff
dem wasser vs terste gen venedig
hof an dem osteraben der do wz der
lest tag im merzen do sahen wir
etwe manigen schifsten
kund grosse
schiff als merstige huser och sehe
wir sant marcus munster vnd den
hertzogen palast der ist zemol schin
gin sand marcus vil scheni alter
vnd knechten ki
ppen do dem
zu venedig gewesen sind die
do c
appell an dem munster hant
den hertzogen gehalten gewesset do
vil sen
behalten ist etc vff das
des selben tags gon falzion In der wur-
gen Itꝰ an dem
balmtag derdo wz
der s
ubenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd f
uorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem ostero
ben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sit
kusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind Do ist
ein C
appell an dem münster doist
der stein in eine altar gevasset do
vnser
behalter Jhs Xps vff fas
0.823 0.192
[62v] addition1 Venedig
Ducis
palatium
cappella
custos
Veneti
Ducis
palatiu
magnifi
cum
0.649 0.438

Result for image_8

Average fuzzy score: 0.460 (higher is better)
Average character error rate (CER): 0.564 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Der nach kinge er pfiffer zu
trumetter zu immen heran vff
das gallen vnd hoffierten do
sinen gnoden des glug
koma
h
ie wurdeschij pfiffer vnd
trumeter vnd bogenslaher
du hoffierten do och nach ire
sitten also ward mine gnedige
here vnd allen den sine vil
ere
erbotten jst mindert ge-
sin das sin eere
V
nd kamen vff fritag nach sint
wolborg tag das was der erst
tag im meigmanot hin heim
Vff den sel
ben kal gen basel
stollichen jst gescheen ob das
rot von vff suntag darnach
sinen wer do kume ken vff
fritag dar sint vch tag
kolich zu vnd in
gallen by een
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich
kome
d
ie windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do
erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
v
nd kamen vff freitag nach sant
vrbans tag der do
wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit z
wen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.747 0.300
[69r] addition1 Honor ex
Marchio
in civi-
tate
Honores Marchio
ni exhi
b
iti
0.633 0.393

Result for image_9

Average fuzzy score: 0.467 (higher is better)
Average character error rate (CER): 0.661 (lower is better)
View raw result from claude-3-5-sonnet-20241022

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Vnd dacz er geschaft do solt
vn ze
wst min vnd do solt
zv dem thurn do solt ist
smit thyn
howpl dz doden
sprinz hunze er ter
wz ist sat
dr
w hoypt kneght vn zwen
taffter howpt ist smit ist sin
muj ist smit andres ein
vnd sint hessins muj ist sin
zwey zen die do sint enpfols
wir im hant man vsgeslage vmrtent ist
ist ey entag dar sant joshans
wir ze dunge
chen fureg wir
den handin ret spirend an jr
vinf wur
chs fur die fusle ze zu
ind aus ts
chagern do kam zu vnd balteln
vorzen vsl sant wer hast do wognute sich die
wil smist trug
vn ist die vol geschlat als gemeinlich vnd
Tge ee ff so
Et in fine
capitule claus
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
to
chter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
z
wen zen die do sant appolo
nien vsgeslage wurdent It

vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sungechten fuoren
wir
von kandia vn fuorend an der
mit
wuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do
wappnete sich die
s
chiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.594 0.543
[70v] addition1 Item zeugt min
vnd och zehd
die ein
min
ret den en solt
wir im hant
ind ant vn d
vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in de
m kleine
Barfuossekloster
0.340 0.779