Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.916 (higher is better)
Average character error rate (CER): 0.102 (lower is better)
View raw result from gpt-4.1

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Und ein pferit die mir und
minen knechten wider hulßand
des So was manen kam weg
dannen
Daz wir machend
und vibelend die knechte gut
und vil in nutz an den groz
und die
pferit waz an die
ritel und waz ze mol in grossem
nebel dz wir kum gesaffen
und als mit grosser arbeit kam
jar ze mitten tag zu sant
bartoffel uff den bercz do
sach ich die burger da gar
nit gern, wos
pey zu pone,
die in stir ed hin geten hand
do sind mines vatterß pflegen
wospey och in dem einen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.832 0.204

Result for image_10

Average fuzzy score: 0.863 (higher is better)
Average character error rate (CER): 0.173 (lower is better)
View raw result from gpt-4.1

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jst z dem ersten Mig heinr graff allbrecht vo
habs
purg
Jst her ludwig lantgraff von hessenberg
Jst graff ott von hennneberg
Jst graff Ebernhart von dernstein
Jst graff gilstedt von habsburg
Jst graff heinr von mansfeld
Jst graff ludwig von osterburg
Jst her Gotfridt von Eltz bespanisch
Jst her lamb von turgow
Jst her Bauptist von stein vcz wochin, Ruter
Jst lutz vom Rotenhan
Jst zey von waldenfels
Jst hilprant von thüngen
Jst zey von elden
Jst heinri
n quast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ her Buppelin vom stein w
z vorhin Ritter
Itꝰ lutz vo
m Rotenhan
Itꝰ Jerg von waldenfelss
Itꝰ hÿl
prand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿ
n quast
0.727 0.347

Result for image_11

Average fuzzy score: 0.855 (higher is better)
Average character error rate (CER): 0.142 (lower is better)
View raw result from gpt-4.1

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich von Einsedlen
ain bischo
f
Cunradus der pfaffner
vnd Eberhart von
Mai
ntz
Hans Caspar tantsain ze Maintz
Hans Johans enders
Heinrich von Wiff
engarde
H
einrich smit sin knecht
von Bern vnd
E
gstland
Ludwi
g von Eischach
Hans von den Gruben
Hans Neman
heinrich von külstetten
ein bar
fuos
Cuonradus der schriber
vs dem sti
ft von
me
ntz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wiss
engerode
Rittꝛ
h
einrich smit sin knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.711 0.285

Result for image_12

Average fuzzy score: 0.870 (higher is better)
Average character error rate (CER): 0.137 (lower is better)
View raw result from gpt-4.1

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text dem land ze
mastelßlingen
Einhart Tobie
pritt
Dietrich liebzan
peter ein barfuß priester

vß Luttringen
Jakob von hartzwurt pritt
Sebastian de mintrant priester
Joda von bayern priester

vß golßen land
Jakob Melinger
Hans Judenck
Heinrich Lang

von proßburg
Hans von benfeld ein priester
Sant Johans ordens
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.740 0.274

Result for image_2

Average fuzzy score: 0.619 (higher is better)
Average character error rate (CER): 0.410 (lower is better)
View raw result from gpt-4.1

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gelüb im fronaltar die bůßend
wir ganz vnd ein stück vor
dem heiligen fron cruz. So
lit ir vff ir brust vnd ein
bein vff sant marien magdalene
vinger vnd vff samstag nach
dem oster tag. die do nach der
ander tag. daz abrelien. do
füeret
wir gen messen. da
legent in fron altariu
hebt sy ein hundert jar bůßend
sie herschi do erstlich im einem
altar. die pfarrin vnd
siet man noch bestendiglich
im land und sich vnd die
magdalene als wündes sy
Dem sunentag früg do
Selbs im fronaltar die sohend
wir gantz vnd ein st
ück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuorend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.754 0.291
[4v] addition1 Muren Glos Muran
glas
hütt
en
0.483 0.529

Result for image_3

Average fuzzy score: 0.173 (higher is better)
Average character error rate (CER): 0.892 (lower is better)
View raw result from gpt-4.1

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Und die post ist bi an mil
wit und ist der venediger
ist von venedig mit gros
z
machtung sint all mit und
ist och ain guͦt stat und
ein er
zbischoͦm und ist och
der venediger ze modan
macht der rumanien und
ist och da bi ain heilig gesstet
do bi in milen
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vnt
z gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ert
zbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vntz gon rodis
sind ccc mil wer aber
0.566 0.569
[9v] addition1 Candia ist von modan das gros candia
sint all mit und candia
Cyc
ta ist ein grosz post mit mil
Vinun stat und macht der
Malba malachier do und ist och
der venedier
Rhod ist von candia mit grosz post
sint all mit wir aber
Candia vff
Creta
0.127 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.858 (higher is better)
Average character error rate (CER): 0.156 (lower is better)
View raw result from gpt-4.1

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der grost von Swarzburg
vnd fast all ander ritter
vnd knecht wolten mit
der Eng in wald enthalden

pits genomen sy das gelt
bey hartzv
urt vnd gantz
den west
phalisch ritter
die zwey wirtend gen
mit inen ochs, aber Eder
haldrey wolt
unser mit
betrag so der meitcil mit
der walt vnd also mussen
wir mit grossen unwilley
sammt seyen, dey wir
mit den haron vnd
oͤch den brideren gar
und hattend ze zipern
wachet ze guter
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der

patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz z
uker
0.758 0.300
[18r] addition1 Sacchari
in Cypro
macht
Saccharu
in Cypro
nascit
0.816 0.167

Result for image_5

Average fuzzy score: 0.707 (higher is better)
Average character error rate (CER): 0.330 (lower is better)
View raw result from gpt-4.1

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text
Das nach got marÿ in das
hayl des heiligen grabeß
zi. ist ein altar, dÿ von marÿen
stein gemacht vnd das haylig
grab so vnser herre ge
wan
vnd montag in oster
vnd da der vfstant
ung
am drey dritten tag nach
sey tod.
Nÿ das vnß des tempels
zi ist ein latÿ vnd das ist
bi ein
klein stein, da pflegt
vnser herr dz war das mittel
der welt
Nÿ der nottgschrÿbay stand dz
bi begriffen schwenck des
tempels in das hay
Nÿ das quo des ewech nach
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here d
z were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.707 0.330

Result for image_6

Average fuzzy score: 0.721 (higher is better)
Average character error rate (CER): 0.391 (lower is better)
View raw result from gpt-4.1

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Item patron in grossen
für sin bywunt
Item ein alt ain gross
Item stefans altar j gross ze
kurtzist
von ein gesell
Item tumpel n gross
Item den tumpel vi gross
Item
bettaltar ain gross
Item sant
Johans ain gross
gross ze kurtzist oben j gross
Item wider in den tumpel in
gross
Item samsonstag ain gross
in den spital ze lay
Item aber ain gross ze guntst
Item aber ze stefansalt j gross
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze
betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ
wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ a
ber ein gros ze curtisig
Itꝰ aber ze
Jherusale i gros.
0.721 0.391

Result for image_7

Average fuzzy score: 0.289 (higher is better)
Average character error rate (CER): 0.771 (lower is better)
View raw result from gpt-4.1

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] folio 2 0.000 1.000
[62v] text Diss siben tag op santyns In der unnz
sey ist in dem
kalmery des des wÿs
der sibenzehende tag hatt er, aber
op sant felix ist op dem a
chzehenden
tag op tertio ydus oktobri, wenn
tag und funfftag op dem obigen
disz op der in der der achzehn
zwenzigst tag des merzen, op
dem wasser der treste op selbig
ist in dem sprechend der da nu der
lest herin merzen, dis folgen wir
nicht allewege, diss siben op
will sam man op der woche
Dure: herczog palat der pfz rens pfalz
palatin fund daruff wil send vater
marxi. und knecht kna
ppen die dem
cum: ze nempt geweset sind In ir
ein c
appell an den minster stat
der
prising einkelheit gewasset In
diser gestalt oppe oppe diss das
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen
palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd
knechten woppen die denn
ze venedig gewesen sind Do ist
ein C
appell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs X
ps vff fas
0.645 0.469
[62v] addition1 Vener. h. Veneti
Ducis
palatiu
magnifi
cum
0.222 0.844

Result for image_8

Average fuzzy score: 0.456 (higher is better)
Average character error rate (CER): 0.587 (lower is better)
View raw result from gpt-4.1

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Jtem nach konig in pfister zu
trumeter zummen, her
wuff
die galten und hofmeister zu
siner gnaden. Jch halt
konig
die hundert pfister und
trumeter sind
biss uff nach
und hofmeister, so ach nach ir
sitt, als
ward mine gnaden
hern und aller, die sin vil
des ge
batten. Jch mindes ge-
sey tung funfacht
wir so dann
das
kunig uff freytag nach sint
valent tag stet do her, det erst
tag im heidmonat offen husen
Jst ein gschone stat mit zwey
rucken. Uff freytag ob der
stat don uff kunig drumach
funf nur do dann kunig
funf nur sant valent tag uff
kunig zu und in galt
en by 1400.
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die
windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vr
bans tag der do wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit z
wen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.702 0.404
[69r] addition1 Honorij
Marcelio
in ext.
brit.
Honores Marchio
ni exhi
biti
0.667 0.357

Result for image_9

Average fuzzy score: 0.448 (higher is better)
Average character error rate (CER): 0.682 (lower is better)
View raw result from gpt-4.1

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu sey erbschoss do saltz
da zu
cht man und sy glabt
in dem
burg do saltz ist
sint hÿrnach haupt die da daz
legen hinder einander wy gestilt
derselbe eyns kunigs da zwey
dritter haupt gest mit bleicher
wy ist sant andres myn
nider sant katharina myn
zwey zyffel do sant mychels
myn hofflage da sant Jossaff
myn und der da sant Jossaff
myn alle kinder daz fieren myn
und alle nutzwerch für die fursteng
daz burgery do burg zu dinkelstal
nacz natürlicher gest da das myn salt die
und salt hoffstat all gemenlich und
genant und nemend all bilczung der
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
to
chter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.567 0.570
[70v] addition1 daz saltz burgk do
man in wirt
genant burg
din
kelstalt
daz saltz burg
k
daz saltz klapir
vn zougt ma
vns och ze
ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit

man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem
kleine
Barfuosse
kloster
0.329 0.794