Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.906 (higher is better)
Average character error rate (CER): 0.103 (lower is better)
View raw result from gpt-4o

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text vnd ein pferit die mir vnd
minen knechten wider hulffend
sey. So waz mener kön weg
name.
Daz wir machend
vnd vilend die knechte gut
und vil in nutz an den grob
und die
pferit waz an die
ritzl vnd waz ze mol im grossem
nebel dy wir k
ün gezaigen
vnd als mit grosser arbeit kam
yar ze mittem tag zu sant
kristoffel uff den berge. So
so sach ich die bücher da gar
vil herren, wos
pey zu konc
Die in stir gehn gethien hand
so sind mines vatter vinger
wospey och in dem einem
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.812 0.206

Result for image_10

Average fuzzy score: 0.855 (higher is better)
Average character error rate (CER): 0.159 (lower is better)
View raw result from gpt-4o

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text It Jo dem ersten Mꝛ Hainꝛ graff Allwaꝛt vo
Lantshut
Itꝛ her Lud
wīg Lantgraff von Hestemberg
Itꝛ her Ott von Hermbereg
Itꝛ graff Eberhart von Nūrenberg
Itꝛ graff Gottefrid von Hohenlohe
Itꝛ graff Albrecht von Mansfelt
Itꝛ graff Ludwīg von Oetingen
Itꝛ her Gottschalck von Klee + bes
pannd
Itꝛ her Hans von Tüngen
Itꝛ her Hauptrich
von Stein uz Wachm, Riter
Itꝛ lutz von Rotenhan *
Itꝛ her von Waldeck
Itꝛ hilprand von Thüngen
Itꝛ her von Elach
Itꝛ heini
n quat
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ her Buppelin vo
m stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ Jerg von
waldenfelss
Itꝰ hÿl
prand von thuongen
Itꝰ Jerg
von Slieben
Itꝰ henÿ
n quast
0.709 0.318

Result for image_11

Average fuzzy score: 0.819 (higher is better)
Average character error rate (CER): 0.182 (lower is better)
View raw result from gpt-4o

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich von Einsiedeln
her Bur
kh
Conrad der meiger
vnd Eberhart von
Mainz
Hans Hoffmaister zu Mainz
Hans Johanns sun den
Heinrich von Wipfen
garten
sein
Heinrich siner sun Emech
von Bern vnd
Gotfrid
Ludwi
g von Eischach
Hans von der Gruben
Hans Neumay
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.637 0.365

Result for image_12

Average fuzzy score: 0.863 (higher is better)
Average character error rate (CER): 0.148 (lower is better)
View raw result from gpt-4o

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text dem land ze
metzelburg
cunrat gobel ritt
si
frit liebzaw
peter der barfuß priester

vß luttringen
joßel von hartzurt
priester
sebastian der mintrurt priester
josa von paysy priester

vß golßen land
jakob nelinger
hans rudert
heinrich lang

von grosburg
hans von benfeld ein priester
frant johans obenaib
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich lieb
zöw
peter ein bar
fuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt
priest
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant Johans ordens
0.726 0.297

Result for image_2

Average fuzzy score: 0.613 (higher is better)
Average character error rate (CER): 0.458 (lower is better)
View raw result from gpt-4o

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gelobs im pronaten Sic besind
wir gantz und ein sint von
dem heiligen francrui
z So
lit er uff der brust und ein
bam von sant marien madalen
vinger
rot In uff samstag nach
dem oster
tag der do was der
ander tag des abrelens do
fuͤ
rend wir gen messery do
hetten
wir hundert der bruͤder
Sic heroͤlich erstrichen einen
alten Sic pfaffen und
sieht man noch bestendich
in sant und sich und die
nagelbare ob er winde an
Dem sammetag fring Sic
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crüt
z dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rügg
rot It vff samstag noch
dem oster
tag der do was Der
ander tag des abrellen do
fuo
rend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.727 0.328
[4v] addition1 Muren
ges
Muran
glas
hütt
en
0.500 0.588

Result for image_3

Average fuzzy score: 0.170 (higher is better)
Average character error rate (CER): 0.898 (lower is better)
View raw result from gpt-4o

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text vnd die puͤlste bi ou mil
wit vnd ꝥ der venediger
u
f von krieczug vntz gon
modauy sind ab mil vnd
vff ou am guͤlpat stat vnd
din erc
zbischoͤ vnd ꝥ ouch
der venediger
ze modauy
waͤrffet der rumainen vnd
in vff do bi ain heiligt gepefft
do bi in milen
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kur
fun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein er
tzbistum vnd ist och
der venediger
ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.540 0.591
[9v] addition1 Candia uf von modauy bis gon Candia
Cycta sind ou mil vnd Candia
Vinun ꝥ ein groz puͤl vff mil
Malua stat vnd waͤrffet der
rumain als vnd ꝥ ouch
der Venedier
Rhody uf von
Candia vntz gon Rodis
sind ou mil vnd
aber
Candia vff
Cre
ta
0.139 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.830 (higher is better)
Average character error rate (CER): 0.206 (lower is better)
View raw result from gpt-4o

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der groꝛt von ⸢wartenburg
vnd seyt all ander ritter
vnd knecht wolten mit
ihr sey in wab enthalden
richtig genommen daz feld
von ⸢
par⸣tgunt vnd gantz
dem hochwirdig ritter
sie zwey wirtend gen
mit mir gehn, aber eider
hertog do der meitcil mit
bar woltt vnd alꝛo m
ussen
wir mit grossem unwille
sam⸢ma⸣n seigen dey wir
mit der parson vnd
olg der brüderung dar
vnd hatzand ze zipron
warget ze gūte
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz z
uker
0.722 0.326
[18r] addition1 Saccharin
in Cypern
nachtē
Saccharu
in Cypro
nascit
0.769 0.292

Result for image_5

Average fuzzy score: 0.292 (higher is better)
Average character error rate (CER): 0.762 (lower is better)
View raw result from gpt-4o

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Hie nach got marij in die
huͤs der heilgen gnaden
si ein albis nyemmer
stan gemachet vnde der heilig
vnd geuͤst herren gewar
vnd moͤntig in gote
si vnd do die uͤberstant
ny der driten tag von
dem tod
ny der von die tempel
si ein latz vnd lat ein
bi ein
kleyn stan da stant
vnser garb dy was das mittel
der welt
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das
hus des karge riche
0.585 0.523
[23v] addition1 Hie nachgeschriben sant die
si begruͤset swenndy des
tempels in das stat
0.000 1.000

Result for image_6

Average fuzzy score: 0.681 (higher is better)
Average character error rate (CER): 0.415 (lower is better)
View raw result from gpt-4o

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Item patron ym grossen
kirch zu Bern
Item einma ein gross
Item stein
palen 1 gross ge-
kurtzt
von ein seiten
Item sampt 1 gross
Item den tempel 1 gross
Item
bettstain ein gross
Item sant
Johann ein gross
Item die kunting von 1 gross
Item wider in dem tempel im
gross
Item die Emporburg ein gross
in dem spital zu Bern
Item aber ein gross zu Zurich
Item aber zu steinpal 1 gross
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem
consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betla
hem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tem
pel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ a
ber ein gros ze curtisig
Itꝰ aber ze
Jherusale i gros.
0.681 0.415

Result for image_7

Average fuzzy score: 0.304 (higher is better)
Average character error rate (CER): 0.752 (lower is better)
View raw result from gpt-4o

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Getr silbern tagz gen salzung In der wurtz
zel vff den salmtag des des vnd
Der sil
bentzehende tagz Mertz vnd
gen salz
burg vff den achtzehenden
tag gen tre
cht vnd obach vnden
tag vnd Z
urich an den folghen
Disstag Aber den vff den acht vnd
zwentzigst tag des merzen vff
den Walfart gen welshland
vff den sprachen der da vnd der
letz hingem vnd gen Diser
stat hin widerum gen Diser
stat nach merzen gen diser
Venedig vnd Rom vnd der vnd der
Durich Hertzog palast Der vnd vnd der
palast vnd wend daruff vnd gen Vatter
vnd bruder vnd vnd der Der
cum et Der vnd vnd Der vnd der
zu Venedig genwesen sind Die ir
kine Ca
ppell vnd der minster Statt
der
prisinge inhaltend gewassen In
Diser gestaltet vff den Erden vff das
des selben tags gon falzion In der wur-
gen
Itꝰ an dem balmtag derdo wz
der s
ubenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd
bliben zwen
tag do vnd f
uorend an dem hohen
donstag der do wz der
acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
s
chiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind Do ist
ein Ca
ppell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs Xps vff fas
0.608 0.504
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.421 (higher is better)
Average character error rate (CER): 0.621 (lower is better)
View raw result from gpt-4o

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Iemant kome in pfrister
trummet zu nemen heruoff
die galden vnd hofester da
inner geden
k des hat kome
nie hundert pfrister vnd
trumeter vnd bisschoff vnder
nie hofester do als nach ir
sitte als wand vnde gnedige
herz vnd aller dy sine vil
zege abbeten vff vnder ge
tog tuncz vff kume der
volmoc tag des do her der erst
tag im heidmonet gen hussen
Er ist ein pfister mit vwey
redegen vff schrey ob der
tat den vff hinab genenck
weg vnde da kume der est
pfister vnde sunt vnde tag
kume zu vnde in galley
by 130
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten
Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vrbans tag der do wz der erst
tag im brachmonet gon
kurfon
dz ist ein schone stat mit zwen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.640 0.435
[69r] addition1 Honorij
Marcelio
in script
bith
Honores Marchio
ni exhi
biti
0.623 0.429

Result for image_9

Average fuzzy score: 0.376 (higher is better)
Average character error rate (CER): 0.749 (lower is better)
View raw result from gpt-4o

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu dem er gestuͤfft do schb
daz z
wey man vnd sy gleub
in dem huͤ
bey do schb sy
sin huͤbnd houpt die da de
legen siner eynen wy gestuͤft
berbare eyns kunigs da zwey
kestern houpt gest mit bleibey
wey des sant andre my helf
nuͤ sant kateryn my helf
zwey zeig die sant my helf
zuo my helf sant my helf
eyn witter da sant gestuͤft
mit sant my helf da fieng my g
nuͤ sant my helf da fieng my g
my helf nuͤ sant my helf da
my helf nuͤ sant my helf da
my helf nuͤ sant my helf da
my helf nuͤ sant my helf da
my helf nuͤ sant my helf da
my helf nuͤ sant my helf da
my helf nuͤ sant my helf da
my helf nuͤ sant my helf da
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer
wz Itꝰ sat
Bar
bare eins kungs vo zipern
tochter houpt Itꝰ sant
blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sunge
chten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.492 0.666
[70v] addition1 vnd sant my helf da schuͤb
in de
m huͤbey
das gestuͤ
fft
das gestuͤfft
vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii
frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii
frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Bar
fuossekloster
0.259 0.832