Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.935 (higher is better)
Average character error rate (CER): 0.066 (lower is better)
View raw result from gpt-4.1-mini

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Und ein pferdt die mir vnd
minen knechten vber hulffend
den do was menen lan weg
danne den wir machten
und vielend die knechte d
üt
und vil in vntz an den aß
und die
pferdt vnz an die
fettel und was ze mol ein grosser
nebel dz wir kum gepassend
und also mit grosser arbeit kunde
wir zu mitten tag zu sant
kirsoffel uff den berg do
do sach ich die büecher do gar
vil herren wapen zu stone
die ir für edlin gelieng hand
do stund minen vaters slagen
wapen acht in dem ein ein
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wopen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.871 0.132

Result for image_10

Average fuzzy score: 0.909 (higher is better)
Average character error rate (CER): 0.116 (lower is better)
View raw result from gpt-4.1-mini

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Ist zu dem erstey Minshein graff allmechtig vo
lnsigalt
Ist
her ludwig lantgraff von hurstenberg
Ist graff ott von heimenberg
Ist gra
ff Bernghart von Regenstein
Ist graff gütfried von hahsenloch
Ist graff erlbre
cht von Mansfeld
Ist graff ludwog von Assenburg
Ist
her Gottschalk von Klesß bespancßig
Ist her hans von turgo
w
Ist graff Bappenheim
Ist
her Buppelin von stein arz worbry Rutter
Ist hug vom Rotenhan
Ist erg von waldenßeff
Ist hi
lpreand von thüngen
Ist erg von Gleichen
Ist heni
n quast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ
her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ gro
ff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhar
t von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ
her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgö
w
Itꝰ Jerg vo Bappenhein
Itꝰ
her Buppelin vom stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ Jerg von
waldenfelss
Itꝰ hÿ
lprand von thuongen
Itꝰ Jerg von Slieben
Itꝰ henÿ
n quast
0.818 0.231

Result for image_11

Average fuzzy score: 0.889 (higher is better)
Average character error rate (CER): 0.117 (lower is better)
View raw result from gpt-4.1-mini

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text heinricg von Eulstetten
kun truchsß
Einmalß den pseriben

vs dem stift von
manz
hans lößli tamerin ze manz
pant johanns ordens
heinric
g von wüssengarde
zuit
heinricß smit sin knect

vay bern vs
œctland
ludwig von Eucßlach
hans vay der griben
hans vlaman
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin
knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.778 0.235

Result for image_12

Average fuzzy score: 0.893 (higher is better)
Average character error rate (CER): 0.098 (lower is better)
View raw result from gpt-4.1-mini

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text dem land ze
metzphlinburg
Eünrat hobi
Rott
Dietrich hibzon
petar sin barfuß priest

vß luttringen
Jakob von Hartkunt Rott
Desiderius de micerunt priest
tota von bayern sin knegt

vß hofsten land
Jakob Neltang
Hans Rudbert
Heinrich lang

van strossburg
Hans von benkelt ein priest
frat Johann orclais
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich lieb
zöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt
Rittꝛ
Desiderius vo mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.787 0.195

Result for image_2

Average fuzzy score: 0.730 (higher is better)
Average character error rate (CER): 0.296 (lower is better)
View raw result from gpt-4.1-mini

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Selbs im fronalten die sohent
wir gantz vnd ein stueck von
dem heiligen fron wirtz dz
sit ir vff ir brust vnd ein
bein von sant marien madalene
vinggrot ist vff samstag noch
den oster tag das do
was der
ander tag. das abstellen do
fürent
wir von meran do
liegend in sant steffans
kirchen bi hundert der knlich
die herodes erschlug in einem
altar die sohent wir vnd
sieht man noch besthendeulich
in fund vnd sitz vnd die
nagel dar auch vprindes uy
dem spinentag früg dz
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.882 0.122
[4v] addition1 Meran gleub Züttel Muran
glas
tten
0.579 0.471

Result for image_3

Average fuzzy score: 0.757 (higher is better)
Average character error rate (CER): 0.305 (lower is better)
View raw result from gpt-4.1-mini

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Und die pspel ist bi ooo mil
wirt vnd ist der venediger
Ist von kurfurst vns gon
modun sind al mil vnd
ist ooch ein giubst stat vnd
ein erc
zbistum vnd ist ooch
der venediger
ze modun
wachtet der rumanier vnd
ist ooch do bi ein heilig gesstet
do bi ij milen
Ist von modun bis gon candia
sind tre mil vnd candia
Ist ein grob pspel vj mil
weit vnd wachtet der
rumanier do vnd ist ooch
der venediger
Ist von candia vnz gon rodos
sind tre mil wer aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ert
zbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vntz gon rodis
sind ccc mil
wer aber
0.877 0.144
[9v] addition1 Candia
cysta.
Candia vff
Creta
0.600 0.438
[9v] addition2 Virnum
Malba
rumania
Virum
Malva
ricum
0.718 0.471
[9v] addition3 Rhodȝ. Rhod. 0.833 0.167

Result for image_4

Average fuzzy score: 0.873 (higher is better)
Average character error rate (CER): 0.150 (lower is better)
View raw result from gpt-4.1-mini

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der grof von suartzburg
und pest all ander ritters
und knechte wolten nie
daz der ir was entrissent
sietz genomen seia. selb
von hertzgurt und hans
von hettstain ritters
die zwen weren gar
mit mir gesin oder der
patron wolte unser mit
beiten so der meltail mit
dar wolt und also müssen
wir mit grossen vnwillen
dann schreiben der wir
mit dem patron und
och den brüdern der
und hatten zu zipren
waffet ez guter
Der grof von swartzburg
vnd s
ust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von hareg
urt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz zu
ker
0.810 0.200
[18r] addition1 Saccharu
in Cypro
magister
Saccharu
in Cypro
nascit
0.808 0.250

Result for image_5

Average fuzzy score: 0.870 (higher is better)
Average character error rate (CER): 0.158 (lower is better)
View raw result from gpt-4.1-mini

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text + Ist dar noet got may in die
cl
ugel des heiligcn grabes
Ist ein altar das marcmel
sein gemacht vber das heilig
grab So unser herrc geworcr
got vnd mansef in gelegen
ist vnd do das vfersandcn
an dem dritten tag von
dem tod
Ist in dem tor des tempels
da ist ein lott vnd stat dar
bi ein
kleyn stein da sparct
unser here dz warc das mittel
der welt
Die nottgeschriben seind die
die bligristet ofswendig des
tempels in das stat
Ist das hub des lages nicht
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.870 0.158

Result for image_6

Average fuzzy score: 0.807 (higher is better)
Average character error rate (CER): 0.232 (lower is better)
View raw result from gpt-4.1-mini

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text der sanct patroy in grossen
zir si zarunt
ze emad ein grossen
ze
Jerusalem i gross ze
kartlisg
von diu epelen
ze dem
consul v gros
zir den tempel in gros
ze
betlaham ein gross
ze sant johans ein gross
wider ze Jerusalem ein
gros ze cartlisg aber i gros
wider in den tempel in
gros
ze dem jordan ein gross
in den epelen ze loy
aber ein gross ze guiset
aber ze Jerusalem i gros
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem
consul v gros
Itꝰ in den tem
pel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant
Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ a
ber ze Jherusale i gros.
0.807 0.232

Result for image_7

Average fuzzy score: 0.839 (higher is better)
Average character error rate (CER): 0.182 (lower is better)
View raw result from gpt-4.1-mini

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Des selbey tags gotz salzion In der war2
gen Ist an dem salmterg der da wz
Der sil
benzehende tag Vittey war
gotz selentz
Ist an dem achtzehende
tag gotz teretz
vnd blibet zwey
tag do
und friend an dem geslagen
s
undergotz der da wz der ain
zwenzigst tag des margel Ist
dem wasser vo teretz gotz velledig
Ist an dem ostroben der da wz der
lest tag im margel do sol
ch wir
erwe maniger steten vnd grosz
pstff als nechstige steter daselbs
vnd sant mar
co munster vnd des
herzogey palatz der Ist zewoltsin
dim sonn dainuff vll glez vtter
magnifi und knechter vnsper die dem
ze venedig gewest sind da yt
zin ca
ppell an dem minster stost
dein sein in einaltirt gewasset di
n
üsser besalter Ist Epst vff sas
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters
Itꝰ an dem achzehende
tag gon terfis
vnd bliben zwen
tag do vnd f
uorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitk
usten vnd grosse
s
chiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen
palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind Do ist
ein Cappell an dem m
ünster doist
der stein in eine altar gevasset do
vn
ser behalter Jhs Xps vff fas
0.778 0.271
[62v] addition1 Veneti
Duci
palatium
magnifi
cumi
Veneti
Ducis
palatiu
magnifi
cum
0.899 0.094

Result for image_8

Average fuzzy score: 0.478 (higher is better)
Average character error rate (CER): 0.551 (lower is better)
View raw result from gpt-4.1-mini

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Jonnastt könne vr pfiffer vnd
trunmeter zu nmen, hecnd vff
die gallen vnd hof
peter do
sinch gredder des glebk könn
die vndergessen pfiffer vnd
trun
meter vnd böggenspläxer
vnd hofpeter do alß nach
we
sittig alß
wand vnns geschrÿbe
her vnd allen den sine vß
ecenßlo
btten. Ist mit under ge
gen taug funcent vnd do donne
vnd
kunig alß freitag nach sint
ne
bens taug stet do vor, dat erst
taug in
keidmonat gesen kunfion
dt ist ein pfone sat hint zwesch
pflechen vßßlesseÿ ob der
sat von alß sinntag dennerst
süecÿ wir da denne hin vff
zinßtag vnd sint nüt taug
sünteg zu vnd in
gallen by ßo
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die windeschen
pfiffer vnd
tru
meter vnd böggenslaher
vn hofierten do och nach ire
sitten also
ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent
wir do dannen
vnd kamen vff freitag nach sant
vr
bans tag der do wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit zwen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.721 0.331
[69r] addition1 Honorius
Marchio
in estibith.
Honores Marchio
ni exhi
biti
0.712 0.321

Result for image_9

Average fuzzy score: 0.592 (higher is better)
Average character error rate (CER): 0.499 (lower is better)
View raw result from gpt-4.1-mini

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text vn dem ersbÿßtoff do sollet
vn zungt man vnd der selan
in dem thurn do solle der
hut st
ÿndt hous Der vßde
kreyß ymper euer wÿßt sit
Str
banc vnd kunigt das zÿpery
teßter haupt Ist sint blœÿß
mey Ist sint ander mey Ist
Nied sant ßeffins vnÿßt vn
zwey zel die do sint ypolo
mien ßÿßlaße Lendent Ist
ßf vntarg dar sant ßeffaub
kÿngt ze ßungetter ßinç vñ
der handia vdt sulend au ß
untwirt für die husse gi
ßn der ßeÿer do hant zu vßßatte la
ßelharien hust do vßmuste sich die
nust vndt wing
vnd so die veststat all gemeinlich vnd
der gregß spital da nemend all bilgeren ßwe
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant th
ÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant bles
ÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungee
kten Item uff mentag vor Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.605 0.506
[70v] addition1 vn zungtman
vnß vnd se haß
du ein vng
ret daran sol
avir i
m klain
ßtartel blaunt
vnß mit vnd
mildt die blan
ßter vnd halli
küs gung nech
ware da sit
vnß und gelerer
waren vel harier
vnß secht wing
vnß so die vest
gregß spital
ßÿ dem klain
ßauffßte klayn
vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem
kleine
Barfuosse
kloster
0.579 0.492