Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.926 (higher is better)
Average character error rate (CER): 0.079 (lower is better)
View raw result from gpt-5-mini

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Und ein pferd die mir und
minnen knechten vber hulßandt
den do was meinen kain weg
danne den wir machten vnd
vnd irckendt die knechte doth
vnd vil in ortz an den arß
vnd die pferdt vnz an die
sttel vnd was ze wol ein grosser
nebel dz wir kum geraten
vnd als mit grosser arbeit kanz
wir ze mitten tag zu sint
kirsa
pfel uff den berg do
do sah ich die burger do gar
vil herren wa
pen in stone
die in spur des in gelegn hand
so suind mines vaters slagen
wappen ach in sam einen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.852 0.158

Result for image_10

Average fuzzy score: 0.593 (higher is better)
Average character error rate (CER): 0.421 (lower is better)
View raw result from gpt-5-mini

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Ist zu den ersten Mit sein graff allmacht vo
Ist her ludwig lantgraf von lurtzenberg
Ist graff ott von hermenberg
Ist graff
Reuenhart von Regensteyn
Ist graff zu fri
chenloch
Ist graff Eckhart von Mansfeld
Ist graff lud
wig von Altenburg
Ist her Gotthalt von Kles bespanchid
Ist her hans von turgow
Ist graff
Bappenheim
Ist her R
upprecht von stein mit vorlicher Ritter
Ist hugo vom Rottenhan
Ist
Jorg von Waldenstorff
Ist Hi
lprand von Thungen
Ist krg von Claden
Ist Henin Quast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ
her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von
Regenstein
Itꝰ groff göttfrid von ho
chenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gots
chalk von Bless bedpanchn
Itꝰ her hans von turgö
w
Itꝰ Jerg vo
Bappenhein
Itꝰ her B
uppelin vom stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿ
lprand von thuongen
Itꝰ Jerg von Slieben
Itꝰ henÿn quast
0.780 0.263
[73r] addition1 bespanchid 0.000 1.000

Result for image_11

Average fuzzy score: 0.614 (higher is better)
Average character error rate (CER): 0.383 (lower is better)
View raw result from gpt-5-mini

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 9o 90 0.500 0.500
[90r] text Heinricg von Eulestetten
zue der stib
Guin
walbs den sprecher

vs dem stift von
manz
Hans Toffi romeiner ze manz
pant Johans orden
Heinric
g von nüssengarde
kint
Heinricg smit sin bruder

von Bern vß
actland
Ludwigk von Eischlach
hans von der griben
hans Vlnmay
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
lud
wig von diesbach
hans von der
gruoben
hans volman
0.728 0.265

Result for image_12

Average fuzzy score: 0.891 (higher is better)
Average character error rate (CER): 0.105 (lower is better)
View raw result from gpt-5-mini

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text vb dem land ze
metzlinburgk
Einrat gobi zutt
Dietrich hubzon
petar im barfuß priest

vb Lutteringen
Jakob von Harzfurt Rett
Desiderius de mircaut priest
cola von baysan sin knegt

vb hofsten land
Jakob Neblang
Hans Rudbert
heinrich lang

van prostburg
hans von kunfluct ein priest
faut johans ordaus
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich lieb
zöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.781 0.211

Result for image_2

Average fuzzy score: 0.720 (higher is better)
Average character error rate (CER): 0.382 (lower is better)
View raw result from gpt-5-mini

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Selbes im fronaltar die sohend
wir gantz vnd em sinckt bey
dann heiligin frou
wirz er
bit ir vff ir brust vnd ein
bein von sant marien madalene
vinggrot ist off samstag noch
den opfertag das do
was dar
ander tag sol abbleyn do
fuir
end wir gen messa do
liegend in sant steffannb
kalben bi hundert der kindlin
die heredes erslaug in enem
altar die schent wir vnd
sicht may noch bechendendlich
in stund vnd für und die
nagel das xprinses wy
dem sunentag frig do
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die soh
end wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.839 0.176
[4v] addition1 Meuran glauc giessung Muran
glas
hütten
0.600 0.588

Result for image_3

Average fuzzy score: 0.725 (higher is better)
Average character error rate (CER): 0.345 (lower is better)
View raw result from gpt-5-mini

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text und die pstel ist bi aar wil
wirt vnd ist der wenediger
ist von kurfun vnd goyn
modun sind al
wil vnd
ist och ein giuesst par vnd
ein ex
zipsitum vnd ist och
der
wenediger ze modun
wachet der rumaniar vnd
ist och do bi ein heilig gesett
do bi in milen
ist von modun das von candia
sind tor mil vnd candia
sind ur mil vnd candia
vinum malua ist ein gros psel vñ mil
malba weit vnd wachet der
rumaniar lathusler do und ist och
der wenedier
rhodg. ist von romana vnz goyn rods
sind tor mil vñ aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.800 0.303
[9v] addition1 Candia
Cysta.
Candia vff
Creta
0.667 0.438
[9v] addition2 Vinum
Malua
Virum
Malva
ric
um
0.600 0.471
[9v] addition3 Rhodg. Rhod. 0.833 0.167

Result for image_4

Average fuzzy score: 0.811 (higher is better)
Average character error rate (CER): 0.220 (lower is better)
View raw result from gpt-5-mini

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Das geschrey von schwartzburg
vnd hapt all ander ritten
vnd s
uchete wolten mir
daz der ir was entrihlost
richt s
pranomen sia gelobt
von hertzb
urg vnd Hans
von lichtansberg ritter
die zwen werden gein
mit mir gehs aber das
patroy wolt unser mit
leisten so der mittel mit
das wolt vnd also müssen
wir mit grossen vn willen
samnd schreiben der wir
mit dem patroy vnd
ogt den bruederen dar
vnd hatten si zippen
wasser iz guter
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz z
uker
0.778 0.242
[18r] addition1 Saechani in Cipro magister Saccharu
in Cypro
nascit
0.654 0.417

Result for image_5

Average fuzzy score: 0.825 (higher is better)
Average character error rate (CER): 0.179 (lower is better)
View raw result from gpt-5-mini

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Dar nacht got may in die
kapel des heiliges grabes
ist ein altar von marmel
stein gemacht vber das heilig
grab so nier stenne ge
wor
got vnd mensch in gelegen
ist vnd da
wol verstanden
in den dritten tag von
dem tod

Item den tor des tempels
Da ist ein latz vnd stat dar
bi ein
kleyn stein da sparig
nimmer sehre da ware das mittel
der welt

Alſe nottgeschriben hend die
die bulgaritet ofwendig des
tempels in das stat

Ist das guot des kirchs nicht
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein
klein stein do sprach
vnser here dz
were das mittel
der
welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das hus des
karge riche
0.825 0.179

Result for image_6

Average fuzzy score: 0.781 (higher is better)
Average character error rate (CER): 0.270 (lower is better)
View raw result from gpt-5-mini

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Item patron in grossen
sie sin garunt
Item ze ernd ein grosz
Item ze O
bernalden j grosz ze
kartli
ch von sin glauben
Item dem consul v gross
Item in den tempel ij gros
Item ze betaligen ein grosz
Item ze sant johanns ein grosz
Item wider ze sparnelan ein
grosz ze cuntlich ober i grosz
Item wider in den tempel iii gros
thros
Item ze am porday vii grosz
do den spalen ze lon
Item aber ein grosz ze guist
Item aber ze spinale i grosz
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze
betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze
curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze curtisig
Itꝰ aber ze J
herusale i gros.
0.781 0.270

Result for image_7

Average fuzzy score: 0.760 (higher is better)
Average character error rate (CER): 0.357 (lower is better)
View raw result from gpt-5-mini

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Des selbey tages garz falsion In der wane2
gen ist an den Sontag der daz wz
der s
ülben zefende tag nit vber oder
gar felert ist an diz a
chtzehende
tag gar ter
ch vnd bleint zwey
tag de
und friend an den besleren
dawer dar da vnd der obern
zwanzigist tag der morgen ist
denn wasser vo ter
che gar vellsig
ist an dem oströben der da vnd der
letz tag un mergel do solchs nur
eine manig sitzung vnd grosse
geschr all merzige sitzen vnd des
procz sant marcus vnd selbe
herzagr palat der ist zewl klein
palatiun sumb danich voll giern nuter
manigk vnd knechter vnsprey die den
ze Venedig geweset sind da si
sein ca
ppell an den vinter seyt
dein zeing in einhaltung verlasst die
nuß
er behalter Jhesu Christ uff das
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige h
üser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol s
chön
vn stönd dar
uff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vns
er behalter Jhs Xps vff fas
0.700 0.370
[62v] addition1 Venet: Ducis palatium
palatini magnifi cum
Veneti
Ducis
palatiu
magnifi
cum
0.821 0.344

Result for image_8

Average fuzzy score: 0.482 (higher is better)
Average character error rate (CER): 0.542 (lower is better)
View raw result from gpt-5-mini

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Darauff kome er pffister und
trunc
ket zu nimmen thed als
die gallen vnd hos
petery des
sinck gruben des gelchs denn
die wunderschen pffister vnd
trunckler vnd ieggen slader
und hospetery do als nach we
ssehet also ward nime fregesge
herd vnd allen den pffere vil
einen abbotten Ist mundet ge
gen vng fundent wur do danns
und sampt off fertung nach sint
rebens tag Als do vor das erst
tag in birthem vnu gefuncken
d ist ein pfann sat hint zuer
flecken des gleschrey ob der
stat den off suntag darnecht
siney wir da samme der off
suner gar sunt uns tage
sunder zu oder in gallen bey do
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich
kome
die windeschen
pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd kamen vff freitag nach sant
vrbans tag der do wz der erst
tag im brachmonet gon kurfon
dz ist ein schone stat mit zwen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen b
y xx
0.686 0.376
[69r] addition1 Honorius
Marchio
in exi-bith
Honores Marchio
ni exhi
biti
0.759 0.250

Result for image_9

Average fuzzy score: 0.440 (higher is better)
Average character error rate (CER): 0.726 (lower is better)
View raw result from gpt-5-mini

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text .vn dem geesberghoff do solte
die zaung man vnd der sle
chtn
in dem stur do solt
gut
hÿncz koupf die ledge
breyßn vnger ewer wÿt sit
strilare eue kunigt das zypery
nützer haupt ist mit blenczy
mey ist sant aunder vndem vn
Nind sant sassens an yst vn
zewy zuu alle so sint eppso
vnd iren geslage vndendarft ist
sterckt oben als martz das sant hessbach
wriǧt die blunfar ze nut gebreten sin vnd
esser vnd halb
kiese gang wech du kandia das sehend auß di
wasz ist sant vnwirth für die jusse cz i
und umb die zwerch do kan zi müttheta
vannot vel handen derp das zu pruncke sich die
vnd sambt ving
vnd si die und gespalten all gemeinlich vnd
gerayt quitzl dar neunt all biljeren þer
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant t
hÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
to
chter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungee
kten Item uff mentag vor Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.564 0.650
[70v] addition1 vn zungen vnd was nit so hat
der in der
weis
der ein
wirt
als in iren
vn zougt ma
vns och ze ka
dia ein
win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.316 0.802