Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.356 (higher is better)
Average character error rate (CER): 0.659 (lower is better)
View raw result from gpt-4.1-nano

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 0.000 1.000
[3r] text Jnd ein pferd die vne vn
minden kencen vber gelfend
den so vnt menen zey weg
dame den vne machent
und vndent die kencge vnd
und vil in vntz an dey amb
u
nd die pferd vnd vng vnd die
stelt vnd vnd z mol ein grosz
nebet dy vnm kym oc
patent
und also mit grosser arbeite kane
vnd z mittom tagen zu sante
bey
opfel vnd den sye do
so jecit die bucken do gar
vil terry worpay in sone
die in stur delyn geley hand
so find munck waterd stagen
woppey act in dem eynen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
v
nd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
w
open och in dem einen
0.713 0.319

Result for image_10

Average fuzzy score: 0.814 (higher is better)
Average character error rate (CER): 0.220 (lower is better)
View raw result from gpt-4.1-nano

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jz zu derey eftern Mitten groff allhant vo
u
mphal
vnd dering lantgefor von Kustenberc
vnd groff ort von Kemenberc
vnd groff Benfaret von
Jemen
vnd groff züf der Kastenhol
vnd groff chunt von Mansfelt
vnd groff Ludwig von Lemburg
vnd der Gotffshalle von Krefeld
vnd der Jamß von Tüngen
vnd Bapmstein
vnd Bupdin
von Stein vnd Weyn Ruten
vnd dem Ratenham
vnd der von Walsenhoff
vnd inspend von Tungen
vnd der von Gladen
vnd denig
quart
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ her Buppelin vom stein w
z vorhin Ritter
Itꝰ lut
z vom Rotenhan
Itꝰ Jerg von waldenfelss
Itꝰ hÿl
prand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿn
quast
0.628 0.439

Result for image_11

Average fuzzy score: 0.000 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from gpt-4.1-nano

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio N/A 90 0.000 1.000
[90r] text N/A heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissengerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
ludwig von diesbach
hans von der gruoben
hans volman
0.000 1.000

Result for image_12

Average fuzzy score: 0.804 (higher is better)
Average character error rate (CER): 0.216 (lower is better)
View raw result from gpt-4.1-nano

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Wb Dem Land ze magtlenburg
Cuinart fobe Rutt
Sictving hibzow
peter sin banful priuet
Wb Luterning
Jodt Don Garkwart Ratt
Dapravind de mirezwart priuet
toda Den Gayan sin Enuage
Wb Sctofen land
Jaled ni Rung
Gamb Rudesert
Femiend Gant
Wb Probstung
Gant Don Sempke sin priuet
pnt Jafong deiu
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo
mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans
Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.609 0.432

Result for image_2

Average fuzzy score: 0.376 (higher is better)
Average character error rate (CER): 0.658 (lower is better)
View raw result from gpt-4.1-nano

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gottes in prandten die schone
wir guntz vnd en siet vnd
zey liching von eris z
die in uff in brust vnd ein
hain von sant marien madlne
vngrot ꝛ off samstag noch
dem stertag der da
was der
under tayt die abreden do

furent m von mery
levent in pnt ꝛ stauffn
sittent in fundt der
knelin
die herdes aufschlug in enen
altar die sol
end wir vnd
plegt may net gelestent in
fundt vnd für vnd die
nagel dar ay wrent ay
dem fuentzig fruog e
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crüt
z dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuorend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die soh
end wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.751 0.317
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.314 (higher is better)
Average character error rate (CER): 0.789 (lower is better)
View raw result from gpt-4.1-nano

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Nu die spele si bi co mit
wit und si der windes
vnd von Kunsen mug von
modung hut al mit vnd
si og sin gibesst stat vnd
di ex
zampung vnd si oft
der
windesgen ge modung
waget der ruminer vnd
tak dat si sin feiling geset
do si in milen

Gandia
Cyspa.
Vinuem
Malpa

Rhoda. si von tumera mug vnd siib
find u-mil war aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.582 0.526
[9v] addition1 Canda Candia vff
Creta
0.455 0.688
[9v] addition2 Cyspa. Virum
M
alva
ricum
0.080 0.941
[9v] addition3 Vinuem Malpa Rhoda. si von tumera mug vnd siib find u-mil war aber Rhod. 0.139 1.000

Result for image_4

Average fuzzy score: 0.213 (higher is better)
Average character error rate (CER): 0.820 (lower is better)
View raw result from gpt-4.1-nano

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 0.000 1.000
[18r] text Daz apfel nom Rauenburch
und pflegt all ander vtten
und diege wolte, nie
Daz der in wolc entlich vor
fleig Marnomen. fia. A. 1
von der gurnt und gans
vnd hortzamb züchter
die züger werden gurn
mit mir gesez aben. Daz
patory wolc vper nie
keiten. Do in metzell nit
Daz wolc vnd also mispen
wir mit grossen unwillen
Anna pfleger, Daz mir
mit dem patory vnd
oeg der brüderin. Ewer
und facent in züpen
magte. Daz züter

Sacedame
in Oepen
nachin
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz z
uker
0.640 0.461
[18r] addition1 Saccharu
in Cypro
nascit
0.000 1.000

Result for image_5

Average fuzzy score: 0.577 (higher is better)
Average character error rate (CER): 0.501 (lower is better)
View raw result from gpt-4.1-nano

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Ich war der may in die
Engel der jnigen vndes
da
z in der vorn war
seyn gemachet vber daz schel
gral so vnder stende ge
warren
got vnd monestir in der ey
sye vnd sye, sye vnd sye
am zeytrt cay vor
sye to

n vnd sye der
tempel
Da sye in lotz vnd sat z
u
bi sye sye sye sye sye
sye vnd sye sye sye vnd sye
sye

Ane die notgeest zuo sye vnd die
die bultgett der swenst der
tempel in das fat

n die gieng die sye vnd

Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre ge
worer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here d
z were das mittel
der
welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.577 0.501

Result for image_6

Average fuzzy score: 0.620 (higher is better)
Average character error rate (CER): 0.415 (lower is better)
View raw result from gpt-4.1-nano

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text A dem patron in proffesen

sine fi zurnet

nze emd ein
proffet

nze pfemulaten i proff ze

furtige
voy day epeln

A dem
consel v graw

A dem campel v graw

Aze
betragen ein proff

A ze sam solfand ein graw

A vnder ze seynplaten in

vros ze cuntrig oben graw

A vnder in day campel in

tros

A ze Em joday in graw

to day colen ze lon

A der ein graw ze ewist

A der ze seynplaten in graw
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tem
pel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tem
pel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ a
ber ze Jherusale i gros.
0.620 0.415

Result for image_7

Average fuzzy score: 0.303 (higher is better)
Average character error rate (CER): 0.740 (lower is better)
View raw result from gpt-4.1-nano

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Das folley tage vpon fabion in dex uare
geyn offay dey calm
burg dect vze
D
er subenzeende tage nitey war
ay fleis
ch offay dey adfende
t
uy goy techt vnd folkey zwey
t
uy goy vnd rüend vnd dey adfey
Deyngen elz doff dey adfey
Rüenzt tag dey moergey vnd
Deyn waffer vß teff gony vellede
Yt ay dey oß
crebey der do vze
let tag in moergey doff dey vyn
cne maningay steyn vnd gne
pff aff meyggig fynne vnd pff
sant maÿe muÿnster vldde
Geyr gary palast der 3 cunsfing
palast in found darff vll geyn nider
magffj vnd endteÿg vnd gneffey die dey
3e vndig gneffey, vll die 3
ein ca
ppel vnd steÿn, minster, stont
dey in gneit vnd inalte gne vassel vnd
nÿ
ser begalten gnd &c &c &c
des selben tags gon falzion In der wur-
gen Itꝰ an dem
balmtag derdo wz
d
er subenzehende tag Ritten wir
gon felters Itꝰ an dem a
chzehende
tag gon terfis vnd bliben zwen
tag do vnd f
uorend an dem hohen
donstag der do wz der a
cht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sit
kusten vnd grosse
schiff als mechtige h
üser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd daruff vil hern
Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vn
ser behalter Jhs Xps vff fas
0.607 0.479
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.000 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from gpt-4.1-nano

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] text N/A Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd kamen vff freitag nach sant
vrbans tag der do wz der erst
tag im brachmonet gon kurfon
dz ist ein schone stat mit zwen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.000 1.000
[69r] addition1 N/A Honores Marchio
ni exhi
biti
0.000 1.000

Result for image_9

Average fuzzy score: 0.347 (higher is better)
Average character error rate (CER): 0.764 (lower is better)
View raw result from gpt-4.1-nano

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu dernger bischof do alle
die zunge man vnd die klagen
in dem alten do alle do
hirtet singe under wüest sit
Donnance ein king vnd super
taster singe iss mit blüÿen
vnd sît ander mey
vnd sît ander mey

Nu der Jünger singe under wüest sit
Donnance ein king vnd super
taster singe iss mit blüÿen
vnd sît ander mey

Nu der Jünger singe under wüest sit
Donnance ein king vnd super
taster singe iss mit blüÿen
vnd sît ander mey

Nu der Jünger singe under wüest sit
Donnance ein king vnd super
taster singe iss mit blüÿen
vnd sît ander mey
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant
Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch f
ür die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.484 0.664
[70v] addition1 Der Text handelt von einem Jünger, der singt vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii fr
ücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.211 0.863