Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.880 (higher is better)
Average character error rate (CER): 0.126 (lower is better)
View raw result from GLM-4.5V-FP8

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text vnd ein pferit die mir min
minen br
üderen indes qufend
sen so was menem tam weg
danne den mir machtens
vnd vichens die brüchte sich
vnd vil in ongan sen anb
vnd sie
pferit mir am die
petrel vnd was ze mol ein groffe
nebet es win tum gepauket
vnd als mit groffer arbait kome
mir ze mitttem tag zu pant
erfossel vff sen berg so
so fach ich die bucher so gar
vil geren wopen in tone
sie w fiur edlen gebey gang
so pfing minen vattero pflegen
wopen sog in dem smen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wopen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.760 0.252

Result for image_10

Average fuzzy score: 0.613 (higher is better)
Average character error rate (CER): 0.402 (lower is better)
View raw result from GLM-4.5V-FP8

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 23 73 0.500 0.500
[73r] text Ifzii dem crepem Min heiw graf allbrawgt vo
omhalt
If her hswig hantgraf von hufhtenbergy
If graf ouf von Gemionberg
If graf Beenhart von Yogenfem
If graf gottfrid von Rofhenlof
If graf gkhard von Mampfls
If graf hswig von Aruburg
If her Sotphalt von Rleff beSpanchyn
If her hano von tungow
If her
Bappamfchen
If her S
uppdin vom ftin vz vorhin Ruter
If hug
vom Rotenham
If
erg von walgenfth
If gy
lpenns von thungen
If gerg von Elicben
If henni
n quapt
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bed
panchn
Itꝰ her hans von turgö
w
Itꝰ Jerg vo
Bappenhein
Itꝰ her B
uppelin vom stein wz vorhin Ritter
Itꝰ lutz
vom Rotenhan
Itꝰ J
erg von waldenfelss
Itꝰ hÿ
lprand von thuongen
Itꝰ Jerg von Slieben
Itꝰ henÿ
n quast
0.725 0.304

Result for image_11

Average fuzzy score: 0.791 (higher is better)
Average character error rate (CER): 0.206 (lower is better)
View raw result from GLM-4.5V-FP8

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich Nou Eulpetten
kny baeftis
Gimnab Den p
gniben

no Sam ftift Nou
men
g
Gano Efti tomcin 3c men
g
ant pfans ovdenb

feinric Nou niffengaroe
kint

feinricf fmit fin Eneoft

Noy bern nb
ocftang

luowig Nou Eicftacg
panb nay dzu orliben
Gano Nhamy
heinrich von külstetten
ein bar
fuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.582 0.412

Result for image_12

Average fuzzy score: 0.858 (higher is better)
Average character error rate (CER): 0.148 (lower is better)
View raw result from GLM-4.5V-FP8

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vb dem land ze
meytstetten
Cunrat fobi
Rutt
Dietrich hibzow
peter ain barfuß priester

Vb luttringen
Johab von garzunt Rutt
Befdeinig von mirestut priester
Cota von bayen ain buoch

Vb tsofgen land
Jakob von lang
Hans Ruttstock
Heinrich Eanet

Von proßburg
Hans von senfelft ain priester
Hant Jagant dr Eulib
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt priestꝛ
Cola von ba
yon sin knecht
vs holsten land
Jakob vellang
hans
Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.716 0.297

Result for image_2

Average fuzzy score: 0.706 (higher is better)
Average character error rate (CER): 0.350 (lower is better)
View raw result from GLM-4.5V-FP8

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Belß im fronaltar Sie pfend
wir gantz vnd em pfend vnd
dem geitigim fran
z aus 93
lit ir vff ir bruyt vnd em
dem von pont marien madaline
ringgrot vff samstag nach
dem osterd
ag der do was der
ander tag 26 abreden do
fu
rend wir gom meran do
liegend im pont #ffeffinB
fuchty pfiffen bi fundirt der funffin
Sie ferode caplig im emen
albar die pfend vnd em
ficht may noch feffendenlig
ir fend vnd fir vnd 8ir
mapelbar ay apines ay
dem pfenntag frig 8o
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crüt
z dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostert
ag der do was Der
ander tag des abrellen do
fuo
rend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.744 0.289
[4v] addition1 Muran glab
fuchty
Muran
glas
hütten
0.667 0.412

Result for image_3

Average fuzzy score: 0.185 (higher is better)
Average character error rate (CER): 0.835 (lower is better)
View raw result from GLM-4.5V-FP8

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Und sie pfliget bi dem mil
wit und yt der Nenecdyger
If von funfun vnd gom
modun fnd at mil vnd
yt ocf em gubfg far vnd
ein erc
zbfum vnd yt ocf
der Nenecdyger ze modun
wagfct der numanien vnd
tu ocf do bi ein pfleg gefet
tas bi ij miler
Candia If von modun bis gom candia
cycta fnd at mil vnd candia
vinum yt ein grof pfl vij mil
Malva nit vnd wagfct der
neum maluafier do vnd yt ocf
der Nenecdyger
Rbodg If von candia vnd gom rodiv
fnd at mil wir abcv
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kur
fun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.740 0.339
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.827 (higher is better)
Average character error rate (CER): 0.193 (lower is better)
View raw result from GLM-4.5V-FP8

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der grof von Monßburg
und fast all ander ritter
und encoft wolten mit
daz sy in was entwirt
fieg vfgenomen ges gatob
von gareg
urt und gant
von herczog beir fitten
sie zwen weren gien
mit mir gcfh aber der
patroy wolt oufer mit
beiten So der melteil mit
dar wolt vnd alfo mugen
wir mit groffen mwillen
zamud fegirben sy in
mit der patroy vnd
och der dri derim dar
und gatzen z giemay
wagfpe 93 guter
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von hareg
urt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz z
uker
0.730 0.287
[18r] addition1 Sachsan
in Cypro
macht
Saccharu
in Cypro
nascit
0.750 0.292

Result for image_5

Average fuzzy score: 0.325 (higher is better)
Average character error rate (CER): 0.703 (lower is better)
View raw result from GLM-4.5V-FP8

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] folio 1 0.000 1.000
[23v] text ffar noffgot may my dic
f
uyel &c feiligen grubes
&c ift ein aler namenmel
feyn gemachf nber &ab geflig
fynb &o mynper gere gerwra
got vnd monpf my gtegen
yt nnd &o noy, wferpandly
my &cm eritten tag noy
dem tod
&c ift my tor &c8 tempel8
&o ift ein locg vnd ftat &un
fi cin, flein, ftan, &o fpang
niper gere &g were &ab mttel
fec owch
&f me notgeteftinbay fen&8 dic
Dic bilgerftet ofwenbig &c8
tempel8 my &aw ftat
&f &ab guo &c8 &nffg vndf
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.649 0.405

Result for image_6

Average fuzzy score: 0.659 (higher is better)
Average character error rate (CER): 0.353 (lower is better)
View raw result from GLM-4.5V-FP8

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Dem patroÿ ij droffen
hir fin þeimung
þf ze emaþ ein þroffen
þf ze ðferu
paliy ij droff 3e
furtifg Nou ðin
cpley
þf ðem toufue N gro
b
þf in ðem tempel ij dro
b
þf ze bettagem ein þrob
þf ze fant
Jofans ein grob
þf wider ze ðferupkery ein
grob ze cuntufig aber ij grob
þf under in ðay tempel ij
drob
þf ze ðem jorþay goÿ grob
þa ðay cpley ze torÿ
þf aber ein grob ze quifig
þf aber ze ðferupali ij grob
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze I
herusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tem
pel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze
curtasig aber i gros
Itꝰ wider in den tem
pel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ a
ber ein gros ze curtisig
Itꝰ a
ber ze Jherusale i gros.
0.659 0.353

Result for image_7

Average fuzzy score: 0.285 (higher is better)
Average character error rate (CER): 0.750 (lower is better)
View raw result from GLM-4.5V-FP8

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Ocb flbey tage gey falbey Ju dce wure 2
g
cy nfoy dcy balmutg dcedo w3
dce fibenzefunde tag futey uwr
gcy flteed foy dcy adtcfende
tag foy terfis N.d fibey zucy
tag do duf riveud ay dcy golgy
dhupag dex do w3 dex ddtfton
zwuczget tag dce mcxgcy Vff
dcy navfer Vo terfe gey nchdy
nfoy dcy ofterobey dex do w3 dex
tep tagay mercey do fofcey wir
drive manigey fithyey kndg grefe
nff al ncdftige gifer odt fole
wif faut manv minuctez nus9e
Vench Ducis. Gecvsgcy palay dce y zenusftfi
palatig dcy pouf Savuuf vll gdw Nfcte
magifi N.d fucdtcy hu
ppey dce gcy
Cum. 3e Ncucdig gewefey fild 3s yt
dcy C
apell ay dlu mhingtez fog
dcy fruy cucaltcu gevaffet 8d
vlfey
bcfalter f9f cpe nff fas
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem a
chzehende
tag gon terfis vnd
bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem ostero
ben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitk
usten vnd grosse
s
chiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind Do ist
ein
Cappell an dem münster doist
der stein in eine altar gevasset do
vnser
behalter Jhs Xps vff fas
0.570 0.499
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.502 (higher is better)
Average character error rate (CER): 0.511 (lower is better)
View raw result from GLM-4.5V-FP8

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Gennaffy Romic v pfiffer vnd trumeter zümmen herwaff die galley vnd hofschoten so fincy gnedig ist glich koma die hofschoten pfiffer vnd trumeter vnd boggenfchager die hofschoten so act nach five fittey alfo ward mme gnedig herwaff vnd allez den fine vnd creyncrebottey If munden de gey tagy fincut wir so damme vnd Romen off fcutag naft fumpt vndome tagy fack so noz dat erft tagy im heilfmonat ofon funfey ift ein pfone pat hint zivey glehiffen Rappfchey vnd ob 9e dat non vff funftag Ocuendaff fincey miv da damme knuff finfftag Naw fawt Nidt tagy forhey zü vnd in galley byzop Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die
windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vr
bans tag der do wz der erst
tag im brachmonet gon kurfon
dz ist ein schone stat mit z
wen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.665 0.390
[69r] addition1 Honors Marchio mi exsi bit. Honores Marchio
ni exhi
biti
0.842 0.143

Result for image_9

Average fuzzy score: 0.255 (higher is better)
Average character error rate (CER): 0.849 (lower is better)
View raw result from GLM-4.5V-FP8

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu scuperganfot do folt
nu zouft aman vnd f gela
i
j dem thun do folt if
fut fff
jnuo folt 9iz dos
fepjgumpe emfer auj folt
Sivbare eme fumpf do fper
fotfer fioupt if folt blefjen
nu folt fffaut andes men if
Nud faut foffmb auj if nu
tot danan foltz vcy zen 9le do fant dyfols
wiv if fauft micy Nfgflaffe Nurdent if
fentid blauft
wotf aut Nff anentag Nax faut Jofaub
triftf 9ie blauft 9c 9mugftfey furey vvir
gfey nu gall
fandia fou firzend ay 9n
wotf aut fitmutwifft fir die fuffe gezi
fand 9ie fopzcy do fay zu Jud fottela
wotfey Neflanfiew fayt do wapnute fay 9ie
ni fentf micy
fotf aut fiftflut all gemenhof Kung
gerey 9pftal Nrmend all bilgeray fwe
fotf aut fiftflay
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii
junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant
johans
tag ze sungeekten Item uff mentag vor
Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.509 0.699
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000