Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.914 (higher is better)
Average character error rate (CER): 0.096 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Und ein pferit Sie mir und
minen knechten in der Ruffend
den So was menen kein Weg
Same den wir machend
und viehend die Enchst Stu
und vil in vntz an den arb
und S
ie pferit vntz an die
pettel und was ze mol ein groffe
nebel Dz win kum
ope paffend
und als mit groffer arbeit kome
win ze mitten tag zu Pant
kriposel vff den berg So
Do sich ick die burger So star
vil herrey Wopen in ston
Die in stur solch gebev hand
So stind minen vatter o pligen
Wopen seff in dem sman
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd d
ie pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
w
open och in dem einen
0.829 0.191

Result for image_10

Average fuzzy score: 0.901 (higher is better)
Average character error rate (CER): 0.133 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Ist zu dem ersten Myn hein graff albrauht vo
anhalt
Ist hi
er ludwig langgraf von lufftenberg
Ist graff ot von hemmenberg
Ist gra
ff Bernhart von fegenstein
Ist gross gottfried von hahnen
kof
Ist graff fu
chhart von manfeld
Ist graff lud
wig von renburg
Ist her Gotthard von stoff
Ist her hans von tungöns
Ist her von baypombein
Ist her
Buppin vom rein vnd Wochin Ruter
Ist lug
vom rotenham
Ist her
von wallenstett
Ist hi
lpand von thungen
Ist her von eichon
Ist henni
n quap
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ h
er ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ gro
ff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschal
k von Bless bedpanchn
Itꝰ her hans von turgö
w
Itꝰ Jerg vo
Bappenhein
Itꝰ her Buppel
in vom stein wz vorhin Ritter
Itꝰ lutz
vom Rotenhan
Itꝰ Jerg
von waldenfelss
Itꝰ hÿ
lprand von thuongen
Itꝰ Jerg von Slieben
Itꝰ henÿ
n quast
0.803 0.265

Result for image_11

Average fuzzy score: 0.779 (higher is better)
Average character error rate (CER): 0.294 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text nig von fürtten
ein darb
(un
wahr) der prier
von dem stifft von
mentz
(unwahr) von württember
g
(unwahr) von bern
(unwahr) von diecbach
(unwahr)
von der grünen
(unwahr) von man
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans l
ösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
lud
wig von diesbach
hans
von der gruoben
hans volman
0.558 0.588

Result for image_12

Average fuzzy score: 0.898 (higher is better)
Average character error rate (CER): 0.112 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vb dem lande
magoltenburg
Cunrat hobe pitt
Dietrich hibzow
peter in basfub priest

Vb lutteringen
Jakob von harzkuart (Pitt
Seplderiib No mircwart priest
Cota von bayon fin Eneft

Vb hoffen land
Jakob Nellang
Hans Rudbeck
Heinrich Lany

Van flostburg
Hans von benfelt ein prief
Paut jofamb vnd stib
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ

Desiderius vo mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.796 0.224

Result for image_2

Average fuzzy score: 0.264 (higher is better)
Average character error rate (CER): 0.754 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] folio 15 0.000 1.000
[4v] text Gelbe im fronalter Sie Polend
wir gantz vnd em pint vny
Dem heiligen franz uitz 33
lit in vff in brunt vnd ein
bain von pint marien madaline
ringt rot yff roff samtag
woff
Dem oftertag der do
was der
ander tag Die abrelten Do
Muraen furend wirt gow mersan Do
glab liegend in pint # stoffinB
Suttin fukten bi kundert der kundin
Die frowde cestlig in einem
alar. Die polend wir and
siet man noch hoffendenlich
in Rend vnd fär vnd die
nagel Dan an wminde ny
Dem funentag frig Do
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.792 0.261
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.159 (higher is better)
Average character error rate (CER): 0.853 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] folio 15 0.000 1.000
[9v] text Und sic pufel ist bi aar mil
wit und ist der Venedicr
If von Eurem onz gon
modun find at mil und
ist och em gubst par und
ein extzbitum und ist och
der Venedicr ze modun
wachfet der rumanier und
tik och do bi ein heilig heffet
do bi ij miken
Candia. If von modun biv gon candia
Creta. find at mil und candia
Vinum ist ein grob pufel vff mil
Malva wit und wachfet der
neum maluafier. Do und ist och
der Venedicr
Abod. If von candia onz gon rodib
und at mil wir aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kur
fun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun

wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen

Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.795 0.267
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.845 (higher is better)
Average character error rate (CER): 0.162 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der grof von Ruerzberg
vnd het all ander vitter
vnd enctet wolte, mit
Das. Eyn in wab entwilsa
p
Riech Mgenomen her. Jost
von Hareg
urt vnd hamb
von herzogenbeig Fittin
Die zwen wertend gern
Mit mir gein, aber Der
patron wolft Dnper mit
Beiten. Do der meteil mit
Das. Wolt vnd alp mifper
wiz mit groffen Nmwillen
Damad. Pfeiden. Der wir
mit Dem patron. Vnd
och Der briderin. Der
vnd Hattend. Ze zipren
wassert 23 zufar
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz z
uker
0.765 0.237
[18r] addition1 Saschani
in Cypro
nafkir
Saccharu
in Cypro
nascit
0.769 0.250

Result for image_5

Average fuzzy score: 0.391 (higher is better)
Average character error rate (CER): 0.603 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] folio 15 0.000 1.000
[23v] text Iz Dar noch got may in Dei
Engel Deß Heiligen grabe
Es ist ein alter Noymarmer
Stein gemachet über Das Heilig
grabe So vn
pf Herre gewar
got vnd münstf in gelegen

Ift. vnd So Noy nferstanden
an Dem Dritten tag von
dem tod
Mf in Dem tor Des tempels
So ist ein lang vnd flat sten
bi ein Stein Stein So Macht
Vnser Heire So were Das mittel
Der welt
Die notgelt schriben fand Die
Die b
ulgar ist ofwendig Des
tempels in Der stat
Iff Das gwo D
es kainz vnde
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here d
z were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tem
pels in der stat
Itꝰ das hus des karge riche
0.782 0.206

Result for image_6

Average fuzzy score: 0.000 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text N/A Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze curtisig
Itꝰ aber ze Jherusale i gros.
0.000 1.000

Result for image_7

Average fuzzy score: 0.198 (higher is better)
Average character error rate (CER): 0.841 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] folio 15 0.000 1.000
[62v] text Och felter tagt In der wue
Der ift ay dem balming der do wiz
gey felterb ift ay dem adtzelende
tag do w
urd vnd fterch an dem holen
dawpung der do wiz der adt von
wenziger tag der mercky
vnd der waffey do wiz der
chwe magtig fchreyen vnd gros
chuff als mechtige ghez der stet fch
Vench
Duce
palati
cum
Genracy palat der in zemstfch
vnd daz vnd daz
ze nemdig gewert vnd do g
kyn Ca
ppell an dem minster for
der frey in einfalt gewaffet do
vnd
er befallen THe copf fas
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem a
chzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitk
usten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vns
er behalter Jhs Xps vff fas
0.594 0.524
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.534 (higher is better)
Average character error rate (CER): 0.482 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Jenacht kome w pffiffer zu
tummeter zommen her
waff
die gallen vnd hofec
key So
finen grieden Deß ghat
kome
die
wunderlichen pffiffer vnd
tummeter vnd högen flager
Nu hofec
key So aß nach we
sitten also Ward mme gnedige
heyn vnd alleyn der fine vnd
eynen erboten It mowndeb ge
sty tag fincunt wir So danne
vnd kome auff freytag nach hmt
Nebend tag Jex So 1403. Der erst
tag im heidmonet von hwer
Do vst ein pfanc rat hmit Zwen
perhiffey velhurkern ob der
rat von Nf hundert dowerich
turey wir Da danne Nu nff
fin tag Nar fent Nüt tag
fomcy zu vnd in galle
by kro
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die
windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also
ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vrbans tag der do wz der erst
tag im brachmonet gon
kurfon
dz ist ein schone stat mit z
wen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.751 0.302
[69r] addition1 Honoris
Marchio
mi exhi
bih.
Honores Marchio
ni exhi
biti
0.852 0.143

Result for image_9

Average fuzzy score: 0.169 (higher is better)
Average character error rate (CER): 0.871 (lower is better)
View raw result from qwen/qwen3-vl-30b-a3b-instruct

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] folio 15 0.000 1.000
[70v] text Wu Jn er bopoff do felle
in zumpt man und St. Gede
in dem thym do felle 14
mnt tijnt houpt der do se
hapij lenger enner wiz aff fit
Zerlare eme kung do ouer
tofter houpt 14 mnt hleij

wu zongtma
wu auf zeb
Gra cin
ret Swar
wie in kust mien
hentcil blangt
wafft mit
trilidt die bilag
grib und hall
vnd ema nng
wade vn fust
vnd und Lidezky do kuy zu
nower Vef an kier fagt do
wesspne lich die
Nn kundt kug
an p die est tiflur all gzmench
gegen St. Pital
vnd dem hane
Sauftte Blayen
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant
Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.508 0.613
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000