Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.930 (higher is better)
Average character error rate (CER): 0.079 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Und ein pferit die mir vnd
minen brüdern wider Rulpend
den so was mener ein weg
deme den wir machend
und vieland die brüder did
vnd vil in vntz an den arb
und sie pferit vntz an die
pettel vnd was ze mol ein grosser
nebel dz wir zum ge paßend
vnd als mit großer arbeit kome
wir ze mitten tag zu pant
ein poffel vff den berg do
do sach ich die Bücher do jar
vll herren wopay zu stond
die ir stur dolphn geben hand
do stund mineß vatterß pligen
wopay ach in dem emen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wopen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.861 0.158

Result for image_10

Average fuzzy score: 0.912 (higher is better)
Average character error rate (CER): 0.101 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text It zu dem ersten Min heru graff albrecht vo
anhalt
It her ludwig langgraf von lustenberg
It graff ott von hemmenberg
It graff berenhard von regenstein
It graff gottfried von halbenlad
It graff georg von mansfeld
It gra
ff ludwig von hennberg
It her gottfried von bleff -
bedpanch
It her hans von tungins
It her b
appenbein
It her s
uppin vom stein avz vochym ruter
It hug vom rotenham
It b
erg von waldeyff
It gysbrand von thungen
It jerg von olieby
It heni
n quatt
It zuo dem ersten Min hern graff albracht vo
anhalt
It her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ gro
ff ludwig von Isenburg
Itꝰ her Gotschalk von Bless
bedpanchn
Itꝰ her hans von turgöw
Itꝰ Jerg vo B
appenhein
Itꝰ her B
uppelin vom stein wz vorhin Ritter
Itꝰ lutz vo
m Rotenhan
Itꝰ J
erg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ Jerg von Slieben
Itꝰ henÿ
n quast
0.824 0.202

Result for image_11

Average fuzzy score: 0.858 (higher is better)
Average character error rate (CER): 0.123 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich von Eulspetten
Ein bericht
Von radus der papier

Von dem sti
ft von
Ments

Gans Lo
ffi camerin ze mants
ant jolamb sudenb

H
einrich von wissengarde
Krit

Heinrich smit. in Ennecht
Von tury vb.
Schotland

L
udwig von Eichbach
Gans von der Gritten
Gans Niman
heinrich von külstetten
ein bar
fuos
Cuonradus der schriber
vs dem sti
ft von
ment
z
hans lösli cometür ze mentz
s
ant johans ordens
h
einrich von wissengerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
l
udwig von diesbach
hans von der gruoben
hans volman
0.716 0.246

Result for image_12

Average fuzzy score: 0.895 (higher is better)
Average character error rate (CER): 0.102 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text VB dem land ze
magdenburg
Einrat hobe gut

Dietrich hebbow
peter ein barfuß priest

VB
luttringen
Jokob Von barzkuurt (Pett
Seifderiib
De miricurt priest
Tola V
on bayan sin knecht

VB Hofsta
n land
Jakob Nellang
Hans Nudtelt
Heinrich Lang

Von Broostung
Hans Von Henf
elt ein priest
P
ant Jofanb or-Daib
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ

Dietrich liebzöw
peter ein barfuos priest
vs
luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt priest
Cola v
on bayon sin knecht
vs holste
n land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von bens
elt ein pristꝛ
s
ant Johans ordens
0.791 0.205

Result for image_2

Average fuzzy score: 0.735 (higher is better)
Average character error rate (CER): 0.261 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gelbe im fronalter Die foljend
wir gantz und em pinct vey
Dany heiligen from eriuz Oz
he ir vff ir brust und ein
bem von pant maricen madalene
rignyt vot jof off pamstag nach
Dem oftertag der do
was der
ander tag die abrelten do
Muran
furend wir gey mesan do
legend in pant ffsteffinb
futdsey bi hundert der kindlin
Die herodes achtlig in einem
altar Die foljend wir and
flicht man noch leitsterdenlig
in Rond und fäb und die
nagel dar an mindest an
Dem pfientag frig do
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.784 0.228
[4v] addition1 Muran
glab
futtr
Muran
glas
tten
0.686 0.294

Result for image_3

Average fuzzy score: 0.202 (higher is better)
Average character error rate (CER): 0.815 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Und die püfel ist bi æt mil
wit und ist der Venediger
It von Euchsen vnd gön
modun find æt mil und
ist och ein gübster star und
ein ex
tzöftum und ist och
der Venediger ze modun
wacthet der rumanier und
ist och do bi ein heilig gesett
do bi ij miley
Candia ist von modun bib gön candia
Creta. find æt mil und candia
Vinum ist ein grob püfel vy mil
Malze wit und wacthet der
niemaluaßew. Do und ist och
der Venedier
Rhody. ist von candia vnd gön podib
find æt mil wer aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein h
übsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun

wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen

Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vn
tz gon rodis
sind ccc mil
wer aber
0.807 0.258
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.603 (higher is better)
Average character error rate (CER): 0.399 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der grof von Swartburg
und pult all ander ritter
und thecft woltey mit
Das den ir wab enteilwalt
Rich sgenomen her jebab
vov Hategurt und hand
von hergenbeitz vitter
Die zuez werend gern
mit mir gefin aber der
patron wolt vuper mit
beiten So der metteil mit
das wolt und also misper
wir mit groffen Nuwille
Edmund sgeyden day wir
mit dem patron Und
och den briderim dar
vnd pattand ze gipron
wagtter 23 zuler
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz z
uker
0.810 0.198
[18r] addition1 Saccharu
in Cypro
nascit
0.000 1.000

Result for image_5

Average fuzzy score: 0.826 (higher is better)
Average character error rate (CER): 0.184 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Iff Sar nach got may in Sei
chy
pel Des Heiligen grabe
Es ist ein ala
w Noy marweld
fein gemacht Nber Das heilig
grab So
unger geure gewerar
got und mōnste in gelegen
ist und so Noy nferstanden
an dem dritten tag von
dem tod
Iff in dem tor des tempels
So ist ein lōg und stat dar
bi ein
klein Stein So lparat
unger geure ez war das mittel
der welt
Iff die notgezehriben stand die
die bildgirte ofwending des
tempels in der stat
Iff Das quod des Saitz riche
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tem
pels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.826 0.184

Result for image_6

Average fuzzy score: 0.761 (higher is better)
Average character error rate (CER): 0.265 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text It Dem patron ij groffen
Air sin geyrung
It ze emad ein stroffey
It ze jfseru
palen ij groff ze
Eurtifig-Noy ein
cplay
It Dem rounfut N gro
b
It in Den tempel ij gro
b
It ze betalijem ein grob
It ze pant jolfaub ein grob
It wider ze jfserupelen ein
grob ze eurtifig aber ij grob
It wnder in Daz tempel ij
grob
It ze Dem jorvay gen grob
It Den cplay ze ley
It aber ein grob ze purfet
It aber ze jfempuli ij grob
.
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tem
pel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze
curtasig aber i gros
Itꝰ wider in den tem
pel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ a
ber ein gros ze curtisig
Itꝰ a
ber ze Jherusale i gros.
0.761 0.265

Result for image_7

Average fuzzy score: 0.357 (higher is better)
Average character error rate (CER): 0.655 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Dob selber tagb gey fahzun In der wure
Der jef an dem balming derdorwz
Der f
ubenzeleunde tag witten wure
Goy
belueb jef an dem adtzeleunde
Tag gey terfis Nid olbien zwey
Tag do and furend an dem holzey
Dam
pag der do wz der acht im
Zweenzugest trut der mercey Vf
Den wasser No terfis gey Nchedu
Tf an dem osteroben der do wz der
Lest tag im mercey Do folchen wir
Erwe mangen fikturen und gesfe
Pfaff als mechtige guider sof phe
Von sant marino minuter Nud deb
Ducie. Gervasey palat der it zensol thin
Palah. On pond darup Nul hewd Nider
Magnifi. Und briedtzy Wusper die demy
Ze Neuedig gewesef sind Da ist
Ein Capell an dem minuter For
Der stey in ein tabal gewaffet Da
Nulser belfalter Tith Capo Nff fas
des selben tags gon falzion In der wur-
gen Itꝰ an dem
balmtag derdo wz
der s
ubenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd f
uorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitk
usten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd knechten woppen die denn
ze venedig gewesen sind Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vnser
behalter Jhs Xps vff fas
0.715 0.311
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.531 (higher is better)
Average character error rate (CER): 0.498 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Gewanatf kome w pfiffer zu
tummeter zommen herwaff
die gallen und hofeerten da
finey gridden geb ghab kome
die wundatien pfiffer und
tummeter u
nd bögen slaher
Nu hofeerten so ach nach
we
sitten als
ward mme gredige
hevn und alley den fine
wil
even er
bottey It mouden de
sty tag furent
wir da donne
und
kome auf freitag nach sint
Helmbod tag der do vor dat erst
tag my keltimont von kuerfen
da oft ein pfone rat mit zwei
derhifey helftursfey of der
fat von off suntag downicht
furey wir da donne Nu off
fin tag war sint Nitz tag
fomcy zu und in galley
by
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die
windeschen pfiffer vnd
trumeter v
nd böggenslaher
vn hofierten do och nach ire
sitten also
ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent
wir do dannen
vnd kamen vff freitag nach sant
vrbans tag der do
wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit z
wen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.769 0.279
[69r] addition1 Honoris
Marchio
mi exhi-
bibit.
Honores Marchio
ni exhi
biti
0.825 0.214

Result for image_9

Average fuzzy score: 0.000 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from qwen/qwen3-vl-8b-instruct

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text N/A vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all bilgerin Ire
0.000 1.000
[70v] addition1 N/A vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000