Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.353 (higher is better)
Average character error rate (CER): 0.676 (lower is better)
View raw result from pixtral-12b

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 0.000 1.000
[3r] text Und ein pfarrer die mir minen
minen enchatten wox bul
pend
en so was minner bay weg
sime don wir macfrend
und vristent sie enchatten und
vil in vngayenlay und
uns sie
pfirit vng my die
ratel und waz ze mot in
proffar
nebel do wn bam opfanten
und als mit groffer arbeit home
wir ze mitten tag zu dem
kirchoff offen lay bereyt so
do pult ich die bucher so gar
vil borney wospey in stone
die in fur edelman gelsey land
so pund mines wasters ofley
wospey set in sem semecy
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die
pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.707 0.353

Result for image_10

Average fuzzy score: 0.800 (higher is better)
Average character error rate (CER): 0.258 (lower is better)
View raw result from pixtral-12b

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text If zu berge cumpft My Hevin graf allhie vnd
lobet Ihesu Christ genaden vnd
Ihesu heint langgefaff von Furstenberg
Ihesu graf von Boy Bernunberg
Ihesu graf Bernhart von Sternfrem
Ihesu graf gottfried von Haselhof
Ihesu graf gottfried von Mansfeld
Ihesu graf heintz von Rübening
Ihesu graf heintz von Blass vnd Spanheim
Ihesu graf heintz von Turingen
Ihesu graf
Bappemden
Ihesu S
upperin vom stem vnd vchmy Buttler
Ihesu lug vom
Rotenhan
Ihesu erg von Waldenfell
Ihesu graff von Thungen
Ihesu Herr von Eckrich
Ihesu genim
quat
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bed
panchn
Itꝰ her hans von turgöw
Itꝰ Jerg vo
Bappenhein
Itꝰ her B
uppelin vom stein wz vorhin Ritter
Itꝰ lutz vo
m Rotenhan
Itꝰ Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ Jerg von Slieben
Itꝰ henÿn
quast
0.600 0.516

Result for image_11

Average fuzzy score: 0.798 (higher is better)
Average character error rate (CER): 0.215 (lower is better)
View raw result from pixtral-12b

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Pemritz von Einspetten
v
ng sacrifit
Timrasib Don po
griner
vs Gam prift von
men
g
vns Loeti comitirn ze morg
ant Joans ordens
Timritz von wilfingerst
leut
Timritz mitz fis Encoff
vay berin vbi
sopftane
vndwrig von Dickback
vmb day des grüeben
vns Vlimany
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
men
tz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wisse
ngerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.597 0.431

Result for image_12

Average fuzzy score: 0.837 (higher is better)
Average character error rate (CER): 0.188 (lower is better)
View raw result from pixtral-12b

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text 26 Dem Land ge maistofenlung
Einrat tobe ruit
Dietricus libtzon
vnd erer sin Banfri
t priest

68 Luttringen

Jost von garzburc ruit
Definberin do minicurt
priest
Jota von Bayen im Buec

68 Golten Land
Jost von Nelling
Hans Prebect
Heinricus Eany

von Provurst
Jost von benfelt sin priest
vnd Jostamp von Grau
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo
mirecurt priest
Cola von bayon sin knecht
vs holsten land

Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.674 0.376

Result for image_2

Average fuzzy score: 0.336 (higher is better)
Average character error rate (CER): 0.707 (lower is better)
View raw result from pixtral-12b

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gelob in pronalten die folgen
wir gruntz mit em pfint hey
sem geilogen von crone
z
bi ir uff in brunt und sin
bem
woy pfint maricn matalonic
ringrot ir off purpstag not
dem osterdage als do
was
ander tag. Do abreday do
muran furent
wir oyg meswan
das legend in pfint stoffinits
sucterspilffey bi gundert der ambis
die parabelen urschreyen in sem
alar die pfent rune und
pfret may not beftgendelidt
in pfent und fah in die
nagel dar an vnd rymdes oy
bem pimentry fring so
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crüt
z dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.672 0.413
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.170 (higher is better)
Average character error rate (CER): 0.853 (lower is better)
View raw result from pixtral-12b

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text dis puet ist bi vor mir
wit und ist der senecger
to
waz furpang und gon
mosbrug und ot mit vnd
ist oc am gilbigen par vnd
en erstbistum und ist oc
der senecger ze mosbrug
waeget der ruminian und
der so bi im geilig geffet
do bi is miley
candia ist vor moy mosbrug und gon candia
er ist ein grob puet vnd mit
vrinum wit und waeget der
rumaniach after do mit ist oc
der senecger
body ist vor candia mit gon rodes
und ot mit wir aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.681 0.413
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.564 (higher is better)
Average character error rate (CER): 0.452 (lower is better)
View raw result from pixtral-12b

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Des grif von pungtzburg
mit iuwe all ander ritter
und thegt woltey mit
dare sey in was entsandte
reyg megenemey der jats
bou gabegunt und gab
umb herrenbeyg pitter
die ziten nerend geryn
mit mir oschi aber ser
parray was syper mit
heten so er metzel mit
dar wolt und also muget
wir mit groffen wn willey
comma legenden sey nun
mit dem parray (und
oet sey brüdering) dar
umb garmane zi gipros
wacopte 23 guter
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz z
uker
0.693 0.357
[18r] addition1 Saccharu
in Cypro
nascit
0.000 1.000

Result for image_5

Average fuzzy score: 0.315 (higher is better)
Average character error rate (CER): 0.745 (lower is better)
View raw result from pixtral-12b

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] folio f 0.000 1.000
[23v] text Dar not ist got may in diser
fügel des geliclichen ymbeso
Do ist sin alter von merken
pey got gemachet der gelicliche
gral so super terre generat
got vnd monicht in geliclichen
yt und so hat, nach dem tag der
ley, pey dem er written tag von
pey tod

Do my Der yedel romepel6
do ist sin lage und hat sin
bi sin, sin her, sin suster
vnd pey herre der were der6 muett
fur swert

Aftle nottgescrifft by dem6
der volcompt rechenung der
romepel6 my Der trat
Do Dar quo6 der swert made
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die

Die bilgerstet vswendig des
tempels in der stat
Itꝰ das hus des
karge riche
0.630 0.490

Result for image_6

Average fuzzy score: 0.643 (higher is better)
Average character error rate (CER): 0.432 (lower is better)
View raw result from pixtral-12b

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Iem jare von im gropf
fur sin gerung
to ze amas ein gro
pf
fur die iugenfaltay i gropf ge
furstifig an ey
celen
of Dem rompfel zu gropf
to in Dem rompfel i gropf
toerge Befaltay im gropf
to ze fint folfant im gropf
to wider ge iugenfaltay im gropf ge
furstifig
aber i gropf
to wider in Dem rompfel im gropf
to ze Dem jare von gropf
to Dem spalding ge toy
to oder ein gropf ge purig
to oder ge iugenfaltay i gropf
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig
von den eselen
Itꝰ dem consul v gros
Itꝰ in den tem
pel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tem
pel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ
aber ze Jherusale i gros.
0.643 0.432

Result for image_7

Average fuzzy score: 0.000 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from pixtral-12b

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text N/A des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd knechten woppen die denn
ze venedig gewesen sind Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs Xps vff fas
0.000 1.000
[62v] addition1 N/A Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.193 (higher is better)
Average character error rate (CER): 0.843 (lower is better)
View raw result from pixtral-12b

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Gennantt fonncz in pfiffer vnd
trummet zimmmen gundoff
ce galley vnd ho
perten so
marcho in ex
brit
mey gusdy die glich fonncz
bie lumdaption pfiffer vnd
trummet vnd
begenpfaher
vnd hoperten so af nachive
fetten als
o wund rnno grudge
geyn vnd alle zy fonncz
geyn eschri
beffet of msundebt ge
ey taug fonncz vnd so domme
geyn Run
ky off freting meufft
vnd dome tag schilt do hor vnd so
tog my brudermunnet vnd hofnyn
geyn it zy fonncz pat hant zway
pheschen vnd offledt vnd von
uff lunchtung domne so off
fretung nar fint vnd tagt
fornac vnd in galley
n bynge
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die windeschen
pfiffer vnd
trumeter vnd
böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do er
botten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd kamen vff freitag nach sant
vr
bans tag der do wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit zwen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.579 0.530
[69r] addition1 Honores Marchio
ni exhi
biti
0.000 1.000

Result for image_9

Average fuzzy score: 0.000 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from pixtral-12b

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text N/A vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all bilgerin Ire
0.000 1.000
[70v] addition1 N/A vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000