Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.337 (higher is better)
Average character error rate (CER): 0.680 (lower is better)
View raw result from pixtral-large-latest

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 8 3 0.000 1.000
[3r] text Vn ein pferit Sie vnꝛ vnꝛ
miney ꝑnachton vnꝛ ruffend
So was menig ein weg
Sume So wir macẗen
vnꝛ vicẗen Sie ꝑnachte Sich
vnꝛ vil in vnḡ ayꝛey aꝛ
vnꝛ Sic
pferit vnꝛ an Sie
Red vnꝛ was ze mol ein groszꝛ
nebel ꝑ wir bvnꝛ ge
puffen
vnꝛ alꝛe vnꝛ grosꝛr aꝛbeyton
vnꝛ ze vnreem tage zu ꝑan-
vnꝛkuffel vff ein vert ꝑo
So sich ich die buẗher So san
vil Gerven vnꝛ
ponen in Ionꝛ
Sie in irr edlın gelın gond
So pund minenꝛ vnꝛter ꝑhugen
vnꝛponen sag in Sem Sincen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die
pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.674 0.361

Result for image_10

Average fuzzy score: 0.813 (higher is better)
Average character error rate (CER): 0.227 (lower is better)
View raw result from pixtral-large-latest

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Iſſ zu dem ſwſſky My heriꝛgraff albrecht vo
ungfalt
Iſſ heriꝛ
wing langgraff voñ Ruſſtanberg
Iſſ graf voñ Reinenberg
graf Reunhart voñ Neuenfem
graf götffrid voñ haghanloſſ
graf götffrid voñ Manfels
graf ludwig voñ Rundung
graf Gottffall voñ ffefa beſpanchyn
her hainꝛnwytingin
voñ
Bappomfen
her Buppom voñ fein wz vochyn Reiſſ
ffefa voñ
Rotenfen
ffefa voñ
walbenff
ffefa voñ thungen
ffefa voñ
Stuchyn
ffefa hainꝛn gnuff
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her lud
wig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschal
k von Bless bedpanchn
Itꝰ her hans von turgö
w
Itꝰ Jerg vo
Bappenhein
Itꝰ
her Buppelin vom stein wz vorhin Ritter
Itꝰ lutz vom
Rotenhan
Itꝰ Jerg von
waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ Jerg von
Slieben
Itꝰ henÿn quast
0.626 0.453

Result for image_11

Average fuzzy score: 0.751 (higher is better)
Average character error rate (CER): 0.264 (lower is better)
View raw result from pixtral-large-latest

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Hemrich ꝩoy eẹlṡpettey
in daru
ß
Eymnach ꝛ don pre̅
wibe

V̊ Do ṡuṡ prift v̊n
mon
g
Tranß tẹffe romanin zc mon
g
ant ṡpanß uṡdem
Hemrich ꝩoy wiṡlingarde
in ṡ
Hemrich ꝩnitṡ ꝛn ꝛncoft

V̊ daruꝛ wẹi
coṡfftanß

Ludwife ꝩoṡ Eydṡbackup
yauꝛ ꝩoṡ ꝛuṡ Orliten
Tranß wẹimar
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissengerode
Ritt

heinrich smit sin knecht
von bern vs oechtland
lud
wig von diesbach
hans von der
gruoben
hans volman
0.502 0.527

Result for image_12

Average fuzzy score: 0.762 (higher is better)
Average character error rate (CER): 0.249 (lower is better)
View raw result from pixtral-large-latest

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text 28 ꝛ Sum lund ze
maꝛtꝛenbvrg
Su
mut pope ꝑꝛo̊
Sicving hůtzan
ꝑꝛeꝛ ꝑ̅m̅ ꝑanꝑůꝛ ꝑriůꝛ

Vo̊ luttꝛingea
Jotef ꝑon ꝑarꝛlunt ꝑriůꝛ
Bolꝰawin ꝑo minꝛeꝛt ꝑriůꝛ
Colin ꝑon bayan ꝑm̅ Bůneꝛt

Vo̊ holtan lant
Jotef ꝑo̊tlaꝛ
Hanꝛ ꝑrůtteꝰ
Hainricꝰ lant
ꝑan ꝑrůtburg
Hanꝛ ꝑon bencꝰelt ꝑm̅ ꝑriůꝛ
ꝑan joganꝫ ꝑrꝛn̛ꝫ
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo
mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.523 0.498

Result for image_2

Average fuzzy score: 0.331 (higher is better)
Average character error rate (CER): 0.705 (lower is better)
View raw result from pixtral-large-latest

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Folio in promaltar Sic solten
wir gantz vnd en punkt von
Dem geiligen fray drei
sit in vff
we birust vnd ein
Dem von pont marien matelone
vingevot off tamptenmat
Dem aftertag Sic So
was ꝛ
ander ouf ꝰ abreiten So
Muran furcnd wir gant menig So
glad legend in ꝑont ꝑtoffen

füttrelitten bi fiundet der finster
Sie ꝑacabo craftigem gman
altin Sic solten wir en
standt may nact befttenderlich
in fint vnd fatt find Sic
nagel one en gmades gn
Dem promentag fruig So
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.662 0.409
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.154 (higher is better)
Average character error rate (CER): 0.869 (lower is better)
View raw result from pixtral-large-latest

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Vnꝛ G̊ec prvt ift bi aꝛ mil
vnꝛ vnꝛ ift ꝛeꝛ veneꞅiges
Ich vnꝛ furftvn vnꝛ gon
vnꝛeꞅ vnꝛ aꝛ mil vnꝛ
ift odꞅ an iȳliftig fart vnꝛ
am er
tzo̅iftvn vnꝛ ift odꞅ
ꝛeu veneꞅiger ze̅ mochen
machen ꝛeꝛ vnmanen vnꝛ
ist odꞅ Bo bi ain̅ biilig gaift
las bi ir milen

Candia ift vnꝛ mochen bı̅ gon cancria
cıcıa vnꝛ aꝛ mil vnꝛ candia
Vnꝛum ift am grob̅ mıft vnꝛ mil
Malta vnꝛt vnꝛ machen ꝛeꝛ
vnmanluften Go vnꝛ ift odꞅ
ꝛeꝗ veneꞅier

Abody ift von candia vnꝛ gon rodas
machen ꝛeꝗ vnꝛ mil vnꝛ aben
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kur
fun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vn
tz gon rodis
sind ccc mil wer aber
0.618 0.476
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.796 (higher is better)
Average character error rate (CER): 0.227 (lower is better)
View raw result from pixtral-large-latest

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der ꝛolff voꝛ wunꝛs̊bunꝛg
mit ꝛ
uß all anderꝛ nitteꝛ
und theteꝛt wolteꝫ niꝫ
Dan ſey in waꝫ entwilteꝫ
heteꝫ vffgenomen haꝫ jekliꝫ
Dauon gaꝛgeꝫnuꝛt und gaunꝫ
an herꝫcaffteꝫ
pfaffeꝫ
Sie zuweꝫ neveꝛnꝫ geweꝫ
mit inꝫ geꝫn̊ aber ſeꝫ
patreꝫn̊ wolt nuweꝫ nit
heiꝛen. So Daꝫ meꝫteil nit
Dan walt und alſo nitteꝫ
win mit grossem ꝛn willen
Tamnoſ ſegeꝫte ſy mir
mit daꝫ patreꝫn̊ und
od ſey brudeꝫreꝫ ſam
und farramꝫ zi zipmen
waffteꝫ zi
zuke
Der grof von swartzburg
vnd s
ust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von hareg
urt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zi
pren
wachset dz
zuker
0.618 0.432
[18r] addition1 Sacchanꝛn
in Cyero
naſcit
Saccharu
in Cypro
nascit
0.769 0.250

Result for image_5

Average fuzzy score: 0.204 (higher is better)
Average character error rate (CER): 0.825 (lower is better)
View raw result from pixtral-large-latest

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] folio 1 0.000 1.000
[23v] text Vf Saw nod got vay m Sì
engel Sèß filiꝛes vrùbèß
Sì yf ein altè
u vòrmanèu
Sèan gemeȥftùben Sèß Gèbùt
vnd So wìrttè Gèwèanèß
got vnd monntèu gèlègen
Yf vnd So Say sperràucheu
vnd Sòm Sèntry tay vay
vòn toẹ
vnd Dòm vay Sèa Sèmpeleß
zo ift Sìm lag vnd ftaẹ daẹ
Sì èm flèin fràn, So fprùtf
wòr Gèwè dè wèr Sàß mùttè
vòn uùble.
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz
were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.408 0.650

Result for image_6

Average fuzzy score: 0.422 (higher is better)
Average character error rate (CER): 0.683 (lower is better)
View raw result from pixtral-large-latest

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text V֊̉ Sempstag in groß̉er
v̉r fín rẹuné
ze ánnō ē̉m groß̉er
ge
pẹ̄nepteleÿ ē̉ groß̉er zẹ
furttig̉
v̉n ē̉m spēleÿ
Sē̉m rumpel ē̉ groß̉
in ē̉m spēleÿ ē̉ groß̉
ze pẹ̄tēlīçē̉m ē̉ groß̉
ze pẹ̄nepteleÿ ē̉ groß̉
ze ā̄nē̉ v̉ō̄ffānē̉m ē̉ groß̉
Wī́
ber ze pẹ̄nepteleÿ ē̉ groß̉
ze ē̉m ćūnftig̉ē̉m ē̉ groß̉
Wī́
ber in ē̉m spēleÿ ē̉
ze ē̉m spēleÿ ē̉ lon
ze ē̉m ćūnftē̉m ē̉ gūūtet
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig
von den eselen
Itꝰ dem consul v gros
Itꝰ in den tem
pel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tem
pel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ a
ber ein gros ze curtisig
Itꝰ a
ber ze Jherusale i gros.
0.422 0.683

Result for image_7

Average fuzzy score: 0.226 (higher is better)
Average character error rate (CER): 0.859 (lower is better)
View raw result from pixtral-large-latest

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Got paltey tagt gvt paltey ꝩ Tvr. Tvr. wvr
got gepray ꝛay palming ꝙxo. wz
D
c palbengelaytet got vnꝛit. vnꝛ
wot paltey lof an ꝙay adffi
chtcnde
try. ꝙay texft. wnd paltey pnrey
try. ꝙo. wnd pourcnd. an ꝙay halbey
ꝙampnag. ꝙx. ꝙo. wz. her. adft. wn
awcwngeft. try. ꝙo. wcceyt. vff
Got. wacffer. ꝙo. texft. ꝙo. wndley
try. ꝙay. ꝙo. gefprachcn her. ꝙo. wz. her
leit. braying. wcceyt. ꝙo. paltey. wn
etw. wnangcay. ꝙtknftet. wnd. graft.
truff. als wccdngs. huffar. ꝙa. ꝙe
Venc. ꝙo. wnd. pawr. marge. munckar. wnd. ꝙe
Ducit. Got. ꝙay. palat. Got. ꝙo. penciftft
palat. ꝙm. pawr. ꝙawft. wll. ꝙay. wndr
magnif. wnd. friedftay. ꝙw
ppet. ꝙ. ꝙe. wnꝛ
Ze. wneuꝙif. ꝙwecfelt. puls. ꝙo. got
eiꝙ. ꝙ
appelt. an. ꝙay. wn. penc. ꝙay
ꝙe. w. ꝙay. wndaket. ꝙe. wapper. ꝙo
wf. ꝙ. ꝙo. wcffaltet. ꝙift. ꝙo. wnd. ꝙuoꝙ.
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen
palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind Do ist
ein C
appell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs X
ps vff fas
0.451 0.719
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.360 (higher is better)
Average character error rate (CER): 0.658 (lower is better)
View raw result from pixtral-large-latest

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Sonnasti ƀmic in ꝛffter ꝛin
tꝛunncte zunmen gꝛe
walt
ꝛue galle vnꝛ ħoficaten sall
mich ꝛußde
y ꝛe ꝑfluf kome
ꝛic ƀunꝛtaptcen ꝑffter vnꝛ
tꝛunncte ꝛuꝛ łoyffcnſtalcey
ꝛuꝛ ħoficaten zo ach nac ꝛue
łittcy alzo ꝛuꝛ nunc ꝛri∈dcz
ꝛewd uꝛ aley ꝛey ſint vil
ceynꝛ ꝛalttey ꝑffinꝛꞇuꝛdey ꝑe
ꝛay ꝛay ruꝛindt ꝛuꝛ ꝛo Sonnc
łuꝛt ƀuncy ꝛefctcnac ꝛac ꝛint
ꝛeːlcome ꝛay ꝑl. ꝛo kꝛoz ꝛay coꝑ
ꝛay ꝛay ꝛuꝛtꞇmonct ꝛon ꝛrouen
Gꝛt eyn ꝛloncz ꝛat hunꝛ zical
ꝛeckiczen ꝛallphꝛeyꝛ vꝛ ꝛaz
ꝛat ꝛuꝛ nꝛ ꝛuꝛtꝛac ꝛuꝛnclic
ꝛincc ꝛuꝛ ꝛa Sonnc łue ꝛo
ꝛuꝛtcz ꝛuꝛ ꝛut ꝛey ꝛꝛ
ħeynct az vnꝛ mj galle vnꝛ ꝛo
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die
windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd kamen vff freitag nach sant
vrbans tag der do wz der erst
tag im brachmonet gon kurfon
dz ist ein schone stat mit zwen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen b
y xx
0.459 0.617
[69r] addition1 Honorat
Matheo
vi exbi
trit.
Honores Marchio
ni exhi
biti
0.621 0.357

Result for image_9

Average fuzzy score: 0.212 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from pixtral-large-latest

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu ꝛaures ꝛaff go ꝛtho
DNu ganget man vnd
St. Jakobin
DNu ꝛthynes koupt D. go ꝛtho
DNu. ꝛnoupt vnd coket wi ꝛft bat
DNvhore vnd koupts do ꝛynery
DNvfftex koupt ꝛfynut ꝛfl. ꝛny
DNu rengema nw ꝛft aus andrex meny ꝛft
DNvfft ꝛft. Nu ꝛfant ꝛfing and nwy ꝛft nu
DNu ꝛfant. Staz wey zeyn gilt do ꝛfant ꝛynalo
DNv in ꝛthynes meyn ꝛftflaytz ꝛnnordoll ꝛft
DNu ꝛfcurtel blang ꝛff dm anstayg nw ꝛfantsa ꝛffald
DNv ꝛff an dm ꝛft antryg ꝛfant ꝛfalfald.
DNv michl dye blawen ꝛc ꝛmordollfr fureyn nw
DNv ꝛn halle. ꝛc fandia ꝛft furend ay ꝛn
DNv ꝛfons jun ꝛfant wunft fvr dye ꝛfvtga
DNv ꝛfwa ꝛfh ꝛnczeny ꝛo ꝛfanz ꝛu zv ꝛfl. ꝛftftlaka
DNvnaz. ꝛf lnvftbyn ꝛfpt ꝛo ꝛfapsnwt ꝛfl dye
DNv. ꝛfmott ꝛfing. ꝛffl ꝛal ꝛfzmenlichn ꝛft. ꝛ
DNv ꝛf. ꝛft ꝛfptlut alz ꝛzmenlichn ꝛft. ꝛ
DNv ꝛftal ꝛftal ꝛcomencd's all ꝛflgezny ꝛme
DNv. ꝛc. ꝛfons fluvme
DNv. ꝛcrudyffe ꝛftaypke
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor
Sant Johans tag ze Sungechten fuoren wir
von
kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.425 1.000
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000