Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.768 (higher is better)
Average character error rate (CER): 0.284 (lower is better)
View raw result from x-ai/grok-4

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Auch hie merkt. Sie hurondt
ein phertzen vber Gumpold
Sen.
Do vant man den leichnam
Sante San Jorin machtent
vnd vil leuten die bruocht Sant
von Sie. Sie hie von myr Sie
nebel. So bin ich zum on groff
nebel by win zum on groff
wir als mer groffer arbeit hanc
by geffelt vff dem Beyer. So
So geffelt ich die byden
pferd
Sit in f
ür Seldin gelobt gland
to
paint mineb badero flagen
woffen ogg in ym zam einch
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die
pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.537 0.569

Result for image_10

Average fuzzy score: 0.297 (higher is better)
Average character error rate (CER): 0.732 (lower is better)
View raw result from x-ai/grok-4

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 23 73 0.500 0.500
[73r] text Hꝛ jorg cupen Maj heinrich faltner vo
Hꝛ frant
z von venningen
Hꝛ jorg freyherꝛ von hohenburg
Hꝛ jorg freyherꝛ von Minfeld
Hꝛ jorg hus
man von Minfeld)
Hꝛ jorg Gotfrid von Bitschoff
Hꝛ heinrich von Bitschoff)
Hꝛ fridrich von Bitschoff
Hꝛ Georg Elßehorn
Hꝛ heinrich
quast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bed
panchn
Itꝰ her hans von turgöw
Itꝰ Jerg vo Bappenhein
Itꝰ her Buppelin vom stein w
z vorhin Ritter
Itꝰ lutz vo
m Rotenhan
Itꝰ Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ Jerg von Slieben
Itꝰ henÿn
quast
0.392 0.696
[73r] addition1 bspand 0.000 1.000

Result for image_11

Average fuzzy score: 0.767 (higher is better)
Average character error rate (CER): 0.279 (lower is better)
View raw result from x-ai/grok-4

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinricꝰ von Eysleben
bey auß
zug Eysleben
Tirmstab bey pfister
Many pfist von
paul Jofz romen
ig se monat
heinricꝰ von waffen
gertze
feinricꝰ finis finem
Ney Eys 98
Suboffen von Siechtag
hans von bey der Gruben
hans Ulmany
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
ment
z
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
ludw
ig von diesbach
hans von der
gruoben
hans volman
0.534 0.558

Result for image_12

Average fuzzy score: 0.520 (higher is better)
Average character error rate (CER): 0.526 (lower is better)
View raw result from x-ai/grok-4

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 73 93 0.500 0.500
[93r] text 136 Der landt zu
muffelburg
Sigmundt hertzog
herczog ludwig
peter von hagenbach landt
vogt

Der Eittering
ay
Jacob von hagenbach ritter
Conrat von ramstein ritter
cola Von Basyer ain Edele

Der hofften landt
Jacob Pustet
herman Ept
heinrich Lang

hans von breisgau ain rittꝛ
raut Jacob d. 1516
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo
mirecurt priestꝛ
Cola von b
ayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein pristꝛ
sant
Johans ordens
0.541 0.551

Result for image_2

Average fuzzy score: 0.240 (higher is better)
Average character error rate (CER): 0.818 (lower is better)
View raw result from x-ai/grok-4

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gelobt sy got vnd maria rein
Sin geliebten fraw vnd ir
lit re
wiff be bunt vnd em
vins von Ipt maria magdalene
Alm offerten. Sue ab alleine
Do
Muria. Eindent
wir ynn punt fforffin Do
fust hie sin
kunst hat in annum
Ahe genade die pege heffenden
wurd
pit may von wff die hew bes die
in fand von wff die hew bes ay
magd. Bus finuentz Arig. Sa
Tem finuentz Arig. Sa
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.480 0.635
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.086 (higher is better)
Average character error rate (CER): 0.939 (lower is better)
View raw result from x-ai/grok-4

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Jtem wie vil er an unser frawen
frau
wen tag von groz mon faren vnd von
ein eintzigung fur vnß ach
von Nidersteg zu masen
we
mauffer Ser rominer
do bi in milan
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kur
fun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.345 0.755
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.635 (higher is better)
Average character error rate (CER): 0.436 (lower is better)
View raw result from x-ai/grok-4

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der pfaff von kalenberg
vnd hieß all vber miter
Ein pfaffen erfunden
von hertzenment ein lamb
Die iunckfrawen geren
mit im gepfin aber gar
patron wolf der meister mit
San wolt vmb alp mitley
vnd mit profften Syn wirt
mit San briester vnd
vnd priestern so typfern Sachan
meister Sy huber
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also muosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz zu
ker
0.504 0.599
[18r] addition1 in Cÿpria Saccharu
in Cypro
nasc
it
0.400 0.708

Result for image_5

Average fuzzy score: 0.462 (higher is better)
Average character error rate (CER): 0.646 (lower is better)
View raw result from x-ai/grok-4

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text † Jch han gehört das maj Ger
alget die hailigen gr
undaer
Fraw gemachet Renaw stat gút
gibt vnd wonet jn gelaugen
jn czw monat jn dem gelagen
My czw do wonet hÿ frawen weg
bey tor

Apm tor Jch sib ren conraden
die sin ain
kory von last sur
von Eim from von ob puren
non waire dy waren sib mutuel
Sie die bofgertlicher abenteur in
conrada syn Sew frat
Jhe Sina giun Seb fragare nate
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd m
önsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.462 0.646

Result for image_6

Average fuzzy score: 0.431 (higher is better)
Average character error rate (CER): 0.647 (lower is better)
View raw result from x-ai/grok-4

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Dem kayser mit trost
vnd emand syn hofgesind
hertzog Albreht von oest
Item Sem const N grob
hrge Bettalfin von thot
hrge hant reichin pin i am
hrge ge rambt shu imm
hrge bsen in Sytztengel am
Der Sem eglin tey ton
haben can grud zu pusit
habc zc jnhalt zu grob
.
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betla
hem ein gros
Itꝰ ze sant Jo
hans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig a
ber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze curtisig
Itꝰ aber ze J
herusale i gros.
0.431 0.647

Result for image_7

Average fuzzy score: 0.207 (higher is better)
Average character error rate (CER): 0.843 (lower is better)
View raw result from x-ai/grok-4

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Zu pillig ang geu faluen For de ware
Der jeffener gebing feine tuncz wis
ey der herte fidt und fein golfen
Schiwang fier fier der bes megey vff
Von minem vatter ho here von meister +
Ich han auch gemacht fier fory war
gefallt und min mutter fier und auch
Daz ic gezwang
palayf mee und juncher
Cuntz von Sunckhen und fills Sunck
von Campen und anderen gewagter Sl
Alfer Bofatter Jef bey vff las
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen
palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd knechten woppen die denn
ze venedig gewesen sind
Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vnser
behalter Jhs Xps vff fas
0.415 0.685
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.283 (higher is better)
Average character error rate (CER): 0.850 (lower is better)
View raw result from x-ai/grok-4

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Item et frater stephanus fuit
tunc custos in hospicio
bonę
genetricis Dei deplanc
kenberg
frater huprecht de planc
ken
berg custos suo cum fratre iacobo
hettly et alijs duobus fratribus
seculari et alijs duobus secula
ribus Item post hunc fuit do
minus frater conradus bonifacij
de ny Byswil der was kust os
vnd pryor in planckenberg
Item post hunc fuit do
minus frater heinricus hert
pfund von basel der was kust os
vnd pryor in planckenberg
vnd starb do vnd wart do be
graben do man zalt von gots
geburt tusent vierhundert vnd
in dem sechs vnd dreissigsten iar
do wart er mit grosser andacht
vnd trurigkait von den brudern
vnd von vil gutten lut
en by pap
stum begleyt vnd wart do in der
kirchen begraben by dem chor
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten
Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd kamen vff freitag nach sant
vr
bans tag der do wz der erst
tag im brachmonet gon
kurfon
dz ist ein schone stat mit zwen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.404 0.906
[69r] addition1 Hospicio
militu
Honores Marchio
ni exhi
b
iti
0.444 0.643

Result for image_9

Average fuzzy score: 0.125 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from x-ai/grok-4

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] folio 13 0.000 1.000
[70v] text .vij. Jungfrawen hoffet. Da pfleg
man thů
wend clag vñ lůt sel
ten. Vñ hůptet. Die sel
b not
Erkennet aine clůg wiß fraw
vñ nam ain crůg vol wassers. vñ
got ain lamp vol olis. vñ gieng
Sich verbürgen in ainen thurn
vñ zůnt ain fůr an. vñ hieß die
lamp brinnen. vñ wůst nit wie
lang die nacht wer. vñ nam ain
gůten schlaf. Die andern .vj.
hatten all gemainclich fůr
genůmen. Si wellend wachen
vñ nůt schlafen. vñ wachen nit
vñ liessen ir lampen vß geen.
vñ sliefen. Do nun die nacht
vergieng. vñ der tag kam. Do
kam der brůtigam. vñ clopffet
an die thůr. Do erwachet die
ain clůg. vñ sach das ir lamp
noch brant. vñ hort die stim
des brůtigams. vñ gieng vñ off
net im die thůr. vñ ward enp
fangen in grosser frewd. Die
andern .vj. erwachten ouch. vñ
sachend das ir lampen vß war
en. vñ wůstend nit wie sy
den brůtigam enpfiengend. vñ
clopffend an die thůr. vñ batt
end in. Aber er antwurt in
nit. vñ ließ sy sitzen für der
thůr in grossem iamer vñ
laid.
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii
junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant
Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mit
wuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.376 1.000
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000