Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.939 (higher is better)
Average character error rate (CER): 0.057 (lower is better)
View raw result from gemini-2.5-pro

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text vnd ein pferit Die mir vnd
minen knechten vber Rul
pend
Sen So was menen kein weg
Sonne Den wir machtend
vnd viehend Sie knecht vnd
vnd vil in vntz an den anß
vnd Sie
pferit vntz an die
petel vnd was ze mol ein grosse
nebel dz wir kum gepaßend
vnd alß mit grosser arbeit kome
wir ze mittem tag zu sant
kristoffel vff den berg So
do sach ich die burger So gar
vil gerren wopen zu pont
die ir fúr Solrin geben hand
So seind mines vatterß flugen
wopen ouch in dem einen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.877 0.113

Result for image_10

Average fuzzy score: 0.614 (higher is better)
Average character error rate (CER): 0.400 (lower is better)
View raw result from gemini-2.5-pro

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text It zu dem ersten Mitz herin graff albrecht vo
lomhalt
It
her ludwig lantgraff von lichtenberg
It graff ott von hennenberg
It gra
ff Bernhart von Regenstein
It graff gottfrid von Ratznloch
It gra
ff gebhart von Mansfeld
It graff ludwig von Nuburg
It
her Gottschalk von pless
It her Gerhart von trugino
It
Jerg Bappenheim
It her S
uppin vom stein
It lut
z von Rotenhan
It
Jerg von Waldenseff
It Gy
lprant von thungen
It
Jerg von Slicken
It heni
n quast
It zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ
her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ gro
ff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ gro
ff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ
her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ her B
uppelin vom stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿ
lprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿ
n quast
0.841 0.200
[73r] addition1 bedspanchin 0.000 1.000

Result for image_11

Average fuzzy score: 0.907 (higher is better)
Average character error rate (CER): 0.086 (lower is better)
View raw result from gemini-2.5-pro

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text heinrich von külpetten
kùng barfüß
Jůnckhůb Den pfister
vß Dem stift von
mentz
hans coster comtůr ze mentz
sant johans ordens
heinrich von wissen
gardt
Ritt
heinrich smit sin knecht
von bern vb:
öchtland
ludwig von Dießbach
hans von Der grůben
hans vlinan
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissengerode
Rittꝛ
heinrich smit sin
knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.814 0.173

Result for image_12

Average fuzzy score: 0.604 (higher is better)
Average character error rate (CER): 0.383 (lower is better)
View raw result from gemini-2.5-pro

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text dem land zc
magdenburg
Cůnrat gobe ritt's
Dietrich lůbzow
peter sin barfuß prieſt's

Vß luttringen
Jakob von gartzkurt ritt's
Deſiderius de mirecurt prieſt's
Cola von bayon sin knecht

Vß golſten land
Jakob velang
H
ans Rudbeck
Heinrich lang

Von ſtroßburg
Hans von benf
elt ein prieſt's
ſant johans ordins
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
h
ans Rudbeck
heinrich lang
von strosburg
hans von bens
elt ein pristꝛ
sant Johans ordens
0.813 0.149
[93r] addition1 s
Put
0.000 1.000

Result for image_2

Average fuzzy score: 0.784 (higher is better)
Average character error rate (CER): 0.196 (lower is better)
View raw result from gemini-2.5-pro

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Selbs im fronaltar Sie plegend
wir gantz vnd ein stúck von
Dem heiligen fron crútz Dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
ringgÿrot jst vff sampstag noch
Dem ostertag Der do
was Der
ander tag Des abrellen Do
fúr
end wir von meran do
legend in sant steffans
kilchen bi hundert Der kindlin
Die Gerodio erpflug in einem
altar Die plegend wir vnd
sicht man noch besunderlichen
in hend vnd fús vnd die
nagel dar an szindes an
Dem frónentag frúg do
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die soh
end wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.882 0.098
[4v] addition1 Muran
glas
fueth
Muran
glas
hütten
0.686 0.294

Result for image_3

Average fuzzy score: 0.457 (higher is better)
Average character error rate (CER): 0.673 (lower is better)
View raw result from gemini-2.5-pro

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Vnd die jnsel ist bi cc mil
wit vnd ist der venediger
Jst von kurffuͥ vntz gen
moduͥn sind al mil vnd
ist oͧch ein guͦbspg stat vnd
ein ex
tzbisstuͥm vnd ist oͧch
der venediger ze moduͥn
wachsset der rumanier vnd
ist oͧch do bi ein heilig gestet
do bi ij milen
ist von moduͥn bis gen candia
sind cc mil vnd candia
ist ein grob jnsel vy mil
wit vnd wachsset der
hieuͥm maluasier do vnd ist oͧch
der venedier
ist
von candia vntz gen rodis
sind
cc mil wir aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein er
tzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ
von candia vntz gon rodis
sind c
cc mil wer aber
0.893 0.128
[9v] addition1 Candia Candia vff
Creta
0.522 0.625
[9v] addition2 Cyeta. Virum
M
alva
ricum
0.080 0.941
[9v] addition3 Vinum
Malua
nicum
Rhody.
Rhod. 0.333 1.000

Result for image_4

Average fuzzy score: 0.877 (higher is better)
Average character error rate (CER): 0.119 (lower is better)
View raw result from gemini-2.5-pro

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der graf von Romburg
vnd sust all ander ritter
vnd knecht wolten mit
dan sey in was enteilwagt
Recht vffgenomen gen Jacob
von Gareguart vnd hanß
von hertzenberg Vitter
Die zwen werend gern
mit mir gsin aber der
patron wolt vnser mit
beiten do er melteil mit
dan wolt vnd also mußen
wir mit grossem vnwillen
darumb begerden sey wir
mit dem
patron vnd
och den brüderen dar
vmb gattent ze zypern
wachtte
dz zuker
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zi
pren
wachset
dz zuker
0.847 0.150
[18r] addition1 Sarchani
in Cypro
naszitz
Saccharu
in Cypro
nascit
0.784 0.208

Result for image_5

Average fuzzy score: 0.391 (higher is better)
Average character error rate (CER): 0.652 (lower is better)
View raw result from gemini-2.5-pro

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text ✚ Jt So dar noch gat man in die
kappel des heiligen grabes
do ist ein altar von marmel
stein gemacht vber das heilig
grab d
o vnser herre gewesen
ist vnd montag in gelegen
ist vnd do nach
vferstanden
an dem dritten tag von
dem tod
Jtem dem vor dem
tempelo
do ist ein loch vnd stat dar
bi ein klein stein do sprach
vnser herre dz were das mittel
der welt
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab D
o vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von
vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des
tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das hus des karge riche
0.781 0.304
[23v] addition1 Dise nochgeschriben stond die
Bilger stat vswendig des
tempels in der stat
Jt das hus des vaters vide
0.000 1.000

Result for image_6

Average fuzzy score: 0.786 (higher is better)
Average character error rate (CER): 0.212 (lower is better)
View raw result from gemini-2.5-pro

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Joß dem patrony in grossem
für sin zürunt
Joß ze emaoß ein grossen
Joß
ze Jherusalem i gross vnd
kurtisig von dem eplen
Joß dem
consul n grab
Joß in den tempel ij grob
Joß ze Betlehem ein grob
Joß ze sant johans ein grob
Joß wid
er ze Jherusalem ein
grob ze kurtisig aber i grob
Joß wider in den tempel in
grob
Joß ze dem jordan ij grob
Joß ze dem spalen ze lon
Joß aber ein grob ze purific
Joß aber ze Jherusalem i grob
.
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant
Johans ein gros
Itꝰ wider
ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ
aber ze Jherusale i gros.
0.786 0.212

Result for image_7

Average fuzzy score: 0.841 (higher is better)
Average character error rate (CER): 0.165 (lower is better)
View raw result from gemini-2.5-pro

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Des selben tags gay salzburg In der wue
gay jhesus dem
balmtag der do wz
der sibenczehende tag Vnd ritten wir
gay feltkirch jhesus dem achczehende
tag gay terfis Nid blibey zwey
tag do vnd furcend an dem Gshen
Suntag der do wz der achtvn
zwenczigst tag des merczen vff
dem wasser Vo terfis gay velledig
Jhesus dem operoben der do wz der
lest tag im merczen Do sahen wir
etwe manigey sithuꝛczey Und grosse
schiff als mechtige hüser vff hohe
W wir sant marꝯo münster vnd des
hertzogey palast der ist gemalsschin
palatinuꝫ vnd daruff vil schön Vnd
magnifi vnd luedstey
kuppery die denn
ze Venedig gewesey sind Es ist
ein c
appell an dem münster So ist
der
prin in einaltar gewasset So
diser behalter Jhesus Ope vff sas
des selben tags gon falzion In der wur-
gen Itꝰ an dem
balmtag derdo wz
der s
ubenzehende tag Ritten wir
gon felters
Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd f
uorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem ostero
ben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sit
kusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd knechten wo
ppen die denn
ze venedig gewesen sind Do ist
ein C
appell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs X
ps vff fas
0.812 0.205
[62v] addition1 Veneh
Ducis
palatium
magnifi
cum.
Veneti
Ducis
palatiu
magnifi
cum
0.870 0.125

Result for image_8

Average fuzzy score: 0.502 (higher is better)
Average character error rate (CER): 0.507 (lower is better)
View raw result from gemini-2.5-pro

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Donnacht kome ir pfiffer vn
trumeter zummen heruͥß
die galley und hofierten So
fincÿ grúdcÿ die glut
kome
die windeßten pfiffer und
trumeter u
nd boͤgfenflaher
Nu hofierteÿ So ach nach ire
sitteÿ alß
ward unns gnedige
herrn und alleÿ deÿ fine vil
eer
erbotten Ist moͤndetz ge
geÿ tag fin
ent wir da Inne
U
nd komeÿ uff fritag nach sunt
Velant tag Jst da dz
krúz dz erst
tag in Brachmonat daÿ funfze
Jst ein offene rat hint zúch
geschossen der glúferÿ
ob der
rat von uff suntag daruonach
finceÿ
wir da Inne Nu uff
zinstag vor sunt vitz tag
komeÿ zu uns iij galley by z
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich
kome
die windeschen pfiffer vnd
trumeter v
nd böggenslaher
vn hofierten do och nach ire
sitten also
ward mine gnedige
hern vnd allen den sine vil
eren do
erbotten Itꝰ morndes ge
gen tag fuor
ent wir do dannen
v
nd kamen vff freitag nach sant
vrbans tag der do wz der erst
tag im brachmonet gon
kurfon
dz ist ein schone stat mit zwen
herlichen velshursern
ob der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.759 0.270
[69r] addition1 Honorius
Marchio
in exli
biħ.
Honores Marchio
ni exhi
biti
0.746 0.250

Result for image_9

Average fuzzy score: 0.512 (higher is better)
Average character error rate (CER): 0.617 (lower is better)
View raw result from gemini-2.5-pro

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu Sant erg bischoff Do selbs
Nu zangt man vns In gelta
in Sant thumÿ Do selbe Ist
Sant thÿmb houpt Die xvc
xcij Junger einer wz Ist Sant
Barbare vmb kungß Do zipern
tochter houpt Ist sant blissÿ
menÿ Ist sant andres menÿ Ist
Und sant paffumb armÿ Ist vii
xci zweÿ zen Jk Do sant appolo
nia Ist flage Wurden Ist
wust vnt uff mentag Nar sant Jossabs
wilhet Die blutige ge Oungestky fúrcÿ von
gÿ vud gall von kandia Lou fúrend an I"
ware vnser frawen wurch für die pÿstelenzi
und vns Indisperÿ Do kam zú Sub kattela
vowÿ vel fankrier fust Do wappnete sich die
vnser Die rat pfeiflut all gemeinlich Vnd
gegen Spital Nemend all bilgeren Jre
an dem heime
kauffte klaper
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor
Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.662 0.497
[70v] addition1 An zongenia
vns ach zeha
dracing
weg
xci davan sole z
weÿ zen Jk Do so
wir in
frist mich
tenteil blanpt
vn zougt ma
vns och ze ka
dia ein
win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem
kleine
Bar
fuossekloster
0.362 0.737