Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.889 (higher is better)
Average character error rate (CER): 0.107 (lower is better)
View raw result from gemini-2.5-flash-lite

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text vnd ein pferit die mir vnd
minen enertgen vber Rulpend
Son So wab mencky ein weg
Semme
Den wir machtend
und viehend Sie Enertgt Snd
vnd vil in vntz an
Den vnd
ond Sie
pferit vntz an Die
petel vnd wab ze mol ein groffe
nebel So wir kum gepaussend
vnd alſo mit groffer arbeit kame
wir ze mittem tag zu Sant
Einroffel vff Say berg So
Do fach ich die Bücher So jar
vil Gerren wopay zu pone
Die w ſuir Solgen gelben band
So ſaint minek vatter Pligen
wopay ach in Sem emeng
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die
pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.779 0.214

Result for image_10

Average fuzzy score: 0.852 (higher is better)
Average character error rate (CER): 0.142 (lower is better)
View raw result from gemini-2.5-flash-lite

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Iff zu dem eepsten May beid graff allbeantt vo
lombalt
Iff Herr Lud
wig lantgraff von Fuchtenberg
Iff graff Ott von Riemenberg
Iff graff Bernhart Von Negenstein
Iff graff Gottfrud Von Ragenlach
Iff graff Echkhart Von Manfelt
Iff graff Ludwig Von Fuburg
Iff Herr Gottfall von Pleff bedspanchd
Iff Herr Hans von twegöro
Iff graff
Bappemhein
Iff Herr R
uppdin von pomstein woz Vortlyn Rutter
Iff Hug von Rotenham
Iff Hug von Waldershoff
Iff Gylprand von Thungen
Iff Hug von Glucken
Iff Henij
n quaft
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bed
panchn
Itꝰ her hans von turgö
w
Itꝰ Jerg vo
Bappenhein
Itꝰ her B
uppelin vom stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ Jerg von waldenfelss
Itꝰ hÿl
prand von thuongen
Itꝰ Jerg von Slieben
Itꝰ henÿ
n quast
0.704 0.284

Result for image_11

Average fuzzy score: 0.855 (higher is better)
Average character error rate (CER): 0.144 (lower is better)
View raw result from gemini-2.5-flash-lite

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinricg von Eülzpach
key barhub
Cunradus den papst
N B den pifft von
mentz
gans loßte tamein ze mong
Sant johans ordens
Heinricg von wiffengarde
Riits
Heinricg fmit fin Encofte
Von berry vb:
oftland
Ludwig von Dießbach
gans von den grubien
gans Niman
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin
knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.709 0.288

Result for image_12

Average fuzzy score: 0.887 (higher is better)
Average character error rate (CER): 0.109 (lower is better)
View raw result from gemini-2.5-flash-lite

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text VB dem lande ze
magklenburg
Cunrat gobe ritt
Dietrich liebzow
peter sin basfuss pries
VB lutringen
Jakob von Garzkurt ritt
Defiderius de miricurt pries
Cola von Bayen sin eucate
VB golfen land
Jakob Neltang
H
ans Ruder
Heinrich Lanet
Den vorostburg
Hans von Senf
elt ein pries
Hans
Jagamb dr Sairb
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
h
ans Rudbeck
heinrich lang
von strosburg
hans von bens
elt ein pristꝛ
sant
Johans ordens
0.775 0.218

Result for image_2

Average fuzzy score: 0.246 (higher is better)
Average character error rate (CER): 0.757 (lower is better)
View raw result from gemini-2.5-flash-lite

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] folio 21 0.000 1.000
[4v] text Selbe im fronaltaꝛ Sie beſend
W
ir gantz und em ſinct von
Dem heiligen fran witz Dz
hit in uff in bruſt und em
bern von pant marrien madalene
vuggt rot Joff Jampftag noch
Dem oſtertag Der Do
was Der
ander tayt Dib abrelten Do
Muray furend wir gay meran Do
glas ligend in pant # paffinb
Juetta, Kidtag bi hundert Der bindin
Die Geradso exſting in emem
altar Die pßend vum und
ficht may noch beſterdenlich
w. hend und für und die
nageldar ay apinder ay
Dem fwmentag fridg Do
Selbs im fronaltar die sohend
w
ir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.739 0.272
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.197 (higher is better)
Average character error rate (CER): 0.820 (lower is better)
View raw result from gemini-2.5-flash-lite

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text vnd Die puzel ist bi co mil
wit vnd ist der Venediger
yof von Euefuy vng yoy
moduy find at mil vnd
yt ocf ein güßpfar vnd
ein ex
tzifung vnd ist ocf
der Venediger ze moduy
wachtet der vumanier vnd
to ocf Do bi ein geilig Gespet
lo bi ij milen
Candia yof von moduy bis gay candia
Cycta. find ar mil vnd candia
Vinum yt ein grob puzel vy mil
Malba wit vnd wachtet der
vicuum. maluafier Do vnd ist ocf
der Venediger
Rhody. yof von candia vng gay rodis
find ar mil wir aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vnt
z gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun

wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vn
tz gon rodis
sind ccc mil
wer aber
0.786 0.279
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.841 (higher is better)
Average character error rate (CER): 0.147 (lower is better)
View raw result from gemini-2.5-flash-lite

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der graff von Rurtzburg
vnd fuff all ander ritter
vnd vncoff wolten, mit
Dar Sey in was entweyl
Richy vffgenomen ges. Jacob
von Gareguart vnd gant
von hertgenßbeig ritter
Die zwenx werend gemy
mit mir gefin aber Sex
patroy wolt vnfer mit
Beiten So Sy meltteil mit
Dar walt vnd also muſen
wir mit groſſen Vnwilley
Samna pgerden Sey wir
mit dem patroy vnd
och Sey brüderen Dar
vmb garent ze zypren
zwaſſer Sy zuter
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz z
uker
0.764 0.234
[18r] addition1 Sarchani
in Cypro
naskiz
Saccharu
in Cypro
nascit
0.760 0.208

Result for image_5

Average fuzzy score: 0.388 (higher is better)
Average character error rate (CER): 0.609 (lower is better)
View raw result from gemini-2.5-flash-lite

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text ⸗Jsf Jar noch got man in Die
Ca
pel des Heiligen grabes
⸗D ist ein altan von marmel
Stein gemacht vber Das heilig
grab So vnser Herre gewesen
got vnd monpen in gelegen
It vnd do Nay vffstanden
an Sonten dritten tag von
Semy tod
⸗W) Semy tor Sies rempels
⸗D ist ein loeg vnd stat Sann
bi Siner Elen Stein So Sany
vnser Herre So were Dab mittel
Sers welt
⸗D) Sies notgeschriben Scond Die
Die Pilgerstat Sffwendig des
tempels my Das stat
⸗D) Das q
uo des Sntes vnde
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tem
pels in der stat
Itꝰ das hus des karge riche
0.776 0.217
[23v] addition1 0.000 1.000

Result for image_6

Average fuzzy score: 0.771 (higher is better)
Average character error rate (CER): 0.241 (lower is better)
View raw result from gemini-2.5-flash-lite

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Iof dem patron iij groſſen
ſi
ve ſin zemund
Iof ze emad ein groſſen
Iof ze Ierufalem i groſſ
ſurtig vor din eplen
Iof dem
conſul i grob
Iof in dem tempel i grob
Iof ze Betlagen ein grob
Iof ze ſant
Joſſan ein grob
Iof wider ze Ierufalem ein
grob ze curtig aber i grob
Iof wider in dem tempel in
grob
Iof ze dem Jordan iij grob
Iof ſey apelen ze lon
Iof aber ein grob ze purifict
Iof aber ze Ierufalem i grob
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tem
pel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ a
ber ze Jherusale i gros.
0.771 0.241

Result for image_7

Average fuzzy score: 0.335 (higher is better)
Average character error rate (CER): 0.696 (lower is better)
View raw result from gemini-2.5-flash-lite

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Des felben tagh guy falzing In der wun
der r
ubenzelfende tag ritter wir
g
uy feltzeß yof my dem adzelgende
tag g
uy texßß. Nud blibey zuwey
tag so nud fiirend ay dem Gofhen
Sumpag Sex do wtz der adt
zuwengzet tag des mergen off
dem waffer So texßß guy velledig
Jof my dem operobey Der So wtz der
leßt tagin mergen Do Johey wir
etwe manigen fithurgen Lud grof
pff als m
echtige güßer saßß
Vench. wun fant maro minfer nud S
Ducis. Geerzagey palap Der yt gemuſtßßin
palation pond Saring vill Geen vuter
magnifi. Nud lincßtey Knu
pper Die Semy
cum. Ze Venedig gewefen find Is yt
E
in Cappell ay Semy minfer Sagt
der
priy in einzeltar gewaffet Sö
Nifer Beßalter yßß yßß yßß pas
des selben tags gon falzion In der wur-
gen
Itꝰ an dem balmtag derdo wz
der s
ubenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd f
uorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitk
usten vnd grosse
schiff als mechtige hüser och sohe
wir sant mar
x münster vnd des
hertzogen palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd kn
echten woppen die denn
ze venedig gewesen sind
Do ist
e
in Cappell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs X
ps vff fas
0.670 0.391
[62v] addition1 + Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.471 (higher is better)
Average character error rate (CER): 0.531 (lower is better)
View raw result from gemini-2.5-flash-lite

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Der nacht kom̄e in pffifer vn
trume ter zumen, heruꝛdꝰ
Die galley vnd ho
pferten So
finen gnidcy. Die gluty kom̄e
Die wvndtepten pffifer vnd
trume
ter vnd bögenhalfer
Nu hopfertey So ach nach
we
fittey alſo
ward m̄o gnidige
Geerd vnd alley Soy fine vil
excy e
rbotten Jf m̄oundet ge
ſey tag fincent
wir So Dom̄o
Lind hun
ky off freytag nach funt
Delome tag Jc So Roz Jzt erst
tag in
baudtmonat Soy funcfon
Jst ein affone pat hint z
wey
feclioffen Seſſlufpery ob Jzt
ſat von off funrtag Downd
fintey wir So Dom̄o Nu off
finſtag vor funt nitz tag
ſomey zu und in galley
by zop
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die windeschen
pfiffer vnd
trume
ter vnd böggenslaher
vn hofierten do och nach ire
sitten also
ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent
wir do dannen
vnd kamen vff freitag nach sant
v
rbans tag der do wz der erst
tag im brachmonet gon
kurfon
dz ist ein schone stat mit zwen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen
by xx
0.686 0.343
[69r] addition1 Honor
Marche
mi exhi
bih.
Honores Marchio
ni exhi
biti
0.727 0.250

Result for image_9

Average fuzzy score: 0.251 (higher is better)
Average character error rate (CER): 0.855 (lower is better)
View raw result from gemini-2.5-flash-lite

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu lang erge bepfoff Do felbe
Nu zaupt man vnd Do getihed
in Demy thum Do f
elbe yf
font thytm
b goupf Die 20ße
Dor
barc emb kungf Do zipcrn
Dorfter goupt yf font bleifien
vnd auch geha Nu fant paffinß anew yf nu
xob Daran folcz wczcn zeyf Do fant appols
wcx in fridr nicy Vff geschlage Lurdent yf
nacht mit vnt Vff Vuentag Var faut Josfard
tribet Die blik krug 3c Oungrchky furecy vun
ging vnd gall Pandia Lou firend ay?
Vnd gemg zng nody Pandia Lou firend ay?
Vnd auch Indicxcy Do kany Zu Sub fattela
vnvry Val fanchien fayt Do Vuspnute frot die
ny fendt tring
nu yf Die vrd geffluf all gememhof vnd
gegecy & pitall Lromend all bilgerin fue
Vn Den Name
Sauffte Elapav
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do s
elbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Bar
bare eins kungs vo zipern
tochter houpt Itꝰ sant
blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sunge
chten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.502 0.710
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000