Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.895 (higher is better)
Average character error rate (CER): 0.108 (lower is better)
View raw result from gemini-2.0-flash-lite

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Und ein pferit die mir vnd
minen Energten über Gulfand
Sen to was nienoxy lang weg
Senmie des vir machtend
vnd vichand sie Encthe dut
vud vil in wutz an den and
vnd die
pferit autz an die
petitel and was ze mot en groffe
nebel Is win kun gepacient
vnd als mit grosser arbeit kome
win ze mittem tag zu fant
kripoffel off Say Barey Do
Do fach ich sie bucker Do jar
vil Herren wopey zu spont
Die in ftir Edm gebey hand
To stund mince wattere pligay
wopen ach in sem emay
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wopen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.790 0.216

Result for image_10

Average fuzzy score: 0.864 (higher is better)
Average character error rate (CER): 0.142 (lower is better)
View raw result from gemini-2.0-flash-lite

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jof zu dem expan Ming Heind graff allbracht vo
ombhalt
Jof Ger ludwig lanegraf von huchtenberg
Jof groff ott von Remienberg
Jof groff Bernhart von Negenstein
Jof groff gottfred von Rahenloch
Jof groff orlhart von Mansfels
Jof groff ludwig von Ruburg
Jof Ger Sophalt von Pleff bedpanctind
Jof Ger hand von twegons
Jof
Bappemhein
Joffer S
uppecting von perm wz voclyn Rutter
Jof lug von Rotenham
Jof Jexg von Waldenflff
Jof Gylprand von thungen
Jof Jexg von Olicben
Jof beni
n quat
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ her B
uppelin vom stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿ
n quast
0.728 0.284

Result for image_11

Average fuzzy score: 0.837 (higher is better)
Average character error rate (CER): 0.154 (lower is better)
View raw result from gemini-2.0-flash-lite

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heimrig von Eulpetten
kin barfub
Jumaſfub den poriber

B Dam stift von
mintz
Gamb coſti tamarir ze manz
pant pofans ordens
Heimrich von
wiſſengarde
kit
Heimrich frutt fis Enceft

Noy Bern vb:
ſettland
ludwich von Dieſbach
gamb von der grüben
gamb Vlman
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin
knecht
von bern vs oechtland
lud
wig von diesbach
hans von der
gruoben
hans volman
0.673 0.308

Result for image_12

Average fuzzy score: 0.451 (higher is better)
Average character error rate (CER): 0.589 (lower is better)
View raw result from gemini-2.0-flash-lite

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text VB dem land ze
marghlindung
Cunrat gobe Pitt
Dietrich hibzow
peter din Barfuß spriest
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priest
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein pristꝛ
sant Johans ordens
0.352 0.766
[93r] addition1 VB Euttringen 0.000 1.000

Result for image_2

Average fuzzy score: 0.688 (higher is better)
Average character error rate (CER): 0.364 (lower is better)
View raw result from gemini-2.0-flash-lite

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Belbes is fronaltar Gie Behend
wir gantz and am fick von
Das Geiligin fron crits d'
hit is off is brust und im
bem von spent marien madaline
kinggrott of roff pamtag noch
Dem oftertag der Do
was Do
ander tay Dib abrellen Do
furend wir yoy masay Do
gefend in put # proffim
Puttre petitfen bi hundert der Endling
Die Gerades copflug in emem.
alwar die prend wir and
sieht man noch befterdenlich
in hand and für and die
nagel dar ay Mandes ay
Bem funentag frig Do
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.754 0.257
[4v] addition1 Muray glas Muran
glas
hütten
0.621 0.471

Result for image_3

Average fuzzy score: 0.168 (higher is better)
Average character error rate (CER): 0.854 (lower is better)
View raw result from gemini-2.0-flash-lite

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Und Eie pusel ist bi ar mil
wit und ist der vencerger
Joch de
n kürfen auz yon
moden find al mil and
ft och sim Gübreg tar and
For vencer
ger ze matery
and ist sty
wartyper der rumanier ved
tut sch do bi ein Geilig Geppet
los bi is milen
Candia oh dan modern bas gon
Creta. find ar mil and candia
Vinum ist ein groß
zesil on mil
Mala
wit und wächſet Ser
Vicum maluation Do und ist acty
Serenedice
Rhody. If von tons camera miz you rodie
find ar mil wir aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ vo
n kurfun vntz gon
modun sind ccl mil vnd
ist och ein h
übsch stat vnd
ein ert
zbistum vnd ist och
der venedi
ger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.670 0.416
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.840 (higher is better)
Average character error rate (CER): 0.180 (lower is better)
View raw result from gemini-2.0-flash-lite

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Dar grof voy Ponzburg
and sest all ander vitter
and Encent woltcay mint
Dar Een in was entert
Piach genomen Gia Ja
kab
boy Gat
egunt and Gank
Sie z
uey werent giry
mer mit gehin aber wir
patroy wort omfor
beiten Ds ar mehteil mit
Dar wols and alsß musen
wir mit grossem Unwilley
Lamia
pherday day wir
mit Day Parvon And
seg day bridenim Far
wacqué e
z zuker
Der grof von swartzburg
vnd sust all ander ritter
vnd
knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von har
egurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zi
pren
wachset d
z zuker
0.657 0.374
[18r] addition1 Sacharii
in Cypro
nascit
Saccharu
in Cypro
nascit
0.863 0.167

Result for image_5

Average fuzzy score: 0.694 (higher is better)
Average character error rate (CER): 0.348 (lower is better)
View raw result from gemini-2.0-flash-lite

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text I of
Dar noch got may in die
Chy
uel Ecs Kiligen grabes
Do ist ein al
kaar von marmel
Rain gemacht ber Eat Garlig
grab Do viser heure gewever
got und money in gelegen
It und Do Non perpanden
ay soy evittay tay voy
bom tod

Do ist sing lacy and stat gan
bi din klám stán so sprch
pomper Ez
Ek welt
por Gere Iz were Sas mittel

Ipe nottgefchribey frondie
Die Bilgertat ofwendig Ecs
tempels in Sas stat
Ipe Das quo Ecs Enttigs vide
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.694 0.348

Result for image_6

Average fuzzy score: 0.686 (higher is better)
Average character error rate (CER): 0.322 (lower is better)
View raw result from gemini-2.0-flash-lite

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Jof Deam patron in groffen
fier sie zeran
ch
Jof ze emas ein graffen
Jof ze Gerupalen i groß
Curtisty von Eiy eplan
Jof Ecm conful N groß
Jef is des tempel ij groß
Jef ze Betlaffem ein groß
Jof of pant solfans ein groß
Jof wider ze Germplary ein
groß ze cunctisig aber i groß
sch wider in den tempel ning
throß
Jof ze Ecm jordan ij groß
Jo bay cpley ze toy
Jof aber ein groß ze puisies
sich aber ze shemales groß
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant
Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tem
pel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ aber ze J
herusale i gros.
0.686 0.322

Result for image_7

Average fuzzy score: 0.324 (higher is better)
Average character error rate (CER): 0.698 (lower is better)
View raw result from gemini-2.0-flash-lite

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Deb selbey tags gay fazion In der were 2
gay yefoy Sey bahntorg Icrdo wz
Der r
ubenzelfende tag frutey wer
gay feltes yef oy Sey adzeifende
tag gay texfis Nid
blafey qusey
tan so mand friend an dem Goljen
sompong Sex do wz der auftion
zwenzyget tag deb merxgey vff
Dom Waffer Vo texfis gay volledig
yef oy Sey opxrober Der do wz der
tag tagin merxgey Do foley wir
ctwe manngey f
itkurey Lund grofe
pff als su
ceftige Guiter seg polje
Venck
wow faut mary mimper vud Ib
Ducis Gertsagay palap Iee's a gemesfhing
palatineen pond daruff vill Ghern Vuter
mahnisi aud lucahtey Avs
ppay Die Demy
cum.
ze Venedig gewesen find des yt
kiy
Cappell ay Huy minper Fort
der poiy iy einkalten gewaffer Se
Dieser behalter The Eye vff fas
des selben tags gon falzion In der wur-
gen Itꝰ an dem
balmtag derdo wz
der s
ubenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd f
uorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem ostero
ben der do wz der
lest tag im mertzen do sohen wir
etwe manigen s
itkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind
Do ist
ein
Cappell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs X
ps vff fas
0.647 0.395
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.496 (higher is better)
Average character error rate (CER): 0.521 (lower is better)
View raw result from gemini-2.0-flash-lite

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Forenarts komme in pfiffer den
zummery Horn off
Die galley Land Roflenten Jall
fimey grüdey Die glut
koma
Die omde
ptjen pfiffer vnd
txmmmmster ca
nd begefenplayex
Nu hofiertey to ach nach ive
fittey
also waed mune queduc
Reed and alley day fms
wit
xeꝛꝛe
rboteꝛy Jff moendeb ge
tay fucent
wir da denne
And Rami
ky coff freitag nachts sont
Axbome tong Sek do nas dat cost
tag iny
Jff yt ein affone pat hint zuvch
geflossen
fat con
Finey wir da denne Nu
Nar font Nuty tag
kachen zu ande in galley
by χαρ
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich
kome
die windeschen
pfiffer vnd
trumeter v
nd böggenslaher
vn hofierten do och nach ire
sitten
also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent
wir do dannen
vnd kamen vff freitag nach sant
v
rbans tag der do wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit z
wen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.608 0.456
[69r] addition1 Honores
Marchio
in exhi
biti.
Honores Marchio
ni exhi
biti
0.881 0.107

Result for image_9

Average fuzzy score: 0.265 (higher is better)
Average character error rate (CER): 0.810 (lower is better)
View raw result from gemini-2.0-flash-lite

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text wn mcxgbapfoff So
din zangt man aus den Gentin
in dam thun da ſel
beh
Font thiytub Hiitus Goupt Dev
kerij stinger enter niz feffit
Herbare emo kungs es zupern
thefitex frompt Jef finit fillefijay
on zongtime wery sof sant des one of
ciy way
nage and faut poffems areny soch hon
wir ng fületht mien
Hentcil Glangt
Laurent of
Jenteng var fant Johands.
Angeftey furcy wir
Sy kandia Este fukend any gr
gezi
wake wa firmitwinch für sie juft ze bi
med aus Indiepery do kang
wongay Vabitantince ferst do ispite fich dic
dire prefiflet als gemembe
gegen de piral amend all belgerig pre
Snuffle Elayter
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer
wz Itꝰ sat
Barbare eins kungs vo zipern
to
chter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor
Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.529 0.621
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000