Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.885 (higher is better)
Average character error rate (CER): 0.118 (lower is better)
View raw result from gemini-2.0-flash

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Und ein pferit die mir und
minen Energten
über Gulfand
Sen to was nienoxy long wag
Senmie des vir machtend
vnd vichand sie kucthe dut
vuo vil in wutz an den and
und die
pferit autz an die
petitel and was ze mot en grappee
nebel Is win kun je pacijent
und als mit grosser arbeit kome
win ze mittem tag zu ant
kripoffel off Say Barey Do
Do fach ich sie bucker Do jar
vil Herren wopey zu spont
Die in
trof
Edu gebey hand
To stund mince wattere pligay
wopen ach in sem máy
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wopen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.769 0.237

Result for image_10

Average fuzzy score: 0.853 (higher is better)
Average character error rate (CER): 0.154 (lower is better)
View raw result from gemini-2.0-flash

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jof zu dem expan Ming Hean graff attracht tvo
omhalt
Jof Her ludwig laneyeaf von burtſtenberg
Jof greaff ost von Remienberg
Jof groff Sevenhart von Negeſtein
Jof groff gottferd von Raſtenloch
Jof great or bhart von Mansfels
Jof grof ludwig von Ruburg
Jof Her Gotſchalt von Pless bedpanctiend
Jof Her hand von tunegons
Jof eng
Bappemhein
Joff
er Bruppecting von perm wz voclyn Rutter
Jof lug von Rotenham
Jof Jeng von Waldenſchff
Jof Gylpand von thungen
Jof Jexg von Olieben
Jof Geni
n quast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ h
er Buppelin vom stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿ
n quast
0.706 0.308

Result for image_11

Average fuzzy score: 0.851 (higher is better)
Average character error rate (CER): 0.152 (lower is better)
View raw result from gemini-2.0-flash

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heimring von Eulpetten
kin berliß
Jumades den poriber

vß Dem stift von
mintz
Gans Colli: tamarin ze manz
pant pofans ondens
Heinrich von
wiffengarde:
Riit
Heinrich smitz sin Enceßt

von Bern vß:
ößtland
ludwich von Dießbach
Gans vernay
Gans vlnay
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wisse
ngerode
Rittꝛ
heinrich smit sin
knecht
von bern vs oechtland
lud
wig von diesbach
hans von der gruoben
hans volman
0.702 0.304

Result for image_12

Average fuzzy score: 0.578 (higher is better)
Average character error rate (CER): 0.420 (lower is better)
View raw result from gemini-2.0-flash

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vß dem land ze
marglindung
Cunrat sobie Fitt
Dietrich hibzow
peter din Barfuß spriest

Vß Euttringin
Jokob von Garzkurt Fitt
Deßderinß Ve mircourt spriest
Cola von bayan in Encaje

Vß Golftan land
Jakob Nallang
H
ans Rudbert
Geinrich Lany

Frans von Benf
elt ein priest
fant jagams draaib
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priest
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt priest
Cola von bayon sin knecht
vs holsten land
Jakob vellang
h
ans Rudbeck
heinrich lang
von strosburg
hans von bens
elt ein pristꝛ
sant Johans ordens
0.735 0.261
[93r] addition1 Pur
S
0.000 1.000

Result for image_2

Average fuzzy score: 0.584 (higher is better)
Average character error rate (CER): 0.541 (lower is better)
View raw result from gemini-2.0-flash

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gelbes im fronaltar Gie Behend
wir gantz und am fick von
Dem Geiligin fron crits d'
hit is off is brust und im
bem voy spent marien madaline
kinggrott jof roff famstag noch
Dem oftertag der Do
was Dix
ander tag Dib abrellen Do
furend wir yoy meway Is
glaus ligend in punt # proffiim
petitfen bi hundert der Endling
Die Gerades copflug in emem.
alwar die pfend
sieht man noch befterdenlich
in hand und für und die
nagel dar ay Mandes ay
Dem funentag frig de
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.758 0.259
[4v] addition1 Mura
furend wir
geus
Muran
glas
hütt
en
0.410 0.824

Result for image_3

Average fuzzy score: 0.196 (higher is better)
Average character error rate (CER): 0.820 (lower is better)
View raw result from gemini-2.0-flash

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Und Eie pusel ist bi ar mil
wit und ist der venediger
Joch
von kürfen auz gon
moden find al mil und
ist och sim Gübreg tar und
ein ext
zöstung und ist och
der venediger
ze moden
warthet der rumanier und
tut och do bi ein Geilig Geppet
los bi ij milen
Candia Joch von moden bis gon candia
Creta. find ar mil und candie
Vinum ist ein grob pusel vij mil
Malua wit und wächſet der
Vicum.maluafier Do und ist och
der venedicer
Rhody. Joch von candia auz gon rodie
find ar mil wir aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ
von kurfun vntz gon
modun sind ccl mil vnd
ist och ein h
übsch stat vnd
ein ert
zbistum vnd ist och
der venediger
ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.783 0.279
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.816 (higher is better)
Average character error rate (CER): 0.187 (lower is better)
View raw result from gemini-2.0-flash

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Dar prof voy Poanzburg
und sest all ander vitter
und Encent woltcay mit
Fax Een in was entuiloft
Piach sgenomen Gia Jakab
boy Gategunt und Gank
Sie zuey werent giry
mit mir gehin aber wir
patroy wort omfor mit
beiten Ds ar mehteil mit
Dar wols und alsß musen
wir mit grossem Unwilley
Lamia
pherday day wir
mit Day Parvon And
seg day brüderem Far
wacqué e
z zuker
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zi
pren
wachset d
z zuker
0.671 0.353
[18r] addition1 Sachani
in Cypro
naskin
Saccharu
in Cypro
nascit
0.776 0.208

Result for image_5

Average fuzzy score: 0.000 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from gemini-2.0-flash

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text N/A Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das hus des karge riche
0.000 1.000

Result for image_6

Average fuzzy score: 0.723 (higher is better)
Average character error rate (CER): 0.286 (lower is better)
View raw result from gemini-2.0-flash

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Jof dem patrony in groſſen
fier sie zerunck
Jof ze emas ein graffen
Jof
ze Jherusalem i groſſ z
cuntisty von Eiy eplan
Jof dem
conful N grob
Jef in dem tempel iij grob
Jof ze betlaſſem ein grob
Jof ze sant Jofsann ein grob
Jof wid
er ze Jhermplary ein
grob ze cunctisig aber i grob
Jof wider in dem tempel in
grob
Jof ze dem jordan yij grob
Jof Eiy epley ze toy
Jof aber ein grob ze puifict
Jof aber ze Jhermplari i grob
.
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant
Johans ein gros
Itꝰ wider
ze Jheruaelem ein
gros ze
curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ a
ber ze Jherusale i gros.
0.723 0.286

Result for image_7

Average fuzzy score: 0.344 (higher is better)
Average character error rate (CER): 0.679 (lower is better)
View raw result from gemini-2.0-flash

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Deb selbey tags goy falzion In der were 2
goy yefoy dey bahntoy Sexds wz
Dex f
ubenzende tags Vittey woz
goy feltex
b gof ay dey adizelende
tags goy terfis Nind
blibey qusey
tag so vnnd firend ay dem Goljen
Sompag Sex do wz dex auftion
zweuzigst tag deb mexgey vff
dey Waffer vo terfis goy velledig
Jefoy dey oftexobey Sex do wz dex
tag tagin mexgey Do foljey wir
etwe manngey f
itkupcy vnnd groffe
pfaff als m
ecftige Guiter sef polje
Venck
ww sant marxo minster vnnd des
Ducis Gertsagay palap Sex ys gemolsthin
palatineen pond daruff vill Geen Vuter
magmifi vnnd lucahtey Avs
ppay Die Demy
cum. ze Venedig gewesen sind Is yt
kiy
Cappell ay Huy minster Fort
der
poiy iy einkalten gevaffet Is
Dieser behalter The Eye vff fas
des selben tags gon falzion In der wur-
gen Itꝰ an dem
balmtag derdo wz
der s
ubenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd
bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem ostero
ben der do wz der
lest tag im mertzen do sohen wir
etwe manigen s
itkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen
palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd kn
echten woppen die denn
ze venedig gewesen sind
Do ist
ein
Cappell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs X
ps vff fas
0.689 0.359
[62v] addition1 + Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.506 (higher is better)
Average character error rate (CER): 0.492 (lower is better)
View raw result from gemini-2.0-flash

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Forenarts komme in pfiffer den
txmmmmster zummery Horn off
One galley Land Roflenten Jall
fincy griddey Die ylutz
koma
bie omdeptjen pfiffer vnd
txmmmmster vnd
begefenplayex
Nu hofiertey to ach nach ive
fittey also
waed muhe queduc
Reed and alley day sms
wit
cexyꝛe
bottery Jst moendeb ge
gy tay fucent
wir da denne
Lnd Rami
ky coff freitag nacts sont
Arbome tong Sek do kos dat cost
tag iny bundtmonat day funfon
Ist cing Alone Aat hint zuvch
gechossen Lofflufteꝛy of Ist
fat con off funktag Dowendey
fincy wir da denne Nu off
fintag Nar font Nuty tag
koncy zu vnd in galley
by χαρ
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich
kome
die windeschen pfiffer vnd
trumeter vnd
böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do er
botten Itꝰ morndes ge
gen tag fuorent
wir do dannen
vnd kamen vff freitag nach sant
vrbans tag der do
wz der erst
tag im
brachmonet gon kurfon
dz ist ein schone stat mit zwen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.638 0.404
[69r] addition1 Honores
Marchio
ni exhi
bili.
Honores Marchio
ni exhi
biti
0.881 0.071

Result for image_9

Average fuzzy score: 0.468 (higher is better)
Average character error rate (CER): 0.631 (lower is better)
View raw result from gemini-2.0-flash

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text vn dam exg bapfoff So selbs
din zangt man aus den Gentin
in dem thun da selbeh Ist
funt thiytub Goupt Dev do de
kerij Jinger enter niz feffit
Herbare emo kungs es zupern
thefter Goupt Ist finit fillefijay
wey Ist sant andres meny Ist
und sant poffems areny Ist vn
wey zen Ist do sant appols
Uffgeflagge Laurent Ist
uff mentag var sant Johands
Be Angeftey furcy wur
Sy kandia Este furend any I
mitwirch für die juft ze bi
Indiepery do kang Zu sub fattela
Val Jarkies ferst do ispite fich die
prefiflet all gemeinhest und
monend all bilgerig fre
Snuffle Elayter
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
l
xxii junger einer wz Itꝰ sat
Bar
bare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor
Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.652 0.450
[70v] addition1 on zongtinia
nus ach zeha
ciy
way
wir in fruist mien
Bentcil Glangt
vn zougt ma
vns och ze ka
dia ein
win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.283 0.813