Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.887 (higher is better)
Average character error rate (CER): 0.126 (lower is better)
View raw result from o3

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Vnd ein pferdt die mir und
minen knechten wider hulffand
So was maney tag weg
danne daz wir machend
und vilent die knechte gut
und vil in nutz unssers arb
u
nd die pferdt was ny die
radt und was z mol im grossem
nebel dz wir kunig ges
pandt
und als wir grosser arbait dann
wir ze mitten tag zu sant
Cristoffel uff den berg So
so sach ich die b
ücher dz gar
nit herrig
wopay zu sunne
die in stür eden geden hant
so swind minen vatter fliegen
wopay ich in dem snein
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
v
nd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wopen och in dem einen
0.774 0.252

Result for image_10

Average fuzzy score: 0.500 (higher is better)
Average character error rate (CER): 0.500 (lower is better)
View raw result from o3

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ Jerg vo Bappenhein
Itꝰ her Buppelin vom stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ Jerg von Slieben
Itꝰ henÿn quast
0.000 1.000

Result for image_11

Average fuzzy score: 0.832 (higher is better)
Average character error rate (CER): 0.171 (lower is better)
View raw result from o3

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich von Einſtetten
eyn bruͦder
Gunrath den p
farirer
nb Sam p
fister von
mai
ntz
Hans laſs tanczain ze mantz
Hans pfarens enden
Heinrich von Niſſ
enguarde Aich
Heinrich ſmiter ſ
in knecht
von Dorn nb:
ſa
gtland
Ludwi
g von Eispach
Hans vay der Gruben
Hans Nannar
heinrich von külstetten
ein bar
fuos
Cuonradus der schriber
vs dem sti
ft von
me
ntz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wiss
engerode
Rittꝛ
heinrich smit s
in knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.663 0.342

Result for image_12

Average fuzzy score: 0.863 (higher is better)
Average character error rate (CER): 0.155 (lower is better)
View raw result from o3

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vß dem land ze
magdeburgt
Cunrat tobe nutt
Dietrich libzow
peter in barfuß priester

Vß Lüttringen
Jobst von Harzkurt (Rett
Sebastian die
mistraut priester
Johan von Basy zu Einet

Vß schleszen land
Jakob Nekinger
Hans Nudelt
Heinric lang
Inß brosburg
Hans von Genfelt ain priester
Jant Johann durain
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priest
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo
mirecurt priest
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein pristꝛ
sant
Johans ordens
0.725 0.310

Result for image_2

Average fuzzy score: 0.375 (higher is better)
Average character error rate (CER): 0.651 (lower is better)
View raw result from o3

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gottes im fronaltar die befind
wir gantz vnd ein stück von
dem heyligen fron wiz so
lit vff der brust und ein
bein von sant marien madeleine
vingerrot vff samstag nach
dem ostertag die do
was der
ander tag. dis abend do
fuͤrent
wir gen messen do
legten sy in Punt Passan
thetten in hundert jar lanng.
Sie hersoͤ do gesthürgn in einem
altar. Die pfar haben wir und
sieht man noch bestendiglich
im land und sul wil die
nagelbare auch wunders vyl
Dem pfwëntzig pring ß
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.750 0.302
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.192 (higher is better)
Average character error rate (CER): 0.828 (lower is better)
View raw result from o3

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text vnd die pest ist bi ain mil
weit vnd ist der venediger
ist von t
ürsburg unz gros
modung sint et mil vnd
ist och ain gůßpar stat vnd
ein ec
zsprung vnd ist ots der
venediger
ze modun
wachter des rumanien vnd
ist och de in heiligen gesefft
do bi ij milen
Candia ist von modung bis gay candia
creta sint xx mil vnd candia
vinum ist ein grob pest unz mil
malba list vnd wachet der
riem nachdass do vnd ist ost
der venedier
Rhody ist von candia unz gay rodis
sint xx mil vier aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein h
übsch stat vnd
ein ert
zbistum vnd ist och
der venediger
ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.769 0.312
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.869 (higher is better)
Average character error rate (CER): 0.149 (lower is better)
View raw result from o3

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der graf von Swarzburc
vnd hæt all ander ritter
vnd thet woltey mit
im sey ir was enthalten
ritig vnnamener gewalt
den lantgr
unt vnd gant
den hercza
pfsen ritter
die zwey nieman gery
mir mir ochs oder er
patory wolt vnser nit
denn es der welt mit
der walt vnd also mög
wir mit grossem vnwillen
samed
pfänden dey wir
mit den herren vnd
och den brüdern gar
vnd hattend ze Cyprn
wasset es g
ut
Der grof von swartzburg
vnd s
ust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also muosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zi
pren
wachset dz z
uker
0.700 0.321
[18r] addition1 Saccharum in Cypro nascitur Saccharu
in Cypro
nascit
0.906 0.125

Result for image_5

Average fuzzy score: 0.346 (higher is better)
Average character error rate (CER): 0.680 (lower is better)
View raw result from o3

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Sye nach got marÿ in die
krypt des heiligen graubs
Si ez ain altair ny gemacht
vnd gemahet vber das heilig
grab so mueß sterne gravꝛ
got vnd mensch in gelichem
vnd do das upstandÿ an dem dritten tag von
ÿm tod
Nÿr ding vnd der compost
so ist ain tag und da sin
si ain
klein rad da pꝛant
unser grab so wirt das mittel
der welt
Nÿr nachgeschribey sand di
die pilgrÿrhet schwentdg des
tempels in stal say
Nÿr das quo des text ruht
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.693 0.361
[23v] addition1 0.000 1.000

Result for image_6

Average fuzzy score: 0.686 (higher is better)
Average character error rate (CER): 0.391 (lower is better)
View raw result from o3

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Item patrony ij grosſen
die sy ge
wunt
Item emaß ein grosſ
Item ſoffen
pallen j grosſ
kurtzer man ein gelay
Item dem tempel n grosß
Item den tempel ij grosß
Item Betalyen ein grosß
Item sant
Johann ein grosß
bruder ze kuntlicher abnis grosß
Item wider in den tempel in grosß
Item ze Bampodany n grosß
do bey ſPley ze laÿ
Item aber ein grosß ze guriſt
Item aber ze igempal ij grosß
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ
wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den tem
pel iiii
gros
Itꝰ ze dem
Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze curtisig
Itꝰ aber ze J
herusale i gros.
0.686 0.391

Result for image_7

Average fuzzy score: 0.572 (higher is better)
Average character error rate (CER): 0.500 (lower is better)
View raw result from o3

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Oet söllicher trag gen falzun In der war 2
zeŋ ruff an den
balnwng herdis uz
der sibenzÿtige trag hattÿ, und
zeÿ selbed vff ny den abſſendlich
dag den rechte ans ſtable, wenn
tag ſeund ſend an den gloſſa
Sonnag oder de nÿ der abten vn
anzege tag der maezÿ vn
den klaren vnd rechte gotte helsige
ges
p an den spreden der da nÿ
der bescheiden gelten sla folgen war
wendt in gemainen ſe nu folge war
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol sch
ön
vn stönd daruff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vnser
behalter Jhs Xps vff fas
0.467 0.657
[62v] addition1 Venet:
Due:
palatin
mansi:
Cumi:
Veneti
Ducis
palatiu
magnifi
cum
0.676 0.344

Result for image_8

Average fuzzy score: 0.000 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from o3

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd kamen vff freitag nach sant
vrbans tag der do wz der erst
tag im brachmonet gon kurfon
dz ist ein schone stat mit zwen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.000 1.000
[69r] addition1 Honores Marchio
ni exhi
biti
0.000 1.000

Result for image_9

Average fuzzy score: 0.000 (higher is better)
Average character error rate (CER): 1.000 (lower is better)
View raw result from o3

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all bilgerin Ire
0.000 1.000
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000