Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.876 (higher is better)
Average character error rate (CER): 0.155 (lower is better)
View raw result from gpt-4o-mini

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Und ein pferd die mir mit
meinen knächten wider ruft
das so was mancher könig weg
sammel das wir machend
und viell in vnz an den arß
u
nd die pferd wuz my die
r
üel und was ze mol im grossen
nebel ob wir kum ge
parff
und als mit grosser arbeit komme
jar ze mittern tag zuß prunt
hinneffel uff den berg do
so fucht nog die büeger de gar
mit herren, wospey in sone
die in stür edgen geden hand
so fünd mines natters fligen
wospey siff in dem sinen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
v
nd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wopen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.752 0.311

Result for image_10

Average fuzzy score: 0.772 (higher is better)
Average character error rate (CER): 0.296 (lower is better)
View raw result from gpt-4o-mini

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jeſt zō dem eſten Miſt beid gross alſo ſtaht vo
anſat
Jeſt der hert hāding von graſp von huſtenberg
Jeſt der künig von ſt. gallenberg
Jeſt der graff Bechland von Loſtenſtein
Jeſt der graff ſtifſt von haſſelbad
Jeſt der graff ludwig von ſpeyer
Jeſt der gottſtall von ſt. paulen
Jeſt der hert von ſt. ungarn
Jeſt der hert von ſt. baſſen
Jeſt der hert von Rotenſt
Jeſt der graff von waldenſt
Jeſt der hert von thüngen
Jeſt der graff von ſtaden
Jeſt der hert vo
n quāt
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ her Buppelin vom stein w
z vorhin Ritter
Itꝰ lutz vo
m Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿl
prand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿ
n quast
0.544 0.592

Result for image_11

Average fuzzy score: 0.822 (higher is better)
Average character error rate (CER): 0.194 (lower is better)
View raw result from gpt-4o-mini

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich von Eißfetten
i
ng durch
zumal das der pfäffter
vß Sam spüf von
münz
Hans lässe tamtürein ze manz
pant pfaffs süden
Heinrich von Nüßin
gerade

Heinrich mit spüf in Ence
g

vß Bern vß
österreich
Ludwig von Eißpach
vß von des grieben
Hans Neman
heinrich von külstetten
ein bar
fuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wisse
ngerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.644 0.388

Result for image_12

Average fuzzy score: 0.851 (higher is better)
Average character error rate (CER): 0.170 (lower is better)
View raw result from gpt-4o-mini

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vß dem land ze
maztelüngt
Einvvat tobi zutt

Dietrich liebzaw
petter dis barfuss priß

Vß luttringen
Notiz von garzstunt (Patt)
Esbärinid de mintraut priß
tola von gaisay sin eynucht

Vß gölffen land
Jakob Neßung
gans judect
Heinrich lang

Vß proßburg
gans von benfit ein priß
tant jagons dreyß
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich lieb
zöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ

Desiderius vo mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.703 0.340

Result for image_2

Average fuzzy score: 0.321 (higher is better)
Average character error rate (CER): 0.713 (lower is better)
View raw result from gpt-4o-mini

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gëllß im prōnatalen Sie bēfind
hir gā
ntz und am finst vor
den begēgungen frōn vui
tz
zī hīr er vff ne brūft und en
bēn von pīnt marien mādālen
vīngrot. Vff samptag nach
den sterbend der bō
was
ander tag.
Dīß abrelīch. Do
frē
nd wir gōn messig. Ēs
lēgēn in pīnt der frūnd.
Ȧttēngen in frūndt der frūnd.
Die frēndlich cāptīvō in emān
alzā die pī
nd wīr und
sīcht man noch rechtbēndlich
in hānd und fīr und die
māgībare ōr wīndes ōv
Dēn pīmentīg frīg.
Selbs im fronaltar die sohend
wir ga
ntz vnd ein stück von
dem heiligen fron crü
tz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuore
nd wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohe
nd wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.642 0.426
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.170 (higher is better)
Average character error rate (CER): 0.859 (lower is better)
View raw result from gpt-4o-mini

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Und die pfeile sp bi an milt
vnd ȝe der vndeyger
ſt von eynfurch vng gung
ȝundig ſind at milt vnd
ſe ſog an gÿsſpat ſtat vnd
die erxſtburȳ vnd ȝe ſt
die vndeyger
ze modyn
waſſet des rumanian vnd
ſe ſog de ſi ein heldig geſſet
do bi ſi milen

Candia
ſt von modyn die ȝe candia
ſind an milt vnd candia
vinum ſe eingroß muſt vng milt
malha ſit und
waſſet der
rumaniaſſen do und ſe ſt
der vndeyder

Rhody
ſt von candia u
ntz gȯyroth
ſind an milt vnd aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kur
fun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modu
n
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia v
ntz gon rodis
sind ccc mil wer aber
0.679 0.434
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.809 (higher is better)
Average character error rate (CER): 0.231 (lower is better)
View raw result from gpt-4o-mini

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Das groft von Pfūarenburg
vnd se
pt all ander ritter
vnd thoct woltey mit
vnd ey in was entlich
vritig vngenomen gā.
Der hert vnd gantz
vnd leht das vicht
Die zwey wirtend gery
mit mir gēn, oder sie
kleyng, so der mētcil mit
Das wolt vnd elp mißan
wir mit großen an willy
samm pflegen, der wir
mit dem harnoy vnd
etg der brüderin, dar
und hatz und zippen
wagtet ʒ züket
Der grof von swartzburg
vnd s
ust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von haregurt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also muosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz zu
ker
0.657 0.401
[18r] addition1 Sacchari in Cypro magister Saccharu
in Cypro
nascit
0.769 0.292

Result for image_5

Average fuzzy score: 0.648 (higher is better)
Average character error rate (CER): 0.455 (lower is better)
View raw result from gpt-4o-mini

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Oft san nacht got mary in die
lycht des heiligen gr
u
Zü: ie san alts vnswer
tanz gemachet vnd das gheitig
vnd so wirt den gewer
got vnd moenigst in obelg
vnd so den vafersand
in den vrittern tag von
dem tod

Myn ding von dis compot
bi sin
klein fam, das frawg
unsers grefz ȧn war das mittel
der welt

Af der nogtegepfirb, sandi
si bilgräfett so wendich das
compot myr der pfat

Dez das guo des egtig vnde
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.648 0.455

Result for image_6

Average fuzzy score: 0.647 (higher is better)
Average character error rate (CER): 0.453 (lower is better)
View raw result from gpt-4o-mini

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Daz ist der patron in großen
für sin beginnung
das er emáß ein groβen
tempel ofen palen j groβen
würtzli
ch von sinen selb
in dem tempel n groβ
das er tempel n groβ
das er betalgem ein groβ
das er fante jobang ein groβ
das er cummtlich über groβ
vnd widder in dem tempel in
groβ
das ze emandstung von groβ
vnd den spalten ze lang
das aber ein groβ ze gußt
das aber ze 19
. tempel j groβ
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze
betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze curtasig aber i gros
Itꝰ wider in den
tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ aber ze J
herusale i gros.
0.647 0.453

Result for image_7

Average fuzzy score: 0.256 (higher is better)
Average character error rate (CER): 0.800 (lower is better)
View raw result from gpt-4o-mini

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Daz pillen tragt oyf falkyn,
Fyr der warz
vnd fōr am den balntung derds vnd
daz silberzefende tag vatter, vnd
oyf pillen tragt oyf den atzefende
tag, vnd terke vnd blable;
wen tag vnd fruend an den vogleyn
dize daz ezz der adt vnd
vrenzert tag der mar
cz vnd
den walzer vnd treft oyf velsyn.

Verm. k.
Duz.
Hergzog palat der spz.
palatin.
und ein vnd lauft.

Cum.
36. Newe offgrueff
find ich capett an den nünfzeh
jahr, der prynig eintracht gewaffet,

D. Wilser bestalter 1460. E
pp. Off das
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen
palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd
knechten woppen die denn
ze venedig gewesen sind Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vnser behalter Jhs Xps vff fas
0.511 0.601
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.384 (higher is better)
Average character error rate (CER): 0.698 (lower is better)
View raw result from gpt-4o-mini

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Jarnatzt konig in pfister zu
trummert zummen, he
ws off
die grä
ber und hopfen da
finer gschende, die hat
konig
die hunderter gschende vnd
trummert,
konig, blüffn lüder.
Nur hopfentzy do aff nach
wir
sitz, dō ward nune gschende
her, vnd alle, die sin vnd
egelbätt, jn hunder gschend.
Wir da dann
Das
koning aff freitag nach sint
vnd mer die briedmannst ofen hufen
Ich heft ein pfister pat mit zwey
redessen, das hertag gerundt
fur den aff dann, wie konig, kuft
hintern, war sint, das tag
koning zu und in
gallen by 20.
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die
windeschen pfiffer vnd
trumeter vnd
böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vrbans tag der do wz der erst
tag im brachmonet gon
kurfon
dz ist ein schone stat mit zwen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.608 0.522
[69r] addition1 Honory Marceio Honores Marchio
ni exhi
biti
0.545 0.571

Result for image_9

Average fuzzy score: 0.275 (higher is better)
Average character error rate (CER): 0.807 (lower is better)
View raw result from gpt-4o-mini

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Von den erdgewaltigen Doß
da zent man und die gläu
be
in dem hertigen Doß. Der
ist hert und goupt die de
legende.
Jn dersten
dörfer ein
kunig und zwey
tüfften goupt, das mit
bleichig
war, das stant on der wüsten
. Vnd der vey zeig das die
nuzung. Das stant der
wüsten, das stant das jn
der wüsten, das stant das jn
der wüsten. Das stant das jn
der wüsten, das stant das jn
der wüsten, das stant das jn
der wüsten. Das stant das jn
der wüsten, das stant das jn
der wüsten.
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer
wz Itꝰ sat
Bar
bare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor Sant
Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch f
ür die insel ze zi
pern do
kam zuo vns ein kattela
nier fust do
wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.469 0.664
[70v] addition1 In der grauen vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.082 0.950