Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.906 (higher is better)
Average character error rate (CER): 0.092 (lower is better)
View raw result from mistral-medium-2508

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text vnd ein pferd die wir vnd
mines enckelten wider gulffend
Do was menig leſſ weg
ſemme
Den wir machtend
vnd vietend die enckelt dut
vnd vil in wntz an den arb
vnd die
pferd wntz an die
pettel vnd was ze mol ein groſſer
nebel Do wir kum ſpazend
vnd alſ mit groſſer arbeit kame
wir ze mitten tag zu ſant
Kriſtoffel vff den berg Do
Do fach ich die bucher Do gar
vil gerrey wopey in ſtone
Die ir ſtur Edm geley hand
Do ſtund mines watters ſeligen
wopey ſeg in dem emey
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.813 0.185

Result for image_10

Average fuzzy score: 0.851 (higher is better)
Average character error rate (CER): 0.172 (lower is better)
View raw result from mistral-medium-2508

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jf zů dem erſten graff ſeinſgraf von albracht vo̊
omgalt
Jf her ludwig landgraf von lůrſtenberg
Jf graff ſeſ von hermenberg
Jf graff
Bernhart von ſegenſtein
Jf graff go̊tfred von haſenlod
Jf graff ſeinhart von Mamfeld
Jf graff ludwig von ſtuburg
Jf her ſoſtgraf von kleſſe beſpanchen
Jf her hanz von tůrgen
Jf her ſ
appenheim von ſtein wz vorhin genant
Jf huz von Roſenhan
Jf herg von waldenſtoff
Jf hylprand von thungen
Jf herg von ſtuben
Jf heinrich
quaſt
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff ludwig von Isenburg
Itꝰ her Gotschalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ
Jerg vo Bappenhein
Itꝰ her Buppelin vo
m stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ henÿn
quast
0.701 0.345

Result for image_11

Average fuzzy score: 0.860 (higher is better)
Average character error rate (CER): 0.137 (lower is better)
View raw result from mistral-medium-2508

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich von Eulstetten
basel sitzt
Cunradus der pfri
wler
vnd den pfri
w von
mentz
Hans Löffel komerin ze mentz
vnd plambs orden
Heinrich von Wissen
garde
rist
Heinrich smitz fin Emscorf
von Tirn vnd
östland
Ludwi
g von Dießbach
vnd von der grüben
Hans Velman
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs dem stift von
ment
z
hans lösli comet
ür ze mentz
sant johans ordens
heinrich von
wissengerode
Rittꝛ
heinrich smit sin knecht
von bern vs oechtland
lud
wig von diesbach
hans von der
gruoben
hans volman
0.720 0.273

Result for image_12

Average fuzzy score: 0.867 (higher is better)
Average character error rate (CER): 0.132 (lower is better)
View raw result from mistral-medium-2508

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vb dem land zi megtelinkurt
Eunrat tobe
pfitt
Sietring hitzsow
peter in barfuß pfieſtt

Vb luttringen
Jakob von hartzkurt pfieſtt
Desdering vo micourt pfiieſtt
Cola von Gayon fin Enceſtt

Vb golten land
Jakob Nüwlung
Hans Püſtter
Heinrich Lang

Von stroßburg
Hans von Benfelt ein pfiieſtt
fant hans von orleans
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt
priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.733 0.264

Result for image_2

Average fuzzy score: 0.400 (higher is better)
Average character error rate (CER): 0.619 (lower is better)
View raw result from mistral-medium-2508

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Gelobt im fronaltar die pfrend
wir gantz vnd em pfründ von
sant heiligin froͤ
w trütz ßz
hit ir vff
wir bruͤst vnd em
bein von sant marien madalene
vngerot vff amptag noch
em ostertag der do
was der
ander tag die abrellen do
Murany fuͤrend wir gnoy meran do
glas legen in sant steffans
fuͤtter vnd bi hundert der hundlin
Die herodes erphing in emen
altar die pfrend wir vnd
pfründ may nog leffgerdenlich
ir gend vnd faß vnd die
nagel dar an gmuͤnder or
em pfründtag friug do
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.799 0.237
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.204 (higher is better)
Average character error rate (CER): 0.814 (lower is better)
View raw result from mistral-medium-2508

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text vnd die jnfel ist bi ac mil wit vnd ist der venetiger
vō van kurfun
z vntz vō modunz vnd ac mil vnd
ist och em gv̅bste star vnd ein ercz
wistvm vnd ist och
der venetiger ze modunz wachstet der rumanier vnd
vnd ist so groz do bi ein heilig herstet
les bi ij miley
Candia vō modunz bis vō candia
creta vnd ac mil vnd candia
vinum ist ein grosz vnfel vō mil
Malua vnd wachstet der
vinum maluasier do vnd ist och
der venetier
Rhody vō van candria vntz vō rodis
vnd ac mil wir aber
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kur
fun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.815 0.254
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.847 (higher is better)
Average character error rate (CER): 0.146 (lower is better)
View raw result from mistral-medium-2508

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der graf von Wartburg
und fuͤst all ander Ritter
und Enckst woltey mit
Iar Sey ir was entleibet
fich abgenomen hie jetzund
von Garegnurt und hans
von hertogensteig Ritter
Sie zuehen werend gern
mit mir gesin aber der
patroy wolt unsir mit
beiten So der meilteil mit
Iar walt und alzo muͤste
wir mit grossen vmwilley
Damid segerben Sey mir
mit dem patron und
och den bruͤderen Iar
und hattend zi zipron
wasfer iz zucker
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von hareg
urt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz zu
ker
0.781 0.229
[18r] addition1 Sacchari
in Cypro
majtin
Saccharu
in Cypro
nascit
0.760 0.208

Result for image_5

Average fuzzy score: 0.791 (higher is better)
Average character error rate (CER): 0.256 (lower is better)
View raw result from mistral-medium-2508

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Jf dar nach got mayn in die
engel des heilgen grabes
do jft ein altes von marmor
fteyn gemacht vber das heilig
grab do vnfer herre generet
got vnd menfch in gelegen
jft vnd do nay vf
perstanden
am dritten tag von
dem tod
vf den Sen tor des tem
pels
do jft ein lang vnd ftat feyn
bi ein
kleyn fteyn do prueg
vnfer herre jg wer das mittel
der welt
vf die nachtgeftvndey ftvnd die
die bulger fteyt ofwendig des
tempels m der ftat
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tem
pels
do ist ein loch vnd stot dar
bi ein klein stein do s
prach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das hus des
karge riche
0.791 0.256

Result for image_6

Average fuzzy score: 0.757 (higher is better)
Average character error rate (CER): 0.260 (lower is better)
View raw result from mistral-medium-2508

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Jf dem patron ij grofſen
für fij ze rümen
Jf ze emac ein grofſen
Jf ze Jerufalem j groß ze
Burtifig von den epley
Jf dem conſul v groß
Jf den tempel ij groß
Jf ze Bertla
hem ein groß
Jf ze ſant johans ein groß
Jf wider ze Jerufalem ein
groß ze crutifig aber j groß
Jf wider in den tempel ij groß
Jf ze den jorden ze groß
Jf den epley ze lon
Jf aber ein groß ze purifig
Jf aber ze Jerufalem j groß
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant
Johans ein gros
Itꝰ wider ze Jheruaelem ein
gros ze
curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem
Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze curtisig
Itꝰ aber
ze Jherusale i gros.
0.757 0.260

Result for image_7

Average fuzzy score: 0.593 (higher is better)
Average character error rate (CER): 0.491 (lower is better)
View raw result from mistral-medium-2508

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Die felley tags an falzion In der wirz
an den
balmungag der do wz
der subenzende tag vitter wir
an felter tag an den adzende
tag an terz
is vnd blibey zway
tag do vnd firtend an den golhen
sam
ptag der do wz der achtvnd
zwayzigt tag der merzen off
dem wasser No terzis an deno
ch
an den os
persoben der do wz der
lest tag in merzen do fohy wir
erwe manngen fitturey vnd ges
p
riff als nechtige husser so sohe
Lud sant marp minster vnd de
hertzogey palast der ist zemolst phy
palation vnd darvff vnd hern viter
magnis vnd fuchtrey wossey die den
cum. Ze Nenedig gewessen find do zt
ein Capell an den minster fast
der frit in einxaltar gewasser da
wosser belsalter Tys Oft off fas
des selben tags gon falzion In der wur-
gen Itꝰ an dem
balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terf
is vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen
palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig gewesen sind Do ist
ein Cappell an dem münster doist
der stein in eine altar gevasset do
vnser
behalter Jhs Xps vff fas
0.786 0.263
[62v] addition1 Venach
Ducis
Veneti
Ducis
palatiu
magnifi
cum
0.400 0.719

Result for image_8

Average fuzzy score: 0.436 (higher is better)
Average character error rate (CER): 0.607 (lower is better)
View raw result from mistral-medium-2508

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Jenachts kome wir pfeiffer vn
trumeter zůmmen her
wass
die galley vnd hoffleutey do
fieng vnd gieng vns glůc
k kome
die
wunderlichen pfeiffer vn
trumeter vnd hegenflager
Nů hoffleutey do sach
wir fittye
also ward mir gredige
hern vnd alle den finen wil
so exbottet wir morgends grů
tag fůrwert wir do dannen
vnd
kome vff den nechsten
tag do wz wir do erst
tag in dem huszmanet von fůrste
vnd yr ein phone pat hůt zůweyl
berhoffen gefflisserey ob der
pat von vff hůnttag dawnach
fůrrey wir do dannen kůn
vfftag nach fůnfftag kome
wir zů vnd in galley
by pſ
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die
windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also
ward mine gnedige
hern vnd allen den sine vil
eren do erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vrbans tag der do wz der erst
tag im brachmonet gon
kurfon
dz ist ein schone stat mit z
wen
herlichen velshursern ob der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.714 0.357
[69r] addition1 Honoratus
Marchio
script
Honores Marchio
ni exhi
bi
ti
0.593 0.464

Result for image_9

Average fuzzy score: 0.259 (higher is better)
Average character error rate (CER): 0.904 (lower is better)
View raw result from mistral-medium-2508

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text In disem jare beschloß do felte
In zunfft man vnd die a
keftig
in dem thurn do felte 14
vnd hiet ma
n kouft die do da
heij junger emmer
waz get fit
get
bare emo kunig do zeper
zeper kouft get mit fleisij
man get fawt andres emo 14
vnd fawt raffens an get do
vnd get zwoelff jar die do
fawt apolo wir mit frist mich
geschaft wurdent ift
geurteil blangt
vnd wannag fawt Jossab
martin ant wir
trinck die bilung
ze jungerftey furgen wir
gein und hall
vnd Audia tu furend an
wir gein jing
antwicht fur die jusel zei
awar vnd fur
do zeper do kuny zu
vnd hattela
wannig vermarkier fawt do
waspnickt ficht die
gein kunftig
gein gein gein gein gein gein
gein gein gein gein gein gein
gein gein gein gein gein gein
gein gein gein gein gein gein
gein gein gein gein gein gein
gein gein gein gein gein gein
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii
junger einer wz Itꝰ sat
Bar
bare eins kungs vo zipern
to
chter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungee
kten Item uff mentag vor Sant Johans tag ze Sungechten fuoren wir
vo
n kandia vn fuorend an der
mit
wuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.518 0.808
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000