Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.447 (higher is better)
Average character error rate (CER): 0.548 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 8 3 0.000 1.000
[3r] text Vnd ein pfervt die wir vnd
ynnen knegtey oder Hulfend
den So was mencn ein weg
denne den wir machtend
vnd vielend die knecht duf
wie vil in vntz ander ars
vnd die pfervt vnsz an die
fetel vnd was ze mal ein grosser
nebel dz wir kum gesahend
vnd als mit grosser arbeit kame
wir ze mittcm tag z
ü sant
kristoffel vff den berg So
do sach ich die bücher do gar
vil herren wa
pen jn stone
die ir stür dahin geben hand
do stünd mines vatters sligen
wapen och in dem einen
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wopen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.893 0.097

Result for image_10

Average fuzzy score: 0.912 (higher is better)
Average character error rate (CER): 0.107 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Jst zu dem ersten Min herein graff albrecht vo
anhalt
Jst
her ludwig lantgraff vom lichtenberg
Jst graff ott von hennenberg
Jst gra
ff Bernhart von Regenstein
Jst graff göttfrid von hohenloch
Jst graff gerbhe
rt von Mansfelt
Jst gra
ff ludwig von Jsenburg
Jst
her Gotthalt von Ress * beÿnanehm
Jst her heinß
von turgöw
Jst graff Brawennhen
Jst her Ru
ppein vom stein anz vorn Ritter
Jst luz vom Rotenhan
Jst Jerg von waldorff
Jst hilprand von thungen
Jst jerg von Eliehen
Jst
henÿn quast
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ
her ludwig lantgraff von luchtenberg
Itꝰ groff ott von hennenberg
Itꝰ gro
ff Bernhart von Regenstein
Itꝰ groff göttfrid von hochenloch
Itꝰ groff gebha
rt von Mansfeld
Itꝰ gro
ff ludwig von Isenburg
Itꝰ
her Gotschalk von Bless bedpanchn
Itꝰ her hans
von turgöw
Itꝰ Jerg vo Bappenhein
Itꝰ her Buppel
in vom stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ
Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ
Jerg von Slieben
Itꝰ
henÿn quast
0.824 0.214

Result for image_11

Average fuzzy score: 0.908 (higher is better)
Average character error rate (CER): 0.073 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 90 90 1.000 0.000
[90r] text Heinrich von kilchetten
ein barfůß
Eimalbs den schriber

dem stift von
mentz
Hans kůfe tomezan ze mentz
sant johans ordens
Heinrich von
wiffengerde
rittꝛ
Heinrich smit sin knecht

Von herrn vß
eichtland
ludwich von diefbach
hans von der grůben
hans vlman
heinrich von külstetten
ein barfuos
Cuonradus der schriber
vs
dem stift von
mentz
hans lösli cometür ze mentz
sant johans ordens
heinrich von wissengerode
Rittꝛ
heinrich smit sin
knecht
von bern vs oechtland
lud
wig von diesbach
hans von der gruoben
hans volman
0.817 0.146

Result for image_12

Average fuzzy score: 0.903 (higher is better)
Average character error rate (CER): 0.089 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 93 93 1.000 0.000
[93r] text Vß dem land ze
meyssen sint
Cůnrat höbi ritt̄
Dietrich hubzow
peter ein barfůß priest

Vß luttringe
Jobst von hirtzhurt Ritt̄
Desiderius vō mindert priest
Cola von bayen sin knecht

Vß holsten land
Jakob vebůng
hans Pudbert
heinrich laut

Von straßburg
hans von benfelt ein priest
fant Johans ordens
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo mirecurt priestꝛ
Cola von ba
yon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant
Johans ordens
0.807 0.178

Result for image_2

Average fuzzy score: 0.567 (higher is better)
Average character error rate (CER): 0.461 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Selbs vns fronaltar Die selbe
von gantz vnd ein stüc
k von
dem heiligen fron crütz Das
lit in vff ir brüst vnd ein
bein von sant marien madalene
ringgrof jm off samstag nach
dem ostertag Das do
was der
ander tag des abrellen Do
fürend wir gen meylan Do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes ersluog in einem
altar Die selbe wir vnd
sicht man noch bescheidenlich
ir hend vnd füs vnd die
nagel dar an stündts in
dem sumentag früe Do
Selbs im fronaltar die sohend
wir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do was
Der
ander tag des abrellen do
fuorend wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.884 0.098
[4v] addition1 Marya Muran
gl
as
hütten
0.250 0.824

Result for image_3

Average fuzzy score: 0.475 (higher is better)
Average character error rate (CER): 0.619 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text vnd die jnsel ist bi cc mil
wit vnd ist der venediger
ist von kursun vnz gon
modun sind cc mil vnd
ist och ein hübsch stat vnd
ein erczbistum vnd ist och
der venediger zu modun
wachset der rumänien vnd
ist och do bi ein heilig geistet
do bi ij milen
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vntz gon rodis
sind ccc mil wer aber
0.667 0.470
[9v] addition1 Candia Candia vff
Creta
0.522 0.625
[9v] addition2 Creta Virum
M
alva
ricum
0.167 0.882
[9v] addition3 Rodum Rhodꝰ. 0.545 0.500

Result for image_4

Average fuzzy score: 0.929 (higher is better)
Average character error rate (CER): 0.079 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der graff von swartzemburg
und sust all ander ritter
und knecht wolten nit
Daz der ir was enteilhaft-
lich vfgenomen hia: Jacob
von habs
purt und hans
von rechtemßerg Ritter
die zwen werent gern
mit mir gsin, aber der
patron wolt vnser nüt
beiten do daz merteil mit
dar wolt und also müsten
wir mit grossem vnwillen
danned scheiden den wir
mit dem patron vnd
och den briedern dar
vmb hattend ze zypen
wachset dz zuker
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von hareg
urt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also m
uosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zi
pren
wachset dz zuker
0.882 0.111
[18r] addition1 Saccharum
in Cypro
nascitur
Saccharu
in Cypro
nascit
0.906 0.125

Result for image_5

Average fuzzy score: 0.435 (higher is better)
Average character error rate (CER): 0.557 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Dar nach got may in die
engel des heiligen gr
ubes
Dz ist ein altar von marmel
stein gemacht vber das heilig
grab do vnser herre genorua
hot vnd monſtꝰ in gelegen
iſt. vnd do von vferstanden
an dem dritten tag von
dem tod

Iſt in dem tor des tempels
do ist ein loch vnd stat dar
bi ein
klein stein do sprach
vnser here es were das mittel
der welt

Als nachgeschriben stand Die
die bildgestos oswendig des
tempels in der stat

Iſt Das huo des kuchꝫ ruß
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das h
us des karge riche
0.871 0.114
[23v] addition1 0.000 1.000

Result for image_6

Average fuzzy score: 0.824 (higher is better)
Average character error rate (CER): 0.179 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Jt͛ dem patron iij grosser
ker͛ sij gerungͤ
Jt͛ ze eimas ein grossen
Jt͛
ze Jherusalem j gross ze
kurtis
ch vnd daj eplen
Jt͛ dem
consel vj gros
Jt͛ in den tempel iij gros
Jt͛ze
betlahem ain gros
Jt͛ ze sant Johans ain gros
Jt͛ wid
er ze Jheruslem ain
gros ze curtisch aber j gros
Jt͛ wider in den tempel iij
gros
Jt͛ ze dem jordan ij gros
voͮ den eplen ze lon
Jt͛ aber ain gros ze pursch
Jt͛ aber ze Jherusl͛ j gros
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant
Johans ein gros
Itꝰ wider
ze Jheruaelem ein
gros ze
curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem Jordan xii gros
vo den eselen ze lon
Itꝰ aber ein gros ze
curtisig
Itꝰ a
ber ze Jherusale i gros.
0.824 0.179

Result for image_7

Average fuzzy score: 0.671 (higher is better)
Average character error rate (CER): 0.359 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Der siben tage vor sulzun so der wer-
tzen ist an dem
balentag der do wz
Der si
benzehende tag Vittely wer-
tzen solent ist an dem
achtzehende
tag fan terste vnd
bliben zwey
tag do vnd f
ürend an dem hohen
D
unstag Der do wz der achtün
zwenzigest tag des mertzen vff
dem wasser wir tersts gan Venedig
ist an dem osteraben der do wz der
lest tag im mertzen do sohen wir
etwe manigen fischer vnd grosse
schiff als mechtigs hüser vnd sehe
Venedig wir sant marcus münster vnd den
hertzoges palast der ist gewalschly
palatio der sant Durckly vnd sant Nicles
vnd knechten wa
ppen von der dry
küngen die
gewesen sind Die den
ein c
appell an dem münster Do ist
den schrin darin gevasset Ol
vil sy
behalten igiꝰ ctjꝰ vss fos
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der s
ubenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd
bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der
acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem ostero
ben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige h
üser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd dar
uff vil hern Ritter
vnd kne
chten woppen die denn
ze venedig
gewesen sind Do ist
ein C
appell an dem münster doist
der stein in eine altar gevasset do
vnser
behalter Jhs Xps vff fas
0.779 0.250
[62v] addition1 Venedig
Ducio
palasio
cappel
Veneti
Ducis
palatiu
magnifi
cum
0.562 0.469

Result for image_8

Average fuzzy score: 0.491 (higher is better)
Average character error rate (CER): 0.543 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Der nacht kinge vn pfiffer vnd
trumeter zů ymens heruaff
die gallen vnd hofferten do
sinen gnaden des glug
komd
die wunderschen pfiffer vnd
trumeter vnd bogenschlager
vn hofferten do ach nach iro
sitten also ward mine gnedige
herr vnd allen den sine vil
ere
erbotten Ist marodes ge-
gen hag fürend vn do danne
kind kamen vff hertzig nach sant
die
boltz tag das ist was der erst
dag im herbstmonet vn
kampff
sl ob in schone sal gan hauß
gelichen vast schofen ob dass
rat von vff villingen dar nach
sinen wn do danne bur vff
huß vn vur sant vits tag
kamen zů vnd in
gallen by sp̄e
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich
kome
die windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do
erbotten Itꝰ morndes ge
gen tag fuorent wir do dannen
vnd
kamen vff freitag nach sant
vrbans tag der do wz der erst
tag im brachmonet gon
kurfon
dz ist ein schone stat mit zwen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren
wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.772 0.272
[69r] addition1 Honor̄ius
Marchio
in exti-
bus
Honores Marchio
ni exhi
bi
ti
0.700 0.357

Result for image_9

Average fuzzy score: 0.372 (higher is better)
Average character error rate (CER): 0.820 (lower is better)
View raw result from claude-3-7-sonnet-20250219

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Nu dʒ ertz bistum do ſelbs
vn̄ zwuſt man vnd Sʒ ſlechtē
iʒ dem thum do ſel
be jſt
ſant thymis houpt dʒ do de
keyʒiʒ ſeuerꝰ euter wʒ jſt ſat
diebolczens eins kuechts vn̄ verʒy
wiſceter houpt jſt ſant ſebſtian
houy jſt ſant ovaldo erem jſt von
vnd ach zeſm̄ vnd ſant jſoffimus einiʒ jſt von
dia ein würtʒ ſint zwey zen die do ſint einʒ gols
wer im hatt may n̄ʒſʒfluſʒ wenieant jſt
ſant blaſen vſʒ entrag dar ſant jofſams
wuchs ant vn̄ trubet die kiching ze Dungecʒtʒey fürcy wir
geny vn̄ halb vn̄ ſtudin kot ficzens an dr
wo gent zu eim ʒol Sʒvſtwuech für die ſeſʒl ze zü
mm̄ aus d vdiʒery do kam zu wr̄t krattela
wayʒen vtz verkuer geſt do waygnete ſich die
wir ſuncʒt tueg wn̄ ſptechē all gemelich vn̄d
wn̄ ſt die vol geſchicht vn̄ iſt kilcʒ ren ſwe
m dem ſpital ?
von ſche klawr̄
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs Itꝰ
sant thÿtus houpt der do de
lxxii junger einer
wz Itꝰ sat
Barbare eins kungs vo zipern
tochter houpt Itꝰ sant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant johans
tag ze sungeekten Item uff mentag vor
Sant Johans tag ze Sungechten fuoren wir
von kandia vn fuorend an der
mitwuch für die insel ze zi
pern do kam zuo vns ein kattela
nier fust do wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.550 0.762
[70v] addition1 Die zeugt vn̄d
vn̄d ach zeſ
m̄
dia ein würtʒ
vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii fr
ücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.193 0.878