Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.351 (higher is better)
Average character error rate (CER): 0.663 (lower is better)
View raw result from claude-3-opus-20240229

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 0.000 1.000
[3r] text Vnd ein pferst die mir mit
minē knarzen war gebundē
Sen So was menē lan weg
Sume das mir machtent
vnd vieleins die breiße Sul
vnd vil in vnß an Siy ano
vns S
ie pferst vnß vn die
pard vnd was ze mol in grossa
nebel dꝛ wir kam ercꝛansent
vnd als nur grosse arbeit bane
wie ze minem tag Zu sant
bersolssel vff kem giner So
So hatt ich die bucher So gar
nil gewen wa
pen ni sant
Sie w seine Solrin gelien gand
so strint mines batter phaꝛ
wapen aich in Sun einē
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd d
ie pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir stür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.703 0.326

Result for image_10

Average fuzzy score: 0.792 (higher is better)
Average character error rate (CER): 0.272 (lower is better)
View raw result from claude-3-opus-20240229

image_10

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[73r] folio 73 73 1.000 0.000
[73r] text Ich bin auf mÿ heꝛ grauff albꝛecht vo
linfalt ·
I
ch bin ludwig lantgꝛaff vom linchtenberg
I
ch grauff ott von hennenberg ·
Ich grauff
Bernhart · Von Regenfperg
Ich grauff gottfrid · von habfpurg ·
Ich grauff von gÿff · ÿn dem waſgowe
Ich grauff · Alhart · von Manſfeld ·
Ich graff · ludwÿg · von Rinberg
Ich grauff Ram amfen
Ich herꝛ von büdingen ·
Ich herꝛ zu wampurg
Ich herꝛ von R
appoltſtein
Ich herꝛ von ehungen
Ich jerg von gliechen
Ich hang von olieben
Ich georg von elieben ·
Itꝰ zuo dem ersten Min hern graff albracht vo
anhalt
Itꝰ her ludwig lantgraff von lu
chtenberg
Itꝰ groff ott von hennenberg
Itꝰ groff Bernhart von Regenstein
Itꝰ groff göttfrid von ho
chenloch
Itꝰ groff gebhart von Mansfeld
Itꝰ groff
ludwig von Isenburg
Itꝰ her Gots
chalk von Bless bedpanchn
Itꝰ her hans von turgöw
Itꝰ Jerg vo
Bappenhein
Itꝰ her Buppelin vom stein wz vorhin Ritter
Itꝰ lutz vom Rotenhan
Itꝰ Jerg von waldenfelss
Itꝰ hÿlprand von thuongen
Itꝰ Jerg von Slieben
Itꝰ henÿn quast
0.584 0.543

Result for image_11

Average fuzzy score: 0.506 (higher is better)
Average character error rate (CER): 0.516 (lower is better)
View raw result from claude-3-opus-20240229

image_11

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[90r] folio 9a 90 0.500 0.500
[90r] text heinrich vō fürſtēberg
king ſun friß
Gemachß den pflibir

v ͛ den pfifft nv
ment ͮ ſo v'damē ze ment ͮ
anſ ſoſpnß ordins ze
heinrich v̄ wißenbur
g der
hilt
heinrich frile ſin bꝛuoder
v̄t ͛ ob'
aufland
hienach v̄ dieſ ͛ g
einß den der gulden
gang v'burg
heinrich von külstetten
ein bar
fuos
Cuonradus der schriber
vs dem stift von
mentz
hans lösli comet
ür ze mentz
sant johans ordens
heinrich von wissen
gerode
Rittꝛ
heinrich smit sin
knecht
von bern vs oechtland
ludwi
g von diesbach
hans von der
gruoben
hans volman
0.511 0.531

Result for image_12

Average fuzzy score: 0.553 (higher is better)
Average character error rate (CER): 0.461 (lower is better)
View raw result from claude-3-opus-20240229

image_12

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[93r] folio 73 93 0.500 0.500
[93r] text Dis dem land ze
mæg
pten kunīt
Cunrat hohi pꝛieſ
ter rieſ hel zem
frowe diu baiſin pꝛieſ

Die furſringē
jakob vō furtkurt Ritt
Schlaurus de mindaut pꝛieſ
tota dē bayzē ſin knegl

De fulſten land
jakob velsang
haint rudolff
ſi ein rieh tand

vō pevolburg
hano vō genfels ain pꝛieſ
ſant johans oꝛdens
Vs dem land ze
megglenburg
Cuonrat hobe Rittꝛ
Dietrich liebzöw
peter ein barfuos priestꝛ
vs luttringen
Jokob von harenkurt Rittꝛ
Desiderius vo
mirecurt priestꝛ
Cola von bayon sin knecht
vs holsten land
Jakob vellang
hans Rudbeck
heinrich lang
von strosburg
hans von benselt ein
pristꝛ
sant Johans ordens
0.607 0.422

Result for image_2

Average fuzzy score: 0.323 (higher is better)
Average character error rate (CER): 0.719 (lower is better)
View raw result from claude-3-opus-20240229

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Beiſs my fronaltar Sie ſohend
vnd gie
ntz vnd am ſinck des
Senn ſerligen fron cri
tz Sy
lie in vff ir bruſt vnd em
bo
w von ſant marien madalēō
ringi rot pff pflantzuntz noch
dem oſtertag Salt de mu
s Der
ander tag das abrolten Do
Muran ſurend non gon Do
ſeind hieſend my ſant pffaſſem b
Suetty jetztſag in hundert der lindlin
Sie ſeradro cuſchin m cinam
ſtund die ſohend auf and
pfoſt may notz beßheerdnicht
in ſend vnd ſie laid Sie
engodann als
wundas ny
Selbs im fronaltar die sohend
wir ga
ntz vnd ein stück von
dem heiligen fron crü
tz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der do
was Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.646 0.437
[4v] addition1 Muran
glas
hütten
0.000 1.000

Result for image_3

Average fuzzy score: 0.155 (higher is better)
Average character error rate (CER): 0.884 (lower is better)
View raw result from claude-3-opus-20240229

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text vnd die pfil die si an mil
wil vnd vff den venechigꝛ
schiessenl dar von mochtes du
nit des sin geüstʒt sar vnd
ein ertʒüslung vnd ist ach
ein remedijgꝛ
ze machu
warffvr der rumanis wit-
dʒ des do vs ein heilig seist-
do dv ij milen
vff dem moden sind gou cundri
Candia vff von modren sind gou cundri
eyeta amd ar mil vnd candria
Vinim vff ein gros pfil wy mil
disiu stat vnd warffen der
Sicconapaluaflus do vnd ist ach
ein venedier
flaly vff von candri vintz gou podiʒ
vie ar mil wy abou
vnd die insel ist bi ccc mil
wit vnd ist der venediger
Itꝰ von kur
fun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
Itꝰ von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
Itꝰ von candia vnt
z gon rodis
sind ccc mil
wer aber
0.621 0.537
[9v] addition1 Candia vff
Creta
0.000 1.000
[9v] addition2 Virum
Malva
ricum
0.000 1.000
[9v] addition3 Rhodꝰ. 0.000 1.000

Result for image_4

Average fuzzy score: 0.559 (higher is better)
Average character error rate (CER): 0.446 (lower is better)
View raw result from claude-3-opus-20240229

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Das groß von nurenberg
vnd laß all meser richten
und knecht wol sey mit
Sam Say in woll entewla
uft
Rerg aßgenamen har jach
von hintz
mut vnd hanß
den herschenbag Puttir
Sie zu ein wurden gern
mit vnir gehn aber der
patron wolt vnber mit
laffen So der metteil mit
dair wolt vnd alß mitten
win mit grossen an willen
Sennet egecben der wir
mit Sein
patron vnd
deß Say finiderent dar
und hacant ze zpren
magrer
dz zuken
Der grof von swartzburg
vnd s
ust all ander ritter
v
nd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von hareg
urt vnd hans
von liechtenberg
Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also
muosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem
patron vnd
och den brüderem dar
vmb hattend ze zi
pren
wachset
dz zuker
0.677 0.338
[18r] addition1 Saccharu
in Cypro
nascit
0.000 1.000

Result for image_5

Average fuzzy score: 0.608 (higher is better)
Average character error rate (CER): 0.435 (lower is better)
View raw result from claude-3-opus-20240229

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text of dise notty got may in die
huget seheyligen gnade di
se iß ein demuotive menchs
kam gemacht wen ere gedig
graß so wißenschone gevum
got vnd mönsth in gelegen
yt vnd so sey offertsuldy
sey sein cristin tag sey
dem tod
syt in dem zov die compelß
so iß ein farg mit stat nie
si das klein tran so brg
vnſer sere dg ware daß mittel
zed welt
of die nottig religiusey send
die bitepettat anwendig diß
compels ing iar ſtaß
of daß guo seb babſt vuß
Itꝰ dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre geworer
got vnd mönsch in gelegen
ist vnd do von v
ferstanden
an dem dritten tag von dem tod
Itꝰ in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
Itꝰ hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
Itꝰ das
hus des karge riche
0.608 0.435

Result for image_6

Average fuzzy score: 0.258 (higher is better)
Average character error rate (CER): 0.774 (lower is better)
View raw result from claude-3-opus-20240229

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Eeny pꝛiuey iij groſſen
fur ſin gwanꝺ
Joſe canꝺs ein groſſen
Joſe jeſemplen j groß ge
burty ge am ſun ꝺaig
of dem
conſtat v groß
in Sem sampel ij groß
Joſe Saltziſen ein groß
Joſe func Joſans ein groß
win zü ge ojſemꝑlau ein
groß ge cuniei
hen abir j groß
wibin in Sey compel
....
groß
Joſe Sem goubiuy gein groß
as Sem eybten ge Sin
Itꝰ dem patron iii grossen
für sin zerung
Itꝰ ze emaus ein grossen
Itꝰ ze Iherusalen i gross ze
kurtisig von den eselen
Itꝰ dem consul v gros
Itꝰ in den tempel ii gros
Itꝰ ze betlahem ein gros
Itꝰ ze sant Johans ein gros
Itꝰ
wider ze Jheruaelem ein
gros z
e curtasig aber i gros
Itꝰ wider in den tempel iiii
gros
Itꝰ ze dem
Jordan xii gros
vo den eselen ze lon
Itꝰ a
ber ein gros ze curtisig
Itꝰ aber ze
Jherusale i gros.
0.516 0.549
[52v] addition1 * 0.000 1.000

Result for image_7

Average fuzzy score: 0.255 (higher is better)
Average character error rate (CER): 0.791 (lower is better)
View raw result from claude-3-opus-20240229

image_7

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[62v] text Des pslley wgß gay pslwyn Ta des wwrz
yen haftang dein gedultig ster
bñ vsz
Dee felkengefande mgr vnser gan
gay felfend ift oa dein aafgestanbe
var goa text sind vblelley zwey
eng des and sancaß oa dein galzen
Dagang Das do nsz der aufstun
zweager to my Deo meecy Vff
zein ewasse do texft gaar welbely
yft my dein a
pferstieg der do wz fur
left my ins meecy Do fosfey wu
chtu ntaeigey pslayey knob gust
pftiff aus meetigie satzee vaft sofe
Vont punt mag omeufae onß der
Durie geweelgay paluft See so zemstslig
gez so ino in oa gind Onig zo sae
ein Gatten my vnd onserdie Lraft
den sin wundersam groffir ob
vil sir gusfalten ytzß gnad Vff fae
des selben tags gon falzion In der wur-
gen Itꝰ an dem balmtag derdo wz
der subenzehende tag Ritten wir
gon felters Itꝰ an dem achzehende
tag gon terfis vnd bliben zwen
tag do vnd fuorend an dem hohen
donstag der do wz der acht vn
zwenzigest tag des mertzen vff/ dem wasser vo terfis gon venedig
Itꝰ an dem osteroben der do wz der
lest tag im mertzen do sohen wir
etwe manigen sitkusten vnd grosse
schiff als mechtige hüser och sohe
wir sant marx münster vnd des
hertzogen palast der ist zemol schön
vn stönd daruff vil hern Ritter
vnd knechten woppen die denn
ze venedig gewesen sind
Do ist
ein Ca
ppell an dem münster doist
der stein in eine altar gevasset do
vnser
behalter Jhs Xps vff fas
0.509 0.582
[62v] addition1 Veneti
Ducis
palatiu
magnifi
cum
0.000 1.000

Result for image_8

Average fuzzy score: 0.188 (higher is better)
Average character error rate (CER): 0.854 (lower is better)
View raw result from claude-3-opus-20240229

image_8

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[69r] folio 69 0.000 1.000
[69r] text Dar nach kam er wyssen das
vnnser zuꝛ mnen hern
des havsꝰ
Das galley vnd hospenꝛey Jnd han
finen gnaden de
b glayt koma bri
gie vnnderrichꝰ pfaffen vnd
tvnnster vnd
kloͤstenꝛ falser
Nit gesperet da das nach ind
sitten alp ward mine gnedge
hern vnd aller din fine vnd
desglichen des mandat se
genꝛ dingꝰ da geſant
Vnd finlichꝰ off painonastlimꝛ
kam komgꝛ Ruodolff zaͮ vns nit gar
mytt my Ruttmennet lim konfig
Jff denꝛ oberlenttag nach
pfabosten dez pferd ward Jnd
und sentt dan diff fimblagꝛ zwaisch
grüß ann daz kamer die offꝛ
fingang ann fant ant dag
faren ze ent in galley
by paps
Darnach kome ir pfiffer vn
trumeter zuo minem heren vff
die gallen vnd hofierten do
sinen gnoden des glich kome
die
windeschen pfiffer vnd
trumeter vnd böggenslaher
vn hofierten do och nach ire
sitten also ward mine gnedige
hern vnd allen den sine vil
eren do erbotten It
morndes ge
gen tag fuorent wir do dannen
vnd kamen vff freitag nach sant
vr
bans tag der do wz der erst
tag im brachmonet gon
kurfon
dz ist ein schone stat mit zwen
herlichen velshursern o
b der
stat vn vff sunntag darnach
fuoren wir da danne vn vff
zinstag vor sant vitz tag
komen zuo vns iii gallen by xx
0.563 0.562
[69r] addition1 Honores Marchio
ni exhi
biti
0.000 1.000

Result for image_9

Average fuzzy score: 0.208 (higher is better)
Average character error rate (CER): 0.855 (lower is better)
View raw result from claude-3-opus-20240229

image_9

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[70v] text Vnd dem erg fand° d° pfaff
vns zan
ͤ t man vō vblach
zu dun
terē dz pepl° jt
pint ttjgend fo
w̾ d° dz d°
fpẏdj
kimpꝰ entꝰ auʒ der ſtat
dn tuluꝰ ſtund einꝰ eꝰ neꝰ ung
kupꝰ er faw̾ t gzſſung p͛ſſͧ jtꝛ awen
du dj° haw̾ t w͛ gj ſal ° zu ſpunt vppials
kam vo
blant may wjzꝰ ſtanʒ krumdē gſſ
a uß mit wandꝰ ſſ dgentaʒ von ſantjoſſal
entet dj° til° eneꝰ v̾ bum̾ gartneꝛ ſureꝛ von
graʒ vndjuſt
vns gnnʒ ſaſſ ſaut enreꝛ gſf dzu
end iſt d° ſim eneꝰ v̾ bum̾ ͛ tneꝛ vō
jpzjch gew maineud till bilgerej jue
Ein p͛ ſon
vn dem ertzbischoff do selbs
vn zougt man vns dz heiltu
in dem thuom do selbs It

sant thÿtus houpt der do de
lxxii junger einer wz Itꝰ sat
Bar
bare eins kungs vo zipern
to
chter houpt Itsant blesÿen
arm Itꝰ sant andres arm Itꝰ
vnd sant steffans arm Itꝰ vn
zwen zen die do sant appolo
nien vsgeslage wurdent Itꝰ
vff mentag vor sant
johans
tag ze sungeekten Item uff mentag vor Sant Johans tag ze Sungechten fuoren
wir
von
kandia vn fuorend an der
mitwuch für die insel ze zi
pern do
kam zuo vns ein kattela
nier fust do
wappnete sich die
schiflut all gemeinlich vnd
nomend all
bilgerin Ire
0.416 0.711
[70v] addition1 vn zougt ma
vns och ze ka
dia ein win
reb daran sohe
wir iiii frücht
enteil blougt
noch nit vn
trubel doie bluo
gten vn halb
vn gantz zitig
woren vn seit
man vns dz die
vorgen Reb jors
vii frucht trüg
vn ist die reb
gegen de spital
in dem kleine
Barfuossekloster
0.000 1.000