Skip to content

Test Report

This test has the following configuration:

data provider model dataclass temperature prompt_file active

Test Results

fuzzy cer cost_summary 

Detailed Results

Result for image_1

Average fuzzy score: 0.903 (higher is better)
Average character error rate (CER): 0.122 (lower is better)
View raw result from gpt-4.1

image_1

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[3r] folio 3 3 1.000 0.000
[3r] text Und ein pferdt die mir und
meinen knechten wider hulfsand
sag. So was manen kam weg
dannen.
Daz wir machten
und vieland die knechte gut
und vil in nutz an den grob
und die
pferdt waz an die
rietl und waz ze mol im grosser
nebel dz wir kum gesahem
und als mit grosser arbeit kam
jar ze mitten tag zu sant
bartoffel uff den bert. So
sach ich die b
ürger da gar
nit gern, wos
pey zu sonc.
Die in stur edlen gelern hand
so sand meines vatter pflegen
wospey sich in dem einig
Vnd ein pferit die mir vnd
minen knechten vber hulfend
den do was nienan kein weg
denne den wir machtend
vnd vielend die knecht dick
vnd vil in untz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd also mit grosser arbeit kome
wir ze mittem tag zuo sant
kristoffel vff den berg
Do
Do sach ich die buecher Do gar
vil herren wo
pen in stond
die ir st
ür do hin geben hand
do stuond mines vatters seligen
wo
pen och in dem einen
0.805 0.244

Result for image_2

Average fuzzy score: 0.678 (higher is better)
Average character error rate (CER): 0.401 (lower is better)
View raw result from gpt-4.1

image_2

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[4v] text Geltos im pronaten Sie befind
m
ir gantz und ein stück von
dem heiligen fron crütz. Es
hie ir uff in brust und ein
bein von sant marien magdalene
vinger rot. Ych uff samstag nach
dem oster tag. Sie
do was der
ander tag.
Dis abrelis. Do
fuern
wir gen messen. Es
gelegen in sant uff stifft.
Halben ein hundert der
knüchlin.
Sie hersido erschloß in einem
altar. Sie pfaren
wir und
sieht man noch bestendiglich
in kund und sich und die
nagel dare ob wunden sy.
Dem sunentag fring. Ich
Selbs im fronaltar die sohend
w
ir gantz vnd ein stück von
dem heiligen fron crütz dz
lit ir vff ir brust vnd ein
bein von sant marien madalene
rüggrot It vff samstag noch
dem ostertag der
do was Der
ander tag des abrellen do
fuorend
wir gon meran do
ligend in sant steffans
kilchen bi hundert der kindlin
die herodes erscluog in einem
altar die sohend
wir vnd
sicht man noch bescheidenlich
ir hend vnd fues vnd die
nagel dar an morndes an
dem sunentag frueg do
0.764 0.272
[4v] addition1 Muren glos Muran glas hütten 0.593 0.529

Result for image_3

Average fuzzy score: 0.238 (higher is better)
Average character error rate (CER): 0.888 (lower is better)
View raw result from gpt-4.1

image_3

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[9v] text Und die pest ist bi ou mil
wit und ist der wenediger
ist von Euespurg und gon
modung sind alt mil und
ist och ain guispur stat und
aim er
tzbischum und ist och
der
wenediger ze modun
wacht der rumanians und
ist och da bi ain heilig gesest
da bi xij milen
vnd die insel ist bi ccc mil
wit vnd ist der venediger
It von kurfun vntz gon
modun sind ccl mil vnd
ist och ein hübsch stat vnd
ein ertzbistum vnd ist och
der venediger ze modun
wachset der rumanier vnd
lit och do bi ein heilig heisset
leo bi ii milen
It von modun bis gon candia
sind ccc mil vnd candia
ist ein gros insel vii c mil
wit vnd wachset der
maluasier do vnd ist och
der venedier
It von candia vn
tz gon rodis
sind ccc mil
wer aber
0.581 0.552
[9v] addition1 Candia ist von modung biz gon candia
sind xii mil und candia
ist
ein grob stat auf mil
Malba ist und wachet der
venediger do und ist och
der venedier
Candia vff Creta 0.158 1.000
[9v] addition2 Rhody ist von candia untz gon rodos
sind xii
mil vier aber
Virum Malva ricum 0.213 1.000
[9v] addition3 Rhodg. 0.000 1.000

Result for image_4

Average fuzzy score: 0.835 (higher is better)
Average character error rate (CER): 0.180 (lower is better)
View raw result from gpt-4.1

image_4

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[18r] folio 18 18 1.000 0.000
[18r] text Der grost von Swarzburg
und fast all ander ritter
und knecht wolten mit
dem Eyn ir walt entlichast
krieg angenommen da. Helb
von Rotenfurt und gantz
dem Westphalisch ritter
sie zwey woltend gern
mit im gehen, aber Eyn
patron wolt unser mit
kriegen. So der meisteil mit
der walt und also mussen
wir mit grossem unwilley
samma scheiden, dey wir
mit dem harren. Und
olg dem brüdering, dar
und hattan zu ziporn
wachtet so gutet
Der grof von swartzburg
vnd sust all ander ritter
vnd knecht wolten nüt
dar den ir was enteilvast
siech vsgenomen her jokob
von hareg
urt vnd hans
von liechtenberg Ritter
die zwen werend gern
mit mir gesin aber der
patron wolt vnser nüt
beiten do der merteil nüt
dar wolt vnd also muosten
wir mit grossem vnwillen
danna scheiden den wir
mit dem patron vnd
och den brüderem dar
vmb hattend ze zipren
wachset dz zu
ker
0.730 0.290
[18r] addition1 Sacchari in Cypro
nachtet
Sachharu in Cypro nascit 0.776 0.250

Result for image_5

Average fuzzy score: 0.771 (higher is better)
Average character error rate (CER): 0.274 (lower is better)
View raw result from gpt-4.1

image_5

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[23v] text Hie nach got marÿ in die
himel des heiligen grabeß
da ist ein altar Nyemants
stein gemacht vber das heilig
grab do
wirt stern genant
got vnd montag in otter
ist
und da das vasten an
am drey mittw tag vor
dem tod
In dem ort des tempels
da ist ein latty und das ist
bi ein
klein stain da spranck
unser herr do wart das mittel
der welt
Hie nach geschrieben stand die
die bilgräffet swenndig des
tempels in das gras
das das quo des endes nach
It dar noch got man in die
kappel des heiligen grabes
Do ist ein altar von marmel
stein gemacht vber das heilig
grab Do vnser herre ge
worer
got vnd mönsch in gelegen
ist vnd do von vferstanden
an dem dritten tag von dem tod
It in dem cor des tempels
do ist ein loch vnd stot dar
bi ein klein stein do sprach
vnser here dz were das mittel
der welt
It hie nochgeschriben stond die
Die bilgerstet vswendig des
tempels in der stat
It das h
us des karge riche
0.771 0.274

Result for image_6

Average fuzzy score: 0.710 (higher is better)
Average character error rate (CER): 0.383 (lower is better)
View raw result from gpt-4.1

image_6

Folio Ref Field Prediction Ground Truth Fuzzy Score CER
[52v] text Item patron in grossem
kir sy ze munst
Item ein alt ain grosz
Item stefan saler j grosz ze
kunigs
hoven ein gelait
Item
consuel n grosz
Item den tempel vi grosz
Item
bettalen ein grosz
Item sant jo
hans ein grosz
Item ze kuntilger aben j grosz
Item wider in den tempel in
grosz
Item ze engelberg ein grosz
in den spital ze basl
Item aber ein grosz ze jurist
Item aber ze igersheim j grosz
It dem patron iii grossen
für sin zerung
It ze emaus ein grossen
It ze Iherusalen i gross ze
kurtisig von den eselen
It dem consul v gros
It in den tempel ii gros
It ze betla
hem ein gros
It ze sant Johans ein gros
It wider ze Jheruaelem ein
gros ze curtasig aber i gros
It wider in den tempel iiii
gros
It ze dem Jordan xii gros
vo den eselen ze lon
It aber ein gros ze
curtisig
It a
ber ze Jherusale i gros.
0.710 0.383