MACHINE LEARNING per la lettura dei manoscritti - Histórico de revisão

Diacronie1 em 12h47min de 29 de setembro de 2021

2021-09-29T12:47:58Z

Diacronie1 em 12h46min de 29 de setembro de 2021

2021-09-29T12:46:15Z

Diacronie1 em 09h51min de 14 de julho de 2021

2021-07-14T09:51:49Z

Lana.Sato em 01h07min de 28 de março de 2021

2021-03-28T01:07:47Z

Lana.Sato em 01h05min de 28 de março de 2021

2021-03-28T01:05:19Z

Lana.Sato em 01h04min de 28 de março de 2021

2021-03-28T01:04:52Z

Lana.Sato em 01h01min de 28 de março de 2021

2021-03-28T01:01:19Z

Lana.Sato em 00h56min de 28 de março de 2021

2021-03-28T00:56:38Z

Lana.Sato em 00h54min de 28 de março de 2021

2021-03-28T00:54:57Z

Lana.Sato em 00h54min de 28 de março de 2021

2021-03-28T00:54:12Z

@@ Riga 60: / Riga 60: @@
 Per superare queste limitazioni, informatici e ricercatori nel campo della Document Analysis e della Recognition, hanno sviluppato algoritmi per la trascrizione automatica di documenti storici scansionati, o almeno per supportare parti specifiche di questa attività.
-A tale scopo vengono utilizzati metodi di Pattern Recognition (PR), come il [[riconoscimento automatico del testo|Riconoscimento automatico del testo]] (''Automatic Text Recognition'') o l'individuazione di parole (Word Spotting). Quest’ultimo metodo, in particolare, consiste nell’individuare singole parole nelle immagini dei documenti senza che la macchina conosca il testo preso in esame; utilizzandolo, i ricercatori possono lavorare su manoscritti per ricercare determinate parole anche senza precedenti passaggi di segmentazione e trascrizione <ref>''Automatic Transcription of Handwritten Medieval Documents'', Andreas Fischer, Markus Wüthrich, Marcus Liwicki, Volkmar Frinken, Horst Bunke, Gabriel Viehhauser, Michael Stolz, pp.2-7.</ref> .
+A tale scopo vengono utilizzati metodi di Pattern Recognition (PR), come il '''[[Riconoscimento automatico del testo|riconoscimento automatico del testo]]''' (''Automatic Text Recognition'') o l'individuazione di parole (Word Spotting). Quest’ultimo metodo, in particolare, consiste nell’individuare singole parole nelle immagini dei documenti senza che la macchina conosca il testo preso in esame; utilizzandolo, i ricercatori possono lavorare su manoscritti per ricercare determinate parole anche senza precedenti passaggi di segmentazione e trascrizione <ref>''Automatic Transcription of Handwritten Medieval Documents'', Andreas Fischer, Markus Wüthrich, Marcus Liwicki, Volkmar Frinken, Horst Bunke, Gabriel Viehhauser, Michael Stolz, pp.2-7.</ref> .
 Un'altra  applicazione del Word Spotting è il raggruppamento in immagini di parole simili in diversi gruppi, chiamati clusters. Grazie a tale raggruppamento, il numero di parole contenute in un gruppo può essere utilizzato come indizio per determinare l'importanza della parola in un dato documento. A tal fine, i termini molto frequenti di una lingua, come ad esempio "the", "a", "an", "e", "of" per l'inglese, vengono considerati stop words e vengono scartate. Tutti i cluster interessanti, con all’interno termini ritenuti importanti, possono quindi essere annotati manualmente; il che consente di costruire un indice parziale che collega le parole alle posizioni in cui si verificano.

@@ Riga 60: / Riga 60: @@
 Per superare queste limitazioni, informatici e ricercatori nel campo della Document Analysis e della Recognition, hanno sviluppato algoritmi per la trascrizione automatica di documenti storici scansionati, o almeno per supportare parti specifiche di questa attività.
-A tale scopo vengono utilizzati metodi di Pattern Recognition (PR), come il riconoscimento automatico del testo (''Automatic Text Recognition'') o l'individuazione di parole (Word Spotting). Quest’ultimo metodo, in particolare, consiste nell’individuare singole parole nelle immagini dei documenti senza che la macchina conosca il testo preso in esame; utilizzandolo, i ricercatori possono lavorare su manoscritti per ricercare determinate parole anche senza precedenti passaggi di segmentazione e trascrizione <ref>''Automatic Transcription of Handwritten Medieval Documents'', Andreas Fischer, Markus Wüthrich, Marcus Liwicki, Volkmar Frinken, Horst Bunke, Gabriel Viehhauser, Michael Stolz, pp.2-7.</ref> .
+A tale scopo vengono utilizzati metodi di Pattern Recognition (PR), come il [[riconoscimento automatico del testo|Riconoscimento automatico del testo]] (''Automatic Text Recognition'') o l'individuazione di parole (Word Spotting). Quest’ultimo metodo, in particolare, consiste nell’individuare singole parole nelle immagini dei documenti senza che la macchina conosca il testo preso in esame; utilizzandolo, i ricercatori possono lavorare su manoscritti per ricercare determinate parole anche senza precedenti passaggi di segmentazione e trascrizione <ref>''Automatic Transcription of Handwritten Medieval Documents'', Andreas Fischer, Markus Wüthrich, Marcus Liwicki, Volkmar Frinken, Horst Bunke, Gabriel Viehhauser, Michael Stolz, pp.2-7.</ref> .
 Un'altra  applicazione del Word Spotting è il raggruppamento in immagini di parole simili in diversi gruppi, chiamati clusters. Grazie a tale raggruppamento, il numero di parole contenute in un gruppo può essere utilizzato come indizio per determinare l'importanza della parola in un dato documento. A tal fine, i termini molto frequenti di una lingua, come ad esempio "the", "a", "an", "e", "of" per l'inglese, vengono considerati stop words e vengono scartate. Tutti i cluster interessanti, con all’interno termini ritenuti importanti, possono quindi essere annotati manualmente; il che consente di costruire un indice parziale che collega le parole alle posizioni in cui si verificano.
@@ Riga 83: / Riga 83: @@
-== '''''OCR''''' ==
+== '''OCR''' ==
 L’Optical Character Recognition (OCR), o sistemi di riconoscimento ottico dei caratteri,  è un’area di ricerca di lunga data che si riferisce all’Intelligenza Artificiale, al Pattern Recognition e alla computer vision. È programmato per convertire immagini del testo presenti nei documenti elettronici, come ad esempio in  PDF, in immagini digitali e in documenti scannerizzati, con testo in  testo digitale leggibile da una macchina. Il livello raggiunto al momento è piuttosto alto, infatti alcuni sistemi sono così accurati da essere a livello umano. Ma un problema dell’OCR resta la sua applicabilità sulle scritture manoscritte che per loro natura sono uniche e peculiari, . Inoltre i sistemi OCR sono tipicamente molto sensibili alla qualità dell’immagine in input e spesso richiedono degli step di pre-trattamento per ottenere il miglior risultato possibile.

@@ Riga 1: / Riga 1: @@
 {{articolo|
-nome=|
+nome= Sara|
-cognome=Pettisano|
+cognome= Pettisano|
 testo=

← Versione meno recente		Versione delle 01:07, 28 mar 2021
Riga 101:		Riga 101:
	Un altro interessante progetto è sulla piattaforma DAE, creato appositamente open source per realizzare analisi comparativa di documenti. Non è andato a buon fine in quanto pretendeva di tenere i documenti analizzati sui propri server e non su quelli delle organizzazioni proprietarie.		Un altro interessante progetto è sulla piattaforma DAE, creato appositamente open source per realizzare analisi comparativa di documenti. Non è andato a buon fine in quanto pretendeva di tenere i documenti analizzati sui propri server e non su quelli delle organizzazioni proprietarie.

		+	Transkribus <ref> Link al sito: https://transkribus.eu/wiki/index.php/Main_Page </ref> è una piattaforma completa per il riconoscimento automatico, la trascrizione e la ricerca di documenti storici. Fa parte del più ampio programma chiamato READ (Recognition and Enrichment of Archival Documents), finanziato dalla Commissione europea con i fondi Horizon 2020. È composto da tre parti: un software da scaricare sul proprio device (per Windows e Mac), un’interfaccia web ed un sistema cloud per il salvataggio e l’elaborazione dei dati. Sulla piattaforma sono presenti numerosi strumenti per l’elaborazione automatizzata di documenti, come ad esempio il riconoscimento testo scritto a mano (HTR), l’analisi del layout, la comprensione del documento, lo spotting delle parole chiave, l’inserimento di metadati, l’OCR con ABBYY Finereader Engine 11. Per la trascrizione automatica (HTR, Handwritten Text Recognition) dei manoscritti occorrono almeno 100 immagini correttamente trascritte; avendo a disposizione questo set di dati, i documenti devono essere inviati al Computational Intelligence Technology Lab (CITlab) dell’Università di Rostock. La creazione del training di dati è fondamentale perché permette al software di avviare il riconoscimento dei caratteri.

		+	Esiste un protocollo, chiamato International Image Interoperability Framework (IIIF), creato dalle istituzione per processare le immagini e i metadati estratte dai manoscritti. È implementata ad un protocollo internet e raccoglie immagini direttamente dal web, tenendo conto che molte sono bloccate nel sito di partenza. Ha dei server personali che raccolgono immagini con le loro descrizioni e parametri e fanno vedere i vari livelli.

		+	Un altro progetto di Machine Learning per la trascrizione di documenti è HORAE, riguardante le varie versioni del Libro delle Ore, importantissimi in epoca medievale di cui esistono circa 10.000 esemplari manoscritti.
		+
		+	Altri studi sono stati intrapresi sugli alfabeti siriaci e thai, su manoscritti tedeschi dell’alto medioevo utilizzando i Modelli Markov e le reti Neurali. Infine un altro esempio è HISPAMUS <ref>''HISPAMUS: Handwritten Spanish Music Heritage Preservation by Automatic Transcription'', José M. Iñesta, Pedro J. Ponce de León, David Rizo, José Oncina, Luisa Micó, Juan Ramón Rico-Juan, Carlos Pérez-Sancho, Antonio Pertusa, Software and Computing Systems, University of Alicante, Spain, pp.17-18.</ref> che analizza documenti musicali spagnoli attraverso la trascrizione automatica.

	}}		}}

← Versione meno recente		Versione delle 01:05, 28 mar 2021
Riga 98:		Riga 98:

	Il progetto IMPACT, per esempio, ha lavorato a livello Europeo sull’utilizzo delle tecnologie OCR e sul language processing.		Il progetto IMPACT, per esempio, ha lavorato a livello Europeo sull’utilizzo delle tecnologie OCR e sul language processing.
		+
		+	Un altro interessante progetto è sulla piattaforma DAE, creato appositamente open source per realizzare analisi comparativa di documenti. Non è andato a buon fine in quanto pretendeva di tenere i documenti analizzati sui propri server e non su quelli delle organizzazioni proprietarie.

@@ Riga 91: / Riga 91: @@
 All’interno della suite Google Drive, troviamo Google Docs Ocr, che permette la conversione immediata di immagini o di PDF in un singolo blocco di testo.
 Altri software di questo tipo sono ABBYY FineReader e Transym.
 }}

@@ Riga 80: / Riga 80: @@
 Altro strumento è IBM Watson Natural Language Understanding, che ha il vantaggio di rendere il lavoro facile ed intuitivo per l’utente finale; ha inoltre la possibilità di creare delle papeline di Entity Recognition. Dal punto di vista grafico fornisce una ricca e completa User Interface per definire le entità da estrarre e altre utili informazioni per guidare l’utente nei suoi compiti: per l’estrazione di informazione usa le espressioni regolari, che servono per comprendere il contenuto del documento.
-[[Arquivo:InPettisano2.png|600px|thumb|center|<div style="text-align: center;">(Scheme of IBM Watson services used for document classification and entity
+[[Arquivo:InPettisano2.png|600px|thumb|center|<div style="text-align: center;">(Scheme of IBM Watson services used for document classification and entity recognition. source: github.com/IBM/) </div>]]
 recognition. source: github.com/IBM/) </div>]]
 }}

@@ Riga 74: / Riga 74: @@
 Tra i software di Entity Recognition commerciali, che potrebbero essere utilizzati per la lettura di manoscritti, possiamo trovare Google Document Understanding API, che, come anche gli esempi seguenti, non nasce per questo scopo, ma come uno strumento particolare dove si combinano le tecnologie dell’Auto Machine Learning e del Natural Language Processing e si riesce a creare modelli personalizzati per l’''Entity Recognition'' dei testi estratti utilizzando il software OCR dedicato.
-[[Arquivo:InPettisano1.png|800px|thumb|center|<div style="text-align: center;">(Google Document Understanding API Scheme. source: cloud.google.com)</div>]]
+[[Arquivo:InPettisano1.png|600px|thumb|center|<div style="text-align: center;">(Google Document Understanding API Scheme. source: cloud.google.com)</div>]]
 }}