Corso di Studi in Ingegneria Informatica

SCHEDA DELL'INSEGNAMENTO (SI)
SSD ING-INF/03

 

LAUREA MAGISTRALE IN INGEGNERIA INFORMATICA

ANNO ACCADEMICO: 2022-2023

 

DOCENTE: MARCO LOPS
TELEFONO: 081-76-83148
EMAIL: Questo indirizzo email è protetto dagli spambots. È necessario abilitare JavaScript per vederlo.

 

INSEGNAMENTO INTEGRATO (EVENTUALE): 
MODULO (EVENTUALE):
CANALE (EVENTUALE): “TEORIA DELL’INFORMAZIONE – ANNO ACCADEMICO 2021-2022”
ANNO DI CORSO (I, II, III): I/II
SEMESTRE (I, II): I
CFU: 9

 

...................................................................................................................................................

 

Elementi di teoria della probabilità.

 

Il corso, destinato agli studenti di laurea magistrale che abbiano acquisito nel precedente triennio gli elementi di base delle discipline dell’informazione, ha per obiettivo principale l’inquadramento sistematico di concetti quali definizione e misura dell’informazione, compressione dati (codifica di sorgente), compressione con perdite (teorema rate-distortion e quantizzazione vettoriale), trasmissione affidabile dell’informazione su canali rumorosi (codifica di canale). Lo studente acquisirà quindi nozioni specialistiche sull’esistenza di limiti fondamentali sia sul tasso di compressione che su quello di trasmissione dell’informazione.

 

Conoscenza e capacità di comprensione
Lo studente dovrà essere in grado di comprendere le funzioni delle varie parti costitutive dei sistemi di elaborazione, immagazzinamento e trasferimento dell’informazione, nonché i principi che ne ispirano il progetto. Inoltre, lo studente dovrà essere in grado di “rileggere” alcune nozioni acquisite nell’ambito del triennio di base alla luce dei principi generali della Teoria dell’Informazione.

Capacità di applicare conoscenza e comprensione
Lo studente dovrà non solo essere in grado di applicare concretamente i concetti forniti durante il corso al progetto di specifiche parti costitutive dei sistemi – per esempio, codificatori di sorgente e/o di canale, quantizzatori, ecc. – ma anche di riconoscerne l’applicabilità a discipline apparentemente lontane (quali complessità, computabilità, ecc.).

 

Concetti fondamentali. Informazione e sua misura: l’entropia e le sue proprietà. Entropia congiunta e condizionale. Divergenza e mutua informazione. Proprietà delle principali grandezze informazionali.
Codifica dell’alfabeto di sorgente. Introduzione alla codifica di sorgente. Codici non singolari, univocamente decifrabili e a prefisso. Codici di Huffman, di Shannon, di Shannon-Fano-Elias. Limiti informazionali alla lunghezza media dei codici di sorgente. Codifica a blocchi. Caratterizzazione delle sorgenti: il tasso entropico e le sue interpretazioni. Concetto di tipicità e sue implicazioni nella compressione dati. Codifica aritmetica. Codifica di Lempel-Ziv.
Capacità di canale. Concetti fondamentali: canali di comunicazione, tasso di trasmissione, tasso di codifica. Capacità di canale: concetti generali e casi notevoli. Teorema della codifica di canale. Esempi di codici di canale: codifica binaria lineare a blocchi e suoi limiti prestazionali. Separabilità della codifica di sorgente e della codifica di canale. Estensione al caso continuo delle principali grandezze informazionali. Canali continui e loro capacità. Il canale Gaussiano additivo. Canali Gaussiani in parallelo. Canali Gaussiani con memoria. Cenni ai canali con feedback.
Compressione con perdite. Introduzione al concetto di compressione con perdite: il tasso (Rate) e la Distorsione (Distortion). Il concetto di Rate-Distortion function. Calcolo della funzione R-D per alcune sorgenti notevoli e sue interpretazioni. Codifica (con perdite) a blocchi e sua interpretazione. Teorema Rate-Distortion. Applicazioni: quantizzazione scalare e quantizzazione vettoriale. Progetto di quantizzatori vettoriali. Esempi.
Cenni ai canali MIMO. Cenni ai canali con fading: il canale wireless. Diversità in ricezione e sue proprietà. Canali Multiple-Input Multiple.Output (MIMO). Cenni al calcolo della capacità di canali MMO. Cenni alla codifica spazio-temporale.

 

Materiale didattico (slides, note del docente) è disponibile sul canale teams “Teoria dell’Informazione – Anno Accademico 2021-2022”.
Il testo di riferimento è T. Cover, J. Thomas, “Elements of Information Theory”.

SI VEDA SITO WEB DEL DOCENTE DELLA MATERIA

 

Lezioni frontali, di cui circa 2/3 (48 ore) dedicate alla teoria e circa 1/3 (24 ore) ad esercitazioni numeriche, anche con l’ausilio di MATLAB.

 

a) Modalità di esame:

L'esame si articola in prova:
Scritta e orale
Solo scritta
Solo orale
Discussione di elaborato progettuale
Altro

 

In caso di prova scritta i quesiti sono (*):
A risposta multipla
A risposta libera
Esercizi numerici

  

 b) Modalità di valutazione:
La valutazione avverrà sulla base di un colloquio orale teso a verificare che lo studente abbia maturato i concetti basilari impartiti durante il corso.