Teoria da Informação e Codificação
Geral
Slides
-
Teoria da informação: Codificação de fonte
Introdução. Medida de informação. Entropia. Compressão de fonte sem perdas. Desigualdade de Kraft–McMillan. Limite da compressibilidade de Shannon. Código de Huffman. Códigos de Lempel–Ziv.
-
Teoria da informação: Codificação de canal
Entropia condicional e informação mútua. Canais discretos sem memória. Codificação para um DMC. Capacidade de um DMC. Entropia diferencial. Capacidade do canal AWGN.
-
Códigos de bloco
Introdução. Códigos de bloco. Códigos de bloco lineares. Distância mínima. Família dos códigos de Hamming. Arranjo padrão. Síndrome. Modelo probabilístico. Desempenho de códigos de bloco.
-
Códigos convolucionais
Introdução. Terminação de códigos convolucionais. Algoritmo de Viterbi. Desempenho de códigos convolucionais.
Apontamentos (old)
Listas de exercícios
Códigos
Execute o comando a seguir no terminal para criar um novo venv e instalar os pacotes necessários:
Links
- Information Theory, Inference, and Learning Algorithms por David J.C. MacKay
- O problema das 12 moedas. Demonstração interativa.