Teoria da Informação e Codificação
Geral
Slides
-
Teoria da informação: Codificação de fonte
Introdução. Medida de informação. Entropia. Compressão de fonte sem perdas. Desigualdade de Kraft–McMillan. Limite da compressibilidade de Shannon. Código de Huffman. Códigos de Lempel–Ziv.
-
Teoria da informação: Codificação de canal
Entropia condicional e informação mútua. Canais discretos sem memória. Codificação para um DMC. Capacidade de um DMC. Entropia diferencial. Capacidade do canal AWGN.
-
Códigos de bloco
O problema de codificação de canal. Códigos de bloco. Códigos de bloco lineares. Distância mínima. Família dos códigos de Hamming. Arranjo padrão. Síndrome. Modelo probabilístico. Desempenho de códigos de bloco.
Listas de exercícios
Códigos
Execute o comando a seguir no terminal para criar um novo venv e instalar os pacotes necessários:
Compressão de fonte sem perdas
Links
- Information Theory, Inference, and Learning Algorithms por David J.C. MacKay
- O problema das 12 moedas. Demonstração interativa.