Teoria informacji 1000-2N03TI
1.Od gry w 20 pytań do pojęcia entropii. Nierówność Krafta. Kody Huffmana i Shannona-Fano.
2.Entropia warunkowa, informacja.
3.Pierwsze twierdzenie Shannona o optymalnym kodowaniu.
4.Kanały, utrata informacji, poprawa wydajności, przepustowość.
5.Główne twierdzenie Shannona o optymalnym przesyłaniu informacji.
6.Złożoność informacyjna Kołmogorowa . Liczba Chaitina.
7.Złożoność informacyjna Kołmogorowa a entropia Shannona - uniwersalny test Martina Loffa.
W przypadku braku studentów obcojęzycznych, zajęcia będą prowadzone po polsku.
Rodzaj przedmiotu
Koordynatorzy przedmiotu
Efekty kształcenia
Wiedza
Student
-- rozumie podstawowe pojęcia teorii informacji: entropia, informacja wzajemna, kanały komunikacyjne, przepustowość kanału, złożoność Kołmogorowa,
-- rozumie teoretyczne ograniczenia na efektywność zapisu (kompresji) informacji i na niezawodność komunikacji,
-- rozumie zasady działania algorytmów kompresji i algorytmów korekcji błędów.
Umiejętności
Student
-- potrafi zastosować pojęcie entropii w analizie danych,
-- potrafi wyznaczyć przepustowość kanału informacyjnego,
-- potrafi zastosować praktycznie algorytmy kompresji i metody korekcji błędów.
Kompetencje
Student dobrze rozumie matematyczny aspekt pojęcia informacji i potrafi wykorzystać
tę wiedzę zarówno w samej informatyce np. przy projektowaniu sieci i systemów rozproszonych,
zarządzaniu pamięcią masową itp., jak i w zastosowaniach informatyki, w szczególności
w analizie danych, kryptografii i bioinformatyce.
Kryteria oceniania
Na ocenę końcową składają się wyniki systematycznej pracy w ciągu semestru, wyniki kolokwium oraz wyniki egzaminu pisemnego.
Literatura
1. "Information and Coding Theory" by Gareth A. Jones and J. Mary Jones, Springer, 2000.
2. "Elements of Information Theory" by Thomas M. Cover and Joy A. Thomas,
Wiley Series in Telecommunications, 1991.
Więcej informacji
Więcej informacji o poziomie przedmiotu, roku studiów (i/lub semestrze) w którym się odbywa, o rodzaju i liczbie godzin zajęć - szukaj w planach studiów odpowiednich programów. Ten przedmiot jest związany z programami:
- Informatyka, stacjonarne, pierwszego stopnia
- Informatyka, stacjonarne, drugiego stopnia
- Matematyka, stacjonarne, drugiego stopnia
Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb: