Elementy przetwarzania wsadowego zbiorów BIG DATA 2700-M-ZBD-D2EPWZ
Laboratorium, obejmuje zagadnienia praktycznego przetwarzania dużych zbiorów danych, w tym:
- wsadowe przetwarzanie danych z wykorzystaniem systemu plików, brokera informacji i baz danych,
- problematykę replikacji, podziału na partycje, transakcje i przetwarzanie strumieniowe,
- rozproszone systemy plikowe i baz danych,
- przechowywanie, kolekcjonowanie i kodowanie danych wraz z realizacją ich przepływu,
- wsadową konwersję różnych formatów danych wejściowych na postać znormalizowaną, będącą surowcem dla procesów rafinacji danych.
Rodzaj przedmiotu
Tryb prowadzenia
Koordynatorzy przedmiotu
Efekty kształcenia
Wiedza:
Posiada wiedzę w zakresie wsadowego przetwarzania dużych zbiorów danych. Zna ograniczenia w obszarach przetwarzania dużych zbiorów danych. Posiada wiedzę na temat rozproszonych systemów plików i baz danych. Wie na czym polega konwersja różnych postaci danych cyfrowych.
Umiejętności:
Potrafi opracować mechanizm wsadowego przetwarzania danych.
Potrafi wykorzystać potencjał rozproszonego systemu plików, brokera informacji i bazy danych.
Potrafi wykonać konwersję pomiędzy różnymi formatami danych.
Inne kompetencje:
Absolwent posiada kompetencje i praktyczne umiejętności z zakresu przetwarzania dużych zbiorów danych.
Kryteria oceniania
Zadania zlecone przez prowadzącego.
Aktywność na zajęciach.
Literatura
• Banachowski L., Diks K., Rytter W., Wydawnictwa Naukowo-Techniczne, Algorytmy i struktury danych, Warszawa 2018.
• Beynon-Davies P., Systemy baz danych, Warszawa 2003.
• Harrison G., Pilch P., Grupa Wydawnicza Helion, NoSQL, NewSQL i BigData: bazy danych następnej generacji, Gliwice 2019.
• Kleppmann M., Walczak T., Grupa Wydawnicza Helion, Przetwarzanie danych w dużej skali: niezawodność, skalowalność i łatwość konsekwencji systemów, Gliwice 2018.
• Lutz M., Meryk R., Python: wprowadzenie, Gliwice 2011.
• McKinney W., Matuk K., Grupa Wydawnicza Helion, Python w analizie danych: przetwarzanie danych za pomocą pakietów Pandas i NumPy oraz środowiska IPython, Gliwice 2018.
• Ullman J.D., Widom J., Meryk R., Podstawowy kurs systemów baz danych, Gliwice 2011.
Więcej informacji
Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb: