This course was created with the
course builder. Create your online course today.
Start now
Create your course
with
Automatyczne odtwarzanie
Autouzupełnienie
Poprzedni wykład
Kontynuuj
Big Data, Hadoop oraz MapReduce w języku Python (7.5h)
Wprowadzenie do Big Data
Wprowadzenie do Big Data (3:49)
Wymagania
Big Data - początki i historia (4:14)
The 5 V's of Big Data (4:06)
Big Data - przykłady zastosowań (11:22)
Ekosystem Big Data
Ekosystem Big Data (5:58)
Apache Hadoop (0:59)
Ekosystem Apache Hadoop (4:59)
Klaster obliczeniowy - on-premise vs. cloud (2:07)
HDFS - Hadoop Distributed File System
HDFS - Hadoop Distributed File System (1:46)
Jak składowany jest plik w systemie plików HDFS? (6:40)
MapReduce
Algorytm MapReduce - Map + Reduce (6:43)
Algorytm MapReduce - Map + Combine + Reduce (5:14)
Algorytm MapReduce - spojrzenie wysokopoziomowe (5:01)
Przygotowanie środowiska
Narzędzia wykorzystywane podczas kursu (1:56)
PyCharm Community Edition
Utworzenie repozytorium kursu na GitHub + synchronizacja z PyCharm (4:41)
MapReduce w języku Python - mrjob
Pierwszy MapReduce Job w języku Python (12:26)
Pierwszy MapReduce Job w języku Python - kilka uwag (3:14)
MapReduce: SMS Spam Collection (5:37)
MapReduce: SMS Spam Collection - podstawowe statystyki (4:37)
MapReduce: Kontrola kroków (map, reduce) (4:15)
MapReduce w języku Python - Iliada
MapReduce: Iliada - word count cz. 1 (8:53)
MapReduce: Iliada - word count + regex cz. 2 (4:07)
MapReduce: Iliada - najczęściej występujące słowo (11:45)
MapReduce: Map + Combine + Reduce
MapReduce: Map + Combine + Reduce (9:27)
MapReduce: Map + Combine + Reduce cz. 2 (4:44)
MapReduce w języku Python - Airplane dataset
MapReduce: airplane dataset + MapReduce Job (12:34)
MapReduce: Wstępne przetworzenie danych - preprocessing (9:23)
MapReduce: Średnia odległość lotu (17:35)
MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc (12:13)
MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc cz. 2 (9:29)
JupyterNotbook: Eksploracja wyników (Plotly) (17:32)
Zadanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze (1:18)
Rozwiązanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze (6:46)
Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze + pełne nazwy (11:38)
JupyterNotbook: Ekspolracja wyników (Plotly) (4:42)
Zadanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze (1:07)
Rozwiązanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze (9:31)
JupyterNotbook: Ekspolracja wyników (Plotly) (4:11)
Zadanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze (3:16)
Rozwiązanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze (9:27)
MapReduce w języku Python - Taxi dataset
Średnia całkowita kwota rachunku w rozbiciu na dostawców (8:22)
Zadanie: Znaleźć rozkład liczby pasażerów na przejazd (1:08)
JupyterNotbook: Ekspolracja wyników (Plotly) (4:54)
MapReduce: Najbardziej popularna lokalizacja odbioru (14:13)
Eksploracja wyników - Google Maps (3:39)
Hadoop w chmurze AWS - usługa EMR (Elastic MapReduce)
Uwaga!
Założenie konta na AWS + przegląd usług (11:27)
Uwaga!
Instalacja i konfiguracja narzędzia do pracy z AWS - AWS CLI (8:58)
Hadoop - Uruchomienie job'a na pojedynczej instancji (15:00)
Hadoop - Uruchomienie job'a na klastrze (1 master, 4 nodes) (12:48)
MapReduce w języku Python - Taxi dataset c.d.
Zadanie: Ruch taksówek w rozbiciu na godziny (1:02)
Rozwiązanie: Ruch taksówek w rozbiciu na godziny (8:57)
JupyterNotbook: Ekspolracja wyników (Plotly) (5:28)
Zadanie: Średnia długość trasy kursu taksówki (0:38)
Rozwiązanie: Średnia długość trasy kursu taksówki (4:25)
MapReduce w języku Python - Food reviews dataset
Dataset - recenzje dotyczące zakupów w sklepie internetowym Amazon (2:34)
Wstępne przetworzenie danych (6:18)
Rozgrzewka - rozkład ocen (5:18)
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 1 (6:43)
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 2 (17:59)
Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 3 (11:33)
Uruchomienie MapReduce lokalnie (6:50)
Uruchomienie MapReduce w chmurze - Amazon EMR (35:13)
BONUS
Grupa na Facebook'u (0:51)
Rekomendowane ścieżki uczenia
Bonus
Hadoop - Uruchomienie job'a na klastrze (1 master, 4 nodes)
Treść wykładu zablokowana
Jeśli jesteś już zarejestrowany,
musisz się zalogować
.
Zapisz się na kurs, aby odblokować
course builder. Create your online course today.
Start now
course builder. Create your online course today.
Start now
course builder. Create your online course today.
Start now
