Big Data, Hadoop oraz MapReduce w języku Python (7.5h)
Opanuj budowanie MapReduce Jobs używając biblioteki MRJob oraz usługi Amazon Elastic MapReduce!
Obejrzyj promo Zapisz się na kurs
Odnajdź się w świecie big data!
Umiejętność analizowania dużych zbiorów danych (Big Data) jest niezwykle gorącym tematem i zarazem jedną z najbardziej poszukiwanych umiejętności na rynku. Ponieważ cały ekosystem rozwiązań Big Data jest ogromny w tym kursie skupimy się głównie na paradygmacie programowania MapReduce, który jest podwaliną analiz Big Data.
Zbudujemy kilkanaście MapReduce Jobów, m. in. przeanalizujemy ruch lotniczy nad Stanami Zjednoczonymi, czy ruch taksówek w Nowym Jorku. Znajdziemy średni dystans pokonywamy przez połączenia lotnicze, czy chociażby najbardziej popularny punkt odbioru nowojorskich taksówek.
W celu uruchomienia naszych Jobów postawimy klaster Hadoopowy w chmurze Amazona wykorzystując usługę EMR - Elastic MapReduce.
Czego między innymi nauczysz się na kursie?
- Paradygmat programowania MapReduce do rozwiązań Big Data
- Omówienie podstawowych elementów ekosystemu Hadoop
- Budowanie MapReduce Jobs w oparciu o bibliotekę MRJob
- Debugging MapReduce Jobs
- Uruchomienie programów MapReduce lokalnie
- Uruchomienie programów MapReduce z wykorzystaniem chmury - Amazon Web Services (AWS)
- Usługa Amazon Elastic MapReduce
- Analiza zawartości tekstowej Iliady
- Analiza danych dotyczących linii lotniczych
- Analiza danych dotyczących ruchu taksówek
- Analiza danych dotyczących recenzji produktów na sklepie internetowym Amazon
- Przykład użycia Big Data oraz technik NLP w przetwarzaniu języka
Czy istnieją jakieś wymagania dotyczące kursu?
- podstawowa znajomość języka Python (najlepiej ukończony kurs Programowanie w języku Python - od A do Z - 2020)
- znajomość biblioteki pandas (najlepiej ukończony kurs Wprowadzenie do data science w języku Python - Pandas)
- podstawowa znajomość bibliotek do wizualizacji danych (najlepiej ukończony kurs Interaktywne wizualizacje danych w języku Python - Plotly)
- podstawowa znajomość bibliotek do data science (najlepiej ukończony kurs Data Science Bootcamp w języku Python - od A do Z)
Recenzje uczestników
Twój instruktor
Data Scientist, Securities Broker
Założyciel platformy e-smartdata.org
Autor kilkunastu szkoleń online z zakresu języka python, analizy danych, data science, uczenia maszynowego, uczenia głębokiego, sieci neuronowych czy sztucznej inteligencji.
Miłośnik nowych technologii, szczególnie w obszarze sztucznej inteligencji, big data oraz rozwiązań chmurowych.
Absolwent podyplomowych studiów na Polsko-Japońskiej Akademii Technik Komputerowych na kierunku Informatyka, spec. Big Data.
Absolwent studiów magisterskich z matematyki finansowej i aktuarialnej na wydziale Matematyki i Informatyki Uniwersytetu Łódzkiego.
Od 2015 roku posiadacz licencji maklera papierów wartościowych z uprawnieniami do czynności doradztwa inwestycyjnego.
Wykładowca w Fundacji GPW prowadzący szkolenia dla inwestorów z zakresu analizy technicznej, finansów behawioralnych i zasad zarządzania portfelem instrumentów finansowych.
Z doświadczeniem w prowadzeniu zajęć dydaktycznych na wyższej uczelni z przedmiotów związanych z rachunkiem prawdopodobieństwa i statystyką.
Kilkadziesiąt wystąpień publicznych o tematyce rynków finansowych, czy data science.
Główne obszary zainteresowań to sztuczna inteligencja, uczenie maszynowe, uczenie głębokie i rynki finansowe.
NIE WIESZ GDZIE ZACZĄĆ?
REKOMENDOWANE ŚCIEŻKI UCZENIA
ALL-IN-ONE
PYTHON DEVELOPER:
- Python - Pierwsze Kroki - Instalacja i konfiguracja
- Programowanie w języku Python - od A do Z - 2020
- 200+ Ćwiczeń - Programowanie w języku Python - od A do Z
DATA SCIENTIST / MACHINE LEARNING ENGINEER:
- Programowanie w języku Python - od A do Z - 2020
- 200+ Ćwiczeń - Programowanie w języku Python - od A do Z
- Wprowadzenie do data science w języku Python - Pandas
- Interaktywne wizualizacje danych w języku Python - Plotly
- Data Science Bootcamp w języku Python - od A do Z
- 250+ Ćwiczeń - Data Science Bootcamp w języku Python
- Machine Learning Bootcamp w języku Python cz.I - od A do Z
- Machine Learning Bootcamp w języku Python cz.II - od A do Z
- Machine Learning Bootcamp w języku Python cz.III - Ćwiczenia
DATA SCIENTIST / DEEP LEARNING ENGINEER:
- Programowanie w języku Python - od A do Z - 2020
- 200+ Ćwiczeń - Programowanie w języku Python - od A do Z
- Wprowadzenie do data science w języku Python - Pandas
- Interaktywne wizualizacje danych w języku Python - Plotly
- Data Science Bootcamp w języku Python - od A do Z
- 250+ Ćwiczeń - Data Science Bootcamp w języku Python
- Machine Learning Bootcamp w języku Python cz.I - od A do Z
- Machine Learning Bootcamp w języku Python cz.II - od A do Z
- Machine Learning Bootcamp w języku Python cz.III - Ćwiczenia
- Wprowadzenie do sieci neuronowych - Tensorflow 2.0 + Keras
- Deep Learning w języku Python - Konwolucyjne Sieci Neuronowe
- Artificial Intelligence – Computer Vision w języku Python
BI ANALYST / DATA ANALYST:
- Programowanie w języku Python - od A do Z - 2020
- 200+ Ćwiczeń - Programowanie w języku Python - od A do Z
- Wprowadzenie do data science w języku Python - Pandas
- Interaktywne wizualizacje danych w języku Python - Plotly
- Twórz nowoczesne aplikacje webowe w Pythonie - Dash, Plotly
- Data Science Bootcamp w języku Python - od A do Z
- 250+ Ćwiczeń - Data Science Bootcamp w języku Python
BIG DATA ANALYST:
- Programowanie w języku Python - od A do Z - 2020
- 200+ Ćwiczeń - Programowanie w języku Python - od A do Z
- Wprowadzenie do data science w języku Python - Pandas
- Interaktywne wizualizacje danych w języku Python - Plotly
- Big Data, Hadoop oraz MapReduce w języku Python
- Big Data: Analiza danych przy użyciu SQL oraz BigQuery (GCP)
C DEVELOPER:
- Programowanie w języku C - od A do Z - 2020
- 150+ Ćwiczeń - Programowanie w języku C - od A do Z - 2020
C++ DEVELOPER:
Strona na FB: https://www.facebook.com/esmartdata/
Grupa na FB: https://www.facebook.com/groups/esmartdata/
Planujesz zakup większej ilości kursów na platformie?
Odezwij się do nas, damy solidną zniżkę!
Pozdrawiamy,
Zespół e-smartdata.org
[email protected]