Według raportu McKinsey & Company firmy oparte na danych (czyli te, które szeroko korzystają z analityki klienta) mają:
- 23 razy większą szansę na wyprzedzenie konkurencji w pozyskiwaniu nowych klientów
- 9 razy większą szansę na wyprzedzenie konkurencji pod względem lojalności klientów
- 19 razy większą szansę na osiągnięcie ponadprzeciętnej rentowności
Brzmi jak coś, co chciałbyś zobaczyć w swojej firmie? Jeśli tak, to czas w końcu zainwestować w analitykę danych — a cały proces zaczyna się od zatrudnienia inżyniera danych.
Czym zajmuje się inżynier danych?
Najlepiej odpowiedzieć na to pytanie, przyglądając się różnicy między rolą analityka danych a samego inżyniera danych.
Zadaniem analityka danych jest dokładne przeanalizowanie dostępnych danych. Na tej podstawie powstają raporty, służące głównie temu, by decyzje podejmowane w firmie wynikały z badań, a nie z prostych, niepotwierdzonych założeń. Analitycy danych mogą zaczynać analizę od wcześniej przygotowanej hipotezy albo formułować ją w trakcie badania eksploracyjnego.
Skąd jednak biorą się analizowane dane? Czy pojawiają się magicznie na komputerze analityka? Oczywiście nie. I tu właśnie do gry wchodzą inżynierowie danych. Ich rolą jest wyciągnięcie danych z możliwie wielu istotnych źródeł i dostarczenie ich następnie analitykom do analizy.
Obowiązki inżyniera danych
Większość roli inżyniera danych skupia się na zbudowaniu i utrzymaniu stabilnego pipeline'u danych, który regularnie dostarcza nowe treści analitykom. Służą do tego bardzo złożone algorytmy. Ich celem jest pobranie danych w wymaganej formie z logów użytkowników, zgłoszeń do wsparcia klienta, map ciepła, a nawet ze źródeł zewnętrznych. Przydatne jest wszystko, co pomaga zrozumieć, jak działa produkt i czego jeszcze potrzebuje — nic nie może zostać pominięte.
Ten proces wydobywania danych z różnych miejsc bywa nazywany data miningiem. Później surowe dane trzeba przekształcić (przenieść) do formy łatwo zrozumiałej dla analityków. Może to obejmować na przykład pisanie algorytmów, które umieszczą określone typy danych w różnych kolumnach arkusza.
Po przeniesieniu dane trafiają zwykle do bazy zwanej hurtownią danych. Jej stworzenie i utrzymanie to kolejna ważna część roli inżyniera danych. Dzięki hurtowni analitykom łatwiej jest później sięgać po dane historyczne i badać na ich podstawie trendy.
Wszystko to składa się na najbardziej typową architekturę pipeline'u ETL używaną w inżynierii danych. ETL to skrót od Extract, Transform, Load.
Inżynierowie danych mogą odpowiadać także za:
- Tworzenie dashboardów analitycznych używanych przez różne zespoły w firmie.
- Przygotowywanie raportów danych dla interesariuszy.
- Zarządzanie jeziorami danych (w odróżnieniu od hurtowni dane w jeziorze są surowe, nieprzetworzone, trudniej dostępne i trudniejsze do zrozumienia dla osoby spoza zespołu inżynierskiego).
- Wykrywanie podejrzanych anomalii w danych.
Najważniejsze techniczne kompetencje inżyniera danych
Analityków i inżynierów danych różni zwykle również wykształcenie. Ci pierwsi to najczęściej rodzaj statystyków pracujących z Pythonem, arkuszami i rachunkiem prawdopodobieństwa, ci drudzy to często absolwenci informatyki o wiedzy bliższej tej, którą ma typowy programista.
Do najbardziej typowych technicznych kompetencji wymaganych na tym stanowisku należą:
- Ekspercka znajomość technologii zarządzania bazami danych (SQL, NoSQL).
- Biegłość w językach programowania używanych w data science (Python, Scala, R, Java, C++ i inne), a także w popularnych bibliotekach i frameworkach dedykowanych tym technologiom.
- Dobre zrozumienie modelu ETL i wcześniejsze doświadczenie w budowaniu takich pipeline'ów.
- Zrozumienie koncepcji machine learningu.
- Doświadczenie w budowie hurtowni danych i narzędziach do tego służących (np. Amazon Redshift, Panoply).
- Doświadczenie w zarządzaniu danymi w chmurze (np. w Amazon Web Services).
- Doświadczenie z Apache Hadoop lub podobnymi narzędziami. Hadoop służy do łączenia wielu komputerów, tak by wspólnie rozwiązywały problemy wymagające ogromnych ilości danych.
- Doświadczenie w analizie danych.
Nietechniczne kompetencje inżyniera danych
- Praca zespołowa
Ponieważ jednym z najważniejszych celów inżyniera danych jest dostarczanie treści analitykom, umiejętność pracy w zespole jest w tej roli wyjątkowo ważna. Warto, by inżynier i analityk regularnie się spotykali, żeby uzgodnić bieżące potrzeby biznesowe i wspólnie wypracować najlepsze rozwiązania.
- Doświadczenie w pracy z osobami spoza świata developmentu i danych
Praca inżyniera danych wymaga stałego kontaktu z nietechnicznymi zespołami w firmie. Dlatego dobry inżynier danych powinien umieć przełożyć swój żargon na język zrozumiały dla kogoś, kto nie ma dużego doświadczenia z danymi.
- Biznesowe podejście do pracy
Choć analitycy danych zwykle podają konkretne wytyczne, jakich danych potrzebują, inżynierowie danych również powinni umieć myśleć o bieżących potrzebach biznesu i szukać najlepszych sposobów dostarczania treści przydatnych dla firmy.
- Kreatywność
Choć w pracy inżyniera danych obowiązuje wiele dobrych praktyk, jest w niej też miejsce na kreatywność: szukanie nowych źródeł danych, sposobów ich katalogowania pasujących do firmy, optymalizowanie pipeline'u przy ograniczonych zasobach itd. Każdy problem można rozwiązać na kilka sposobów, a wybór należy do inżyniera danych.
- Sprawne działanie wielotorowe
Inżynierowie danych zajmują się często kilkoma różnymi zadaniami dziennie, więc dobra organizacja czasu jest kluczowa. Muszą też liczyć się z tym, że zawsze może pojawić się nagły problem, który zaburzy zaplanowany harmonogram.
Najlepsze pytania na rozmowie z inżynierem danych
Przeprowadzenie rozmowy technicznej przy zatrudnianiu inżyniera danych jest kluczowe — pozwoli ocenić, czy zatrudniasz naprawdę doświadczonego profesjonalistę. Jeśli nie czujesz się wystarczająco pewnie w obszarze zarządzania danymi, rozważ poproszenie eksperta o pomoc w procesie rekrutacji. Może to być inny inżynier danych albo dobrze zorientowany project manager IT.
Żebyś był przygotowany, oto kilka naszych ulubionych pytań rekrutacyjnych dla inżynierów danych:
- Jakie są podstawowe metody Hadoop Reducera?
- Czym są Star Schema i Snowflake Schema?
- Jak podszedłbyś do przeniesienia plików logów o rozmiarze ponad 1 000 000 gigabajtów do bazy danych?
- Jakie są różnice między bazami relacyjnymi a nierelacyjnymi?
- Jakie są różnice między SQL a NoSQL? W jakich sytuacjach jedno jest lepsze od drugiego?
- W jakich narzędziach ETL czujesz się najlepiej? Dlaczego wybrałeś akurat te, a nie inne?
- Czym jest lista wiązana?
Poza rozmową można przeprowadzić dodatkowe testy wiedzy, żeby ocenić faktyczne doświadczenie potencjalnego inżyniera danych. Zwykle są to krótkie zadania do wykonania w domu (w ciągu 1-7 dni od otrzymania) albo zadania przy tablicy realizowane podczas rozmowy technicznej. Zanim je zastosujesz, skonsultuj najlepsze podejście z innym inżynierem danych albo project managerem IT doświadczonym w zarządzaniu danymi — spojrzy na Twój obecny proces i pomoże ustalić, co dokładnie warto sprawdzić na rozmowie technicznej.
Jak wycisnąć z danych jak najwięcej
Data scientists to ogromne wsparcie, jeśli chcesz zrozumieć, co Twoi klienci naprawdę myślą i czego chcą, ale w zespole potrzebujesz też osób, które zamienią te potrzeby w działający produkt.
Jeśli szukasz świetnych programistów (w tym full-stackowców), projektantów, ekspertów AI, project managerów czy product ownerów, trafiłeś we właściwe miejsce. W Ideamotive zbudowaliśmy i stale rozwijamy sieć najlepszych specjalistów IT szukających nowych możliwości i wyzwań zawodowych. Skontaktuj się z nami już dziś, żeby się z nimi połączyć i zbudować przyszły nagradzany zespół.
