About us
ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.
Job Description
- Projektowanie, rozwój i optymalizacja procesów przetwarzania danych przy użyciu Spark w Pythonie lub Scali
- Zarządzanie i integracja danych z wielu źródeł, zapewniając ich efektywne przetwarzanie i transformację
- Praca z różnymi formatami danych
- Implementacja i utrzymanie potoków danych na platformach opartych na Hadoop (Cloudera/Hortonworks)
- Tworzenie i optymalizacja zaawansowanych zapytań SQL do ekstrakcji, transformacji i analizy danych
- Zapewnienie jakości, spójności i wydajności danych w środowisku Big Data
- Współpraca z zespołami międzydziałowymi w celu usprawnienia procesów i architektury danych
Required qualifications
- Minimum 2 lata doświadczenia w branży IT
- Dobra znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi
- Co najmniej 1 rok doświadczenia w programowaniu procesów Spark w Pythonie lub Scali
- Praktyczna znajomość platform Hadoop (Cloudera/Hortonworks)
- Zaawansowana znajomość SQL
- Doświadczenie w pracy z różnymi formatami danych (JSON, PARQUET, ORC, AVRO)
- Zrozumienie różnych typów baz danych i ich zastosowań (Hive, Kudu, HBase itp.)
- Doświadczenie w integracji danych z wielu źródeł
Mile widziane:
- Praktyczna znajomość procesów i narzędzi Agile
- Znajomość dobrych praktyk w przetwarzaniu dużych zbiorów danych, w tym standardów kodowania, dokumentowania, testowania i wdrażania
- Znajomość platformy Kubeflow
- Doświadczenie w automatyzacji CI/CD
