À propos
ALGOTEQUE is an IT consultancy firm that helps startups, mid-sized and large corporations to create and deliver innovative technologies.
Our team has a successful track record in designing, developing, implementing, and integrating software solutions (AI, ML, BI, Web, Automation) for Telecom, Energy, Bank, Insurance, Pharma, Automotive, Industry, e-commerce. We deliver our services both in fixed-price and time-and-materials models, helping our customers achieve their business and IT strategies.
Le poste
Poszukujemy doświadczonego Big Data Engineer, który będzie odpowiedzialny za wdrażanie i projektowanie nowoczesnych systemów przetwarzania danych i systemów big data zgodnie z procesem Scrum oraz z wyjątkowymi wymaganiami naszych klientów.
- Wdrażanie innowacyjnych systemów przetwarzania danych oraz systemów big data zgodnie z metodologią Scrum.
- Projektowanie, implementacja i optymalizacja procesów Spark.
- Doświadczenie w pracy z różnymi formatami danych, takimi jak JSON, PARQUET, ORC, AVRO.
- Integracja danych z różnych źródeł danych.
- Znajomość narzędzi do budowy projektów/aplikacji, w tym Maven.
- Praktyczna wiedza w zakresie automatyzacji CI/CD.
Profil recherché
- Minimum 5 lat doświadczenia w branży informatycznej.
- Znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi.
- Znajomość platformy Hadoop Cloudera/Hortonworks.
- Minimum 3 lata komercyjnego doświadczenia w Python/Scala/Java.
- Doświadczenie w pracy z bazami danych, takimi jak Hive, Kudu, HBase itp.
- Zaawansowana znajomość języka SQL.
- Znajomość narzędzi Agile, takich jak Jira, Confluence, Kanban, Scrum itp.
Mile widziane:
- Znajomość platformy Kubeflow.
- Doświadczenie w technologiach i narzędziach strumieniowych, takich jak Kafka, Apache Nifi.
- Umiejętność tworzenia skryptów do automatyzacji (Ansible).
