Основные обязанности:

- Разработка архитектуры распределенного хранилища
- Проектирование инфраструктуры для обработки больших объёмов структурированных, полуструктурированных и неструктурированных данных.
- Реализация решений для потоковой обработки данных
- Проработка интеграции с внешними системами с учетом специфики текущего или планируемого стека технологии
- Развитие стека технологии для удовлетворения требовании бизнеса
- Оптимизация действующих процессов в целях минимизации затрат
- Настройка процессов ETL/ELT для извлечения, преобразования и загрузки данных.
- Code review и менторство команды разработки

Основные требования:

• Опыт разработки архитектуры хранилищ данных и озер данных (data lakehouse).
• Знание принципов моделирования данных (Kimball, Inmon, Data Vault).
• Оптимизация архитектуры для обработки больших объемов данных (терабайты/петабайты).
• Опыт работы с S3 как объектным хранилищем для больших данных.
• Знание принципов организации данных (партиционирование, форматы хранения).
• Понимание табличных форматов для озер данных (data lakes) и их применения в озерах данных.
• Знание SQL и оптимизации запросов для высокопроизводительных аналитических вычислений.
• Глубокое понимание экосистемы Hadoop (HDFS, YARN, MapReduce) . Опыт настройки и оптимизации кластеров Hadoop.
• Большой опыт разработки процессов с использованием Spark и PySpark. Оптимизация производительности Spark
• Настройка NiFi для интеграции с S3, Hadoop, Spark и другими системами.
• Уверенное владение Java/Python для работы с Spark и кастомных интеграций.
• Знание инструментов мониторинга (Prometheus, Grafana) и профилирования производительности кластеров.
• Проверка кода на читаемость, производительность, масштабируемость и соответствие стандартам.
• Навыки обучения и наставничества для junior/middle специалистов. Способность объяснять сложные архитектурные концепции простым языком.
• Умение взаимодействовать с бизнес-аналитиками, дата-инженерами и стейкхолдерами для уточнения требований.
• Способность вести команду, принимать решения и защищать архитектурные подходы.
• Минимум 5–7 лет опыта в области больших данных, из них 2–3 года в роли архитектора.
• Английский язык: Уровень не ниже Upper-Intermediate для работы с документацией и международными командами.

Условия:

•Жалақы және бонустар: Грейдтеу жүйесінің арқасында бәсекеге қабілетті жалақы, Тәуелсіздік күніне сыйақылар және жылдық бонус.
•Әлеуметтік пакет: ДМС және өмірді сақтандыру, мобильді байланыс және серіктестердің жеңілдіктері.
•Демалыс: Маңызды оқиғалар болған жағдайда қосымша күндермен 26 күндік демалыс.
•Ұсынымдар үшін бонустар.
•Жұмыс жағдайлары: Тұраққа жазылымды сатып алуға арналған жеңілдікті шарттар, еркін киім стилі (smart casual).
•Оқыту және даму: Тренингтер, вебинарлар және корпоративтік кітапханаға қолжетімділік, мансаптық өсудің нақты жүйесі.
•Корпоративтік мәдениет: Ашық және достық жұмыс атмосферасы, спорттық турнирлер және белсенді корпоративтік өмір.
•Бастамалар мен жобалар: Әлеуметтік жобаларға қатысу мүмкіндігі, қазіргі заманғы digital-құралдарды қолдана отырып, «Halyk» тобының жаңа жобаларында өз идеяларыңызды жүзеге асыру.
•Команда: Идеяларыңызды жүзеге асыруға мүмкіндік беретін шығармашылық және қолдаушы команда.
Бізге қосылып, «Halyk» командасының бір бөлігі болыңыз!