Основные обязанности:

Компанияның бизнес-міндеттері үшін LLM/VLM шешімдерін әзірлеу және енгізу Корпоративтік деректермен жұмыс істеу үшін RAG құбырларын жобалау және құру LangGraph және LangChain негізінде мульти-агентті жүйелерді әзірлеу және оңтайландыру Инференс серверлерін баптау және қызмет көрсету (vLLM, TGI, TensorRT-LLM) Нақты міндеттерге арналған модельдерді fine-tuning жасау (LoRA, QLoRA, RLHF, DPO) ML сервистерін өнімге интеграциялау үшін FastAPI-де REST API әзірлеу Docker және Kubernetes көмегімен ML сервистерін контейнерлеу және деплой жасау Модельдердің өнімділігін оңтайландыру: кванттау, батчинг, GPU жадын басқару Эмбеддингтерді сақтау үшін векторлық деректер қорларын жобалау және қолдау ML құбырлары үшін автоматты тесттер жазу және қолдау Өндірістегі модельдер сапасын мониторингтеу (LangSmith, OpenTelemetry) Модельдер мен тәсілдерді салыстыру үшін бенчмарктар және A/B-тесттер жүргізу GPU инфрақұрылымымен жұмыс: multi-GPU баптау, таратылған оқыту Модельдерді оқыту және бағалау үшін деректерді дайындау және тазалау Жаңа модельдерді, техникаларды және фреймворктарды зерттеу және енгізу Техникалық құжаттама және ADR (Architecture Decision Records) жазу Код-ревьюге қатысу және кіші мамандарға тәлімгерлік жасау Талаптар мен басымдықтарды анықтау үшін өнім тобымен өзара әрекеттесу Бұлттық GPU инфрақұрылымының құнын оңтайландыру Өндірістегі ML сервистерінің қауіпсіздігі мен сенімділігін қамтамасыз ету

Основные требования:

Python және Негізгі әзірлеу Python 3.10+ (async/await, type hints, dataclasses, protocols) Архитектуралық үлгілер (SOLID, DI, Clean Architecture) Тестілеу (pytest, unittest, mock, интеграциялық тесттер) Линтинг және форматтау (ruff, black, mypy) Тәуелділіктерді басқару (poetry, uv, pip-tools) Git & GitHub (тармақтау стратегиялары, CI/CD, код шолу)

LLM / VLM Transformer архитектурасын терең түсіну: attention, positional encoding, KV-cache LLM: GPT-4, Claude, LLaMA 3, Mistral, Gemma, Qwen модельдерімен жұмыс тәжірибесі VLM: LLaVA, InternVL, Qwen-VL, GPT-4V/4o, Pixtral Fine-tuning: LoRA, QLoRA, PEFT, толық fine-tuning, RLHF, DPO Prompt Engineering: Few-shot, Chain-of-Thought, ReAct, System prompts Бағалау: BLEU, ROUGE, perplexity, адам бағалауы, LLM-as-judge Токенизация: BPE, SentencePiece, tiktoken

LangChain және LangGraph LangChain: Chains, Agents, Tools, Memory, Callbacks, LCEL LangGraph: Күйлі мульти-агентті графтар, түйіндер, қырлар, шартты бағыттау LangSmith: Бақылау, бағалау, мониторинг, деректер жиынтықтары RAG: Retrieval-Augmented Generation құбырлары (индекстеу, іздеу, генерация) Векторлық қоймалар: FAISS, Chroma, Pinecone, Qdrant, Weaviate, pgvector Эмбеддингтер: OpenAI, Cohere, BGE, E5, Instructor Құжат жүктеушілер: PDF, HTML, Markdown, Unstructured Мәтін бөлгіштер: Рекурсивті, Семантикалық, Токенге негізделген бөлшектеу

vLLM және Инференс vLLM: PagedAttention, үздіксіз батчинг, тензорлық параллелизм Инференсті оңтайландыру: Кванттау (GPTQ, AWQ, GGUF, bitsandbytes), KV-cache оңтайландыру Қызмет көрсету фреймворктары: vLLM, TGI, TensorRT-LLM, Triton Батчинг стратегиялары: Динамикалық батчинг, үздіксіз батчинг API үйлесімділігі: OpenAI-үйлесімді API соңғы нүктелері Бенчмаркинг: Өткізу қабілеті, кідіріс (TTFT, TPS), жад профильдеу

PyTorch және Deep Learning PyTorch: Тензорлар, autograd, таңдамалы модульдер, DataLoader, Dataset Таратылған оқыту: DDP, FSDP, DeepSpeed (ZeRO Stage 1/2/3), Megatron-LM Аралас дәлдік: FP16, BF16, AMP Hugging Face: Transformers, Datasets, Accelerate, PEFT, TRL Оқыту: Оқу жылдамдығын жоспарлау, градиент жинақтау/қиып алу Модель форматтары: SafeTensors, ONNX, TorchScript

GPU және Инфрақұрылым NVIDIA GPU: A100, H100, L40S, RTX 4090 — архитектураны түсіну CUDA: CUDA cores, Tensor cores, жад иерархиясын негізгі деңгейде түсіну GPU жады: VRAM басқару, offloading, gradient checkpointing Multi-GPU: тензорлық параллелизм, құбырлық параллелизм, деректер параллелизмі Мониторинг: nvidia-smi, nvitop, GPU пайдалану профильдеу Бұлттық GPU: AWS (p4d/p5), GCP (A3), Azure (ND), RunPod, Lambda

FastAPI және Backend FastAPI: Routers, тәуелділіктер, middleware, фондық тапсырмалар Async: asyncio, aiohttp, httpx, асинхронды ДБ драйверлері Pydantic v2: Модельдер, валидаторлар, сериализация, баптаулар WebSockets: LLM жауаптарын ағынмен жіберу SSE: Ағынмен жіберу үшін Server-Sent Events Аутентификация: JWT, OAuth2, API кілттері Жылдамдықты шектеу: Throttling, token bucket Құжаттама: OpenAPI/Swagger авто-құжаттар

Docker және DevOps Docker: Көп кезеңді құрастыру, қабат кэштеу, .dockerignore Docker Compose: Көп сервисті оркестрация, GPU passthrough NVIDIA Container Toolkit: Контейнерлерде GPU қолдауы Kubernetes: негізгі — Pods, Services, Deployments, GPU жоспарлау CI/CD: GitHub Actions, GitLab CI IaC: Terraform / Pulumi (қалаулы) Мониторинг: Prometheus, Grafana, ELK/Loki

Деректер қоры және Қоймалар PostgreSQL: SQL, эмбеддингтер үшін pgvector Redis: Кэштеу, сессияларды басқару, кезектер Векторлық ДБ: Qdrant, Pinecone, Weaviate, Chroma Объектілік қойма: S3, MinIO (модельдер, деректер жиынтықтары) Хабар кезектері: RabbitMQ, Kafka, Celery (қалаулы)

Қосымша технологиялар (Болса жақсы) CrewAI / AutoGen — мульти-агентті фреймворктар Haystack — балама RAG фреймворк MLflow / W&B — эксперименттерді бақылау, модель тізілімі Label Studio — деректерді белгілеу Airflow / Prefect — ML құбырын оркестрациялау Streamlit / Gradio — жылдам прототиптеу UI OpenTelemetry — LLM қосымшалары үшін бақылау

Тәжірибе деңгейлері Junior AI Engineer (0-1 жыл): Python, негізгі PyTorch, LangChain негіздері, Docker Middle AI Engineer (1-3 жыл): Fine-tuning, RAG құбырлары, vLLM, FastAPI, LangGraph Senior AI Engineer (3-5+ жыл): Жүйе архитектурасы, таратылған оқыту, мульти-агент, өндірістік MLOps Lead AI Engineer (5+ жыл): Стратегия, тәлімгерлік, шығынды оңтайландыру, командааралық басшылық

Жұмсақ дағдылар Аналитикалық ойлау және тапсырмаларды декомпозициялау қабілеті Техникалық коммуникация дағдылары (құжаттама, ADR) Жаңа модельдер мен фреймворктарды тез меңгеру қабілеті Agile/Scrum командаларында жұмыс тәжірибесі Ағылшын тілі — B2+ (құжаттаманы оқу, коммуникация)

Условия:

•Жалақы және бонустар: Грейдтеу жүйесінің арқасында бәсекеге қабілетті жалақы, Тәуелсіздік күніне сыйақылар және жылдық бонус.
•Әлеуметтік пакет: ДМС және өмірді сақтандыру, мобильді байланыс және серіктестердің жеңілдіктері.
•Демалыс: Маңызды оқиғалар болған жағдайда қосымша күндермен 26 күндік демалыс.
•Ұсынымдар үшін бонустар.
•Жұмыс жағдайлары: Тұраққа жазылымды сатып алуға арналған жеңілдікті шарттар, еркін киім стилі (smart casual).
•Оқыту және даму: Тренингтер, вебинарлар және корпоративтік кітапханаға қолжетімділік, мансаптық өсудің нақты жүйесі.
•Корпоративтік мәдениет: Ашық және достық жұмыс атмосферасы, спорттық турнирлер және белсенді корпоративтік өмір.
•Бастамалар мен жобалар: Әлеуметтік жобаларға қатысу мүмкіндігі, қазіргі заманғы digital-құралдарды қолдана отырып, «Halyk» тобының жаңа жобаларында өз идеяларыңызды жүзеге асыру.
•Команда: Идеяларыңызды жүзеге асыруға мүмкіндік беретін шығармашылық және қолдаушы команда.
Бізге қосылып, «Halyk» командасының бір бөлігі болыңыз!