Size is font:
A A A
Site color:
Ц Ц Ц
Voice Assistant
Deposits
Депозиты онлайн
Откройте онлайн надежный депозит с высокой ставкой
Transfers
На номер телефона
Переводы на мобильный номер клиенту любого банка РК в приложении Halyk
Go to Onlinebank Go to Halyk Club Go to Halyk

RAG Challenge
by Halyk

Один приватный датасет.
Ограниченное время.
Без права на ошибку.
Детали
Как принять участие?
  • Участвовать можно с опытом и без.
  • Индивидуально или в команде (до 4 человек).
Призы

🏆 Абсолютный победитель — 2 000 000 ₸

📚 Лучший по блоку OCR — 1 500 000 ₸

🧠 Лучший по блоку Advanced Retrieval — 1 000 000 ₸ 

Формат
  • 2 недели — чтобы потренироваться на открытом датасете.
  • 3 часа — чтобы решить приватный набор.
  • 2 блока вопросов - чтобы разработать мультимодальный пайплайн.
  • Все ответы — в JSON.
Что сдаём?

JSON-файл с ответами



График проведения

RAG Challenge построен как марафон с кульминацией. Вся подготовка — до 24 августа. После — 3 часа на решение.
7 августа
Открытие регистрации
1
12 августа
Публикация датасета
2
24 августа, 15:00–18:00
Публикация приватного датасета
3
1 сентября
Результаты
4

Часто задаваемые вопросы

Можно ли использовать внешние источники для ответа на вопрос, например, Google или ChatGPT?

Нет. Решения принимаются только на основе предоставленных датасетов. Но в качестве основной LLM модели вашего пайплайна можете пользоваться чем угодно.

Нужно ли иметь предыдущий опыт с RAG и LLM?

Желательно, но не обязательно. Ещё не поздно начать изучать и в этом и цель всех хакатонов – научиться чему-то новому за короткое время.

Можно участвовать одному?

Да. Формат — 1–4 человека в команде.

А что если я опоздаю с подачей?

После дедлайна (18:00, 24 августа) приём решений закроется.

Где будет проходить хакатон?

Онлайн. Все этапы, включая регистрацию, проходят на сайте.

Как отличаются вопросы в блоках OCR и Advanced Retrieval?

Блок OCR включат вопросы, в которых информацию для ответа нужно будет извлечь либо из документов, не представленных текстовым образом, либо из сложных структур, где часть информации подается визуально.

Блок Advanced Retrieval включает вопросы, для ответа на которые будет недостаточно Naive RAG и требуется разработка более гибкого решения.

Сколько будет вопросов и как они распределены по блокам?

Публичный сет вопросов будет содержать 15 вопросов, а также ответы к ним в требуемом шаблоне. Они являются примерами вопросов, которые могут встречаться в приватном сете.

Приватный сет вопросов будет составлять 200 вопросов, ответы к которым участники хакатона должны будут приготовить за 3 часа в день хакатона.

Каждый вопрос может относиться либо к блоку OCR, либо к блоку Advanced Retrieval, или же относиться к обоим блокам. В третьем случае, балл за правильный ответ на такой вопрос идёт в зачёт в каждом из блоков.


Как будет определяться победитель?

Всего будет 3 победителя: абсолютный победитель, лучший по блоку OCR, лучший по блоку Advanced Retrieval. Одна команда может выиграть только один приз. В случае, если команда становится победителем в нескольких категориях, то ей предоставляется приз за категорию с наибольшим призовым фондом из выигранных командой.

В случае равенства баллов, победителем назначается та команда, у которой выигрышная попытка была отправлена раньше.


Что должно быть в JSON файле с ответами?

Вместе с публичным сетом вопросов вам будет отправлен также пример json файла с ответами на эти вопросы. Каждый ответ должен содержать 3 компонента: номер вопроса, ответ, а также список источников в виде названий документов и страниц в них.

Как узнать результаты?

Публикация на сайте 1 сентября