РАЗМЕР ШРИФТА:
A A A
ЦВЕТ САЙТА:
Ц Ц Ц
Голосовой помощник
Депозиты
Депозиты онлайн
Откройте онлайн надежный депозит с высокой ставкой
Рус
Перейти в Onlinebank Перейти в Halyk Club Перейти в Halyk

RAG Challenge
by Halyk

Один приватный датасет.
Ограниченное время.
Без права на ошибку.

Результаты

#
Название команды
Total
1Eskender Dzhemadinov142
2Dash139
3misamo127
4solopreneur122
5An-Nur119
6Дети Лёши118
7Karton4ik87
8Adil82
9Supreme Team62
10Quasars56
11Unlocked out46
12r3ducibles44
13OYAN24
14Dirty RAGS Done Dirt Cheap21
15Bottar12
16Название Команды9
17
CDA5
18Адильхан
4
19TechAlash
3
20ARAY
0
21Bonnie and Clyde0
22лето0
23ASYLKHAN0
#
Название команды
OCR
1Dash111
2Eskender Dzhemadinov108
3misamo99
4solopreneur90
5An-Nur87
6Дети Лёши84
7Karton4ik67
8Adil62
9Quasars40
10Supreme Team30
11r3ducibles30
12Unlocked out29
13Dirty RAGS Done Dirt Cheap13
14OYAN11
15Bottar7
16Название Команды7
17CDA5
18TechAlash3
19Адильхан
2
20ARAY0
21Bonnie and Clyde
0
22лето0
23ASYLKHAN0
#
Название команды
Advanced Retrieval
1Dash88
2
Eskender Dzhemadinov84
3
solopreneur82
4
An-Nur79
5
Дети Лёши72
6
misamo71
7
Supreme Team
61
8Karton4ik53
9Adil49
10Quasars37
11Unlocked out35
12r3ducibles33
13OYAN21
14Dirty RAGS Done Dirt Cheap16
15Bottar10
16Название Команды4
17Адильхан
3
18CDA
2
19TechAlash
0
20ARAY
0
21Bonnie and Clyde0
22лето0
23ASYLKHAN0
Детали
Как принять участие?
  • Участвовать можно с опытом и без.
  • Индивидуально или в команде (до 4 человек).
Призы

🏆 Абсолютный победитель — 2 000 000 ₸

📚 Лучший по блоку OCR — 1 500 000 ₸

🧠 Лучший по блоку Advanced Retrieval — 1 000 000 ₸ 

Формат
  • 2 недели — чтобы потренироваться на открытом датасете.
  • 3 часа — чтобы решить приватный набор.
  • 2 блока вопросов - чтобы разработать мультимодальный пайплайн.
  • Все ответы — в JSON.
Что сдаём?

JSON-файл с ответами



Часто задаваемые вопросы

Можно ли использовать внешние источники для ответа на вопрос, например, Google или ChatGPT?

Нет. Решения принимаются только на основе предоставленных датасетов. Но в качестве основной LLM модели вашего пайплайна можете пользоваться чем угодно.

Нужно ли иметь предыдущий опыт с RAG и LLM?

Желательно, но не обязательно. Ещё не поздно начать изучать и в этом и цель всех хакатонов – научиться чему-то новому за короткое время.

Можно участвовать одному?

Да. Формат — 1–4 человека в команде.

А что если я опоздаю с подачей?

После дедлайна (18:00, 24 августа) приём решений закроется.

Где будет проходить хакатон?

Онлайн. Все этапы, включая регистрацию, проходят на сайте.

Как отличаются вопросы в блоках OCR и Advanced Retrieval?

Блок OCR включат вопросы, в которых информацию для ответа нужно будет извлечь либо из документов, не представленных текстовым образом, либо из сложных структур, где часть информации подается визуально.

Блок Advanced Retrieval включает вопросы, для ответа на которые будет недостаточно Naive RAG и требуется разработка более гибкого решения.

Сколько будет вопросов и как они распределены по блокам?

Публичный сет вопросов будет содержать 15 вопросов, а также ответы к ним в требуемом шаблоне. Они являются примерами вопросов, которые могут встречаться в приватном сете.

Приватный сет вопросов будет составлять 200 вопросов, ответы к которым участники хакатона должны будут приготовить за 3 часа в день хакатона.

Каждый вопрос может относиться либо к блоку OCR, либо к блоку Advanced Retrieval, или же относиться к обоим блокам. В третьем случае, балл за правильный ответ на такой вопрос идёт в зачёт в каждом из блоков.


Как будет определяться победитель?

Всего будет 3 победителя: абсолютный победитель, лучший по блоку OCR, лучший по блоку Advanced Retrieval. Одна команда может выиграть только один приз. В случае, если команда становится победителем в нескольких категориях, то ей предоставляется приз за категорию с наибольшим призовым фондом из выигранных командой.

В случае равенства баллов, победителем назначается та команда, у которой выигрышная попытка была отправлена раньше.


Что должно быть в JSON файле с ответами?

Вместе с публичным сетом вопросов вам будет отправлен также пример json файла с ответами на эти вопросы. Каждый ответ должен содержать 3 компонента: номер вопроса, ответ, а также список источников в виде названий документов и страниц в них.

Как узнать результаты?

Публикация на сайте 1 сентября

Лицензия на проведение банковских и иных операций и деятельности на рынке ценных бумаг № 1.2.47/230/38/1 от 23 июня 2023 года выдана Агентством Республики Казахстан по регулированию и развитию финансового рынка.

На сайте используются изображения и тексты, созданные с применением искусственного интеллекта.

powered by amphibia