Создание прототипа ETL Движка из Postgres, Oracle, ClickHouse в HDFS на Spark
#3
#1
Описание: необходимо разработать статический анализатор SparkSQL кода. Грамматика должна расширяться через отдельный BNF файл (https://en.wikipedia.org/wiki/Backus–Naur_form). Есть возможность добавлять пользовательские проверки в коде. Есть ООП интерфейс для использования из кода. Инструмент должен быть быстрым и изолированным. Не использовать Spark сессию. Укладываться в SLA до 5 секунд на 10 запросов.
Призовой фонд: 100 000 рублей за 1 место
Стек решений: #Python 3.7+, #Библиотека Lark, #Любые необходимые библиотеки, которые не требуют интеграции с внешними системами и БД.
Статический анализатор SparkSQL с возможностью добавления пользовательских правил
Призовой фонд: 100 000 рублей за 1 место
Описание: есть набор dataclasses, описывающий имена таблиц, их столбцы и типы. Требуется генератор фейковых данных при заданном описании таблиц. Большое (100к+ строк на таблицу) количество данных может быть сгенерировано в разумные сроки (до 30 минут на 5 таблиц). Нужен ООП инструментарий, который может обернуть эти классы и настроить некоторые столбцы так, что таблицы будут джоиниться между собой. В определенных столбцах данные нужно генерить по маске (для прохождения where, и т. п.). Будет возможность использовать техники тест дизайна (частотное распределение, граничные значения, эквивалентное разбиение)
Стек решений: #Python 3.7+, #Библиотека Faker или любые другие необходимые библиотеки, не требующие интеграции с внешними системами и БД.
Генератор фейковых данных для сложных запросов
#2
#3
Описание: движок должен быть шаблонизирован через конфигурацию. Простой snapshot с возможностью обогатить техническими столбцами (load_ts, source_name). Инкрементная загрузка с использованием HWM (High WaterMark) или другим методом.
Cовременная высокотехнологичная быстроразвивающаяся IТ-компания. С 2020 года мы разрабатываем инновационные решения для цифровизации бизнеса. ГК «Иннотех» выстраивает партнерские отношения с ведущими компаниями финансового сектора, предлагая им комплексные решения для фронт- и бэк-офисов, современные финтех-продукты, системы работы с большими данными. Кроме того, ГК «Иннотех» выполняет на заказ технологические проекты любой сложности, помогая своим клиентам на пути цифровой трансформации
ГК «Иннотех»
FAQ
Что такое хакатон?
Это командное соревнование для программистов, дизайнеров, менеджеров и аналитиков, которые в сжатые сроки решают технологическую задачу: разрабатывают прототип, содержащий основной функционал.
Какие требования к участникам хакатона?
Минимальные требования: в команде должно быть от 2 до 6 человек, а все участники должны быть старше 18 лет.
У меня нет команды. Что делать?
Зарегистрируйтесь и мы поможем вам найти команду. Для поиска команды вы можете самостоятельно воспользоваться каналом хакатона. Если возникнут трудности - не стесняйтесь писать организаторам в чат или на почту contact@ac-vo.ru.
Я не из Москвы. Могу ли я участвовать?
Конечно! Хакатон будет проходить в онлайн-формате, поэтому участвовать можно из любого города.
Что нужно для участия?
Минимальный набор для коммуникации – Telegram, Zoom.