Создание прототипа ETL Движка из Postgres, Oracle, ClickHouse в HDFS на Spark
#3
#1
Описание: необходимо разработать статический анализатор SparkSQL кода. Грамматика должна расширяться через отдельный BNF файл (https://en.wikipedia.org/wiki/Backus–Naur_form). Есть возможность добавлять пользовательские проверки в коде. Есть ООП интерфейс для использования из кода. Инструмент должен быть быстрым и изолированным. Не использовать Spark сессию. Укладываться в SLA до 5 секунд на 10 запросов.
Призовой фонд: 100 000 рублей за 1 место
Стек решений: #Python 3.7+, #Библиотека Lark, #Любые необходимые библиотеки, которые не требуют интеграции с внешними системами и БД.
Статический анализатор SparkSQL с возможностью добавления пользовательских правил
Призовой фонд: 100 000 рублей за 1 место
Описание: Для повышения качества разработки и тестирования функционала, до его установки на промышленный контур, требуется набор тестовых данных. Для финтех-компаний характерно, что большая часть данных может представлять собой «чувствительные данные» (персональные данные клиентов, информация по юридическим лицам и т.п.). Это накладывает определенные ограничения на репликацию подобных данных на среды разработки и тестирования. Также не всегда могут быть доступны или оперативно применяться инструменты маскирования данных. В связи с этим требуется инструмент, позволяющий генерировать синтетические данные на основе структуры таблиц и требуемого объема наполнения данными (для тестирования на ПК/кластере).
Стек решений: #Python 3.7+, #Spark > 2+
Генератор синтетических данных
#2
#3
Описание: движок должен быть шаблонизирован через конфигурацию. Простой snapshot с возможностью обогатить техническими столбцами (load_ts, source_name). Инкрементная загрузка с использованием HWM (High WaterMark) или другим методом.
Cовременная высокотехнологичная быстроразвивающаяся IТ-компания. С 2020 года мы разрабатываем инновационные решения для цифровизации бизнеса. ГК «Иннотех» выстраивает партнерские отношения с ведущими компаниями финансового сектора, предлагая им комплексные решения для фронт- и бэк-офисов, современные финтех-продукты, системы работы с большими данными. Кроме того, ГК «Иннотех» выполняет на заказ технологические проекты любой сложности, помогая своим клиентам на пути цифровой трансформации
ГК «Иннотех»
FAQ
Что такое хакатон?
Это командное соревнование для программистов, дизайнеров, менеджеров и аналитиков, которые в сжатые сроки решают технологическую задачу: разрабатывают прототип, содержащий основной функционал.
Какие требования к участникам хакатона?
Минимальные требования: в команде должно быть от 2 до 6 человек, а все участники должны быть старше 18 лет.
У меня нет команды. Что делать?
Зарегистрируйтесь и мы поможем вам найти команду. Для поиска команды вы можете самостоятельно воспользоваться каналом хакатона. Если возникнут трудности - не стесняйтесь писать организаторам в чат или на почту contact@ac-vo.ru.
Я не из Москвы. Могу ли я участвовать?
Конечно! Хакатон будет проходить в онлайн-формате, поэтому участвовать можно из любого города.
Что нужно для участия?
Минимальный набор для коммуникации – Telegram, Zoom.