Регистрация окончена

DATA HACK

5 — 7
августа 2022

Oнлайн-хакатон от SENSE Group и Акселератора Возможностей при ИНТЦ МГУ «Воробьевы горы» при поддержке ГК «Иннотех»

Примите участие в трехдневном онлайн-хакатоне в области Big Data, выполните задание одного
из трех кейсов на выбор и станьте победителем!

Успей зарегистрироваться до 1 августа!

Приём заявок окончен

Кейсы

Статический анализатор SparkSQL
с возможностью добавления
пользовательских правил

#1

Генератор синтетических данных

#2

Создание прототипа ETL Движка
из Postgres, Oracle, ClickHouse
в HDFS на Spark

#3

#1

Описание: необходимо разработать статический анализатор SparkSQL кода. Грамматика должна расширяться через отдельный BNF файл (https://en.wikipedia.org/wiki/Backus–Naur_form). Есть возможность добавлять пользовательские проверки в коде. Есть ООП интерфейс для использования из кода. Инструмент должен быть быстрым и изолированным. Не использовать Spark сессию. Укладываться в SLA до 5 секунд на 10 запросов.

Призовой фонд: 100 000 рублей за 1 место

Стек решений: #Python 3.7+, #Библиотека Lark, #Любые необходимые библиотеки, которые не требуют интеграции с внешними системами и БД.

Статический анализатор SparkSQL с возможностью добавления пользовательских правил

Призовой фонд: 100 000 рублей за 1 место

Описание: Для повышения качества разработки и тестирования функционала, до его установки на промышленный контур, требуется набор тестовых данных. Для финтех-компаний характерно, что большая часть данных может представлять собой «чувствительные данные» (персональные данные клиентов, информация по юридическим лицам и т.п.). Это накладывает определенные ограничения на репликацию подобных данных на среды разработки и тестирования. Также не всегда могут быть доступны или оперативно применяться инструменты маскирования данных. В связи с этим требуется инструмент, позволяющий генерировать синтетические данные на основе структуры таблиц и требуемого объема наполнения данными (для тестирования на ПК/кластере).

Стек решений: #Python 3.7+, #Spark > 2+

Генератор синтетических данных

#2

#3

Описание: движок должен быть шаблонизирован через конфигурацию. Простой snapshot с возможностью обогатить техническими столбцами (load_ts, source_name). Инкрементная загрузка с использованием HWM (High WaterMark) или другим методом.

Призовой фонд: 100 000 рублей за 1 место

Стек решений: #Python 3.7+, #PySpark 2+, #Hadoop 2+, #Postgres, #Oracle, #ClickHouse (см Spark JDBC).

Создание прототипа ETL Движка из Postgres, Oracle, ClickHouse в HDFS на Spark

ВОЗМОЖНОСТИ

Вы сможете получить квалифицированную помощь
и поддержку на любом этапе хакатона

Поддержка и менторство от ГК «Иннотех»

5–7 августа 2022 года SENSE Group и «Акселератор Возможностей» при ИНТЦ МГУ «Воробьевы горы» провели онлайн-хакатон DATA HACK. Партнером мероприятия стала Группа «Иннотех».
В воскресенье, 7 августа, прошло торжественное закрытие хакатона DATA HACK. Мероприятие объединило 235 участников из разных городов России. Общий призовой фонд составил 300 000 рублей.

Группа «Иннотех», выступившая партнером DATA HACK, подготовила комплексные и необычные кейсы
для соревнования:
• разработка статического анализатора Spark SQL-кода;
• разработка генератора фейковых данных для сложных запросов;
• создание прототипа ETL-движка из Postgres, Oracle, ClickHouse в HDFS на Spark, который будет шаблонизирован через конфигурацию.


Всего за 48 часов непрерывной и усердной работы участники смогли представить разработки и защитить
их на pitch-сессии перед экспертным жюри.


По итогам финальной презентации первое место в кейсе №1 заняла команда «Пепеданс» из СПбГУ. Второй кейс стал самым обсуждаемым – до pitch-сессии дошли 11 команд. После анализа всех решений участников члены жюри отдали победу команде «Sky_coders». Она пришла на хакатон в составе 2 человек, однако почти сразу ребята нашли сокомандников среди одиночных участников и собрали сильнейший состав, который и занял призовое место. Третью задачу блестяще решили ребята «ScalaLazy».


Все «хакатонщики» показали высокую скорость работы и грамотное применение навыков. Организаторы мероприятия отдельно отметили профессионализм участников несмотря на преимущественно молодой возраст.

Призовой фонд

300 000 рублей, а также специальные призы и подарки от партнеров

Возможность внедрить свое решение в систему компании

Решите кейс и получите шанс протестировать своё решение в работающей системе

Мастер-классы от профессионалов

Во время хакатона вы сможете поучаствовать
в мастер-классах от представителей IT-компаний, выиграть памятные призы и получить уникальные знания

5–7 августа 2022 года SENSE Group
и «Акселератор Возможностей» при ИНТЦ МГУ «Воробьевы горы» провели онлайн-хакатон DATA HACK. Партнером мероприятия стала Группа «Иннотех».
В воскресенье, 7 августа, прошло торжественное закрытие хакатона DATA HACK. Мероприятие объединило 235 участников из разных городов России. Общий призовой фонд составил 300 000 рублей.

Группа «Иннотех», выступившая партнером DATA HACK, подготовила комплексные
и необычные кейсы для соревнования:
• разработка статического анализатора Spark SQL-кода;
• разработка генератора фейковых данных для сложных запросов;
• создание прототипа ETL-движка из Postgres, Oracle, ClickHouse в HDFS на Spark, который будет шаблонизирован через конфигурацию.


Всего за 48 часов непрерывной и усердной работы участники смогли представить разработки и защитить их на pitch-сессии перед экспертным жюри.


По итогам финальной презентации первое место в кейсе №1 заняла команда «Пепеданс» из СПбГУ. Второй кейс стал самым обсуждаемым – до pitch-сессии дошли 11 команд. После анализа всех решений участников члены жюри отдали победу команде «Sky_coders». Она пришла на хакатон в составе 2 человек, однако почти сразу ребята нашли сокомандников среди одиночных участников и собрали сильнейший состав, который и занял призовое место. Третью задачу блестяще решили ребята «ScalaLazy».


Все «хакатонщики» показали высокую скорость работы и грамотное применение навыков. Организаторы мероприятия отдельно отметили профессионализм участников несмотря на преимущественно молодой возраст.

ОРГАНИЗАТОРЫ

Компания, специализирующаяся на IТ-рекрутменте, IТ-аутсорсинге, RPO, оценке технических специалистов, HR-консалтинге

SENSE Group

ПАРТНЕРЫ

Cовременная высокотехнологичная быстроразвивающаяся IТ-компания. С 2020 года мы разрабатываем инновационные решения для цифровизации бизнеса. ГК «Иннотех» выстраивает партнерские отношения с ведущими компаниями финансового сектора, предлагая им комплексные решения для фронт- и бэк-офисов, современные финтех-продукты, системы работы с большими данными. Кроме того, ГК «Иннотех» выполняет на заказ технологические проекты любой сложности, помогая своим клиентам на пути цифровой трансформации

ГК «Иннотех»

FAQ

Присоединяйся!

Регистрация окончена