Как мы строили хранилище фичей (Feature store): от сбора фичей а-ля “ad hoc” до централизованного инструмента

Ведущий Data-engineer из X5 Retail Group о том, как сделать хранилище фичей в проекте лояльности торговой сети "Пятёрочка": как работает продакшн и как привести в порядок данные, если уже есть "зоопарк" работающих моделей.

ИТ и интернет 12+

Лучше всего представит митап и тему сам спикер:

 «Всем привет! Меня зовут Максим, и я расскажу о том, как мы делали хранилище фичей в проекте лояльности торговой сети “Пятерочка” в Х5 Retail Group.

Не секрет, что сбор, предобработка данных и генеерация признаков занимает довольно значительную часть проекта по разработке моделей машинного обучения. Зачастую в проекте разрабатываются несколько моделей и для всех них нужны данные. 

На митапе я затрону темы, на которые мало говорят: о продакшене, о том, что происходит после разработки моделей, когда они уже регулярно запускаются, но еще силами дата-сайентиста. 

Я покажу на примере, как сделать единую платформу сбора данных и подготовки признаков для нескольким моделей, как перейти от полуручного и ручного запуска к автоматическому, как это оркестрируется в airflow и как построить такой процесс на действительно больших данных: для ~50М гостей "Пятерочки"».


 

Прийти на митап будет полезно дата-аналитикам и дата-сайентистам: чтобы больше понимать в архитектуре и писать код с прицелом на работу в продакшене, чтобы не пришлось потом всё переписывать (а так, к сожалению, бывает). А дата-инженеры, которые любят порядок, увидят как простыми способами перейти от "собирать таблички" к написанию масштабируемого и гибкого инструмента по сбору данных.

Спикер:
Максим Керемет – Ведущий Data-engineer @ X5Retail Group

Ведущая:
Аня Плоткина – DevRel @ SkillFactory

Поделиться:

1225 дней назад
15 июля 2021 19:00–20:00

Событие пройдет онлайн

Уже есть билет
Получить ссылку

Поделиться:

Связь с организатором

На этот адрес придёт ответ от организатора.

Подпишитесь на рассылку организатора

Возврат билета

Если вы хотите вернуть билеты, вы можете сделать это по ссылке из письма с билетами или оформить запрос организатору в вашем  личном кабинете.

Подробнее о возврате билетов