Data Platform и lakehouse
Iceberg, dbt, Airflow, Spark. Собираю стек под задачу, а не по моде.
Стек в data-платформе — это шесть решений, каждое влияет на цену эксплуатации и скорость команды. Storage, format, compute, orchestration, semantic layer, BI. Ошиблись на одном — переделываете через год.
Прихожу с опытом сборки платформ в банке, финтехе и продуктовом стартапе. Знаю разницу между Iceberg-в-документации и Iceberg-в-проде, между Airflow-с-2000-DAG и Airflow-в-первой-неделе, между «мы возьмём dbt Cloud» и «мы держим dbt Core плюс собственный оркестратор».
Проектирую стек, чтобы его тянула ваша команда. Не самый модный, а такой, где вечером команда идёт домой, а не в on-call. Пишу выбор в ADR-формате, чтобы через год-два было понятно, почему именно так.
- Для кого
- Компании, у которых уже есть Postgres / OLTP, но нужен настоящий data-стек для аналитики и ML.
- Решаем
- BI собирается прямо с продовой БД, продукт от этого тормозит. Data-team использует ноутбуки как продакшн. Каждый инженер выбирает свой инструмент. Cloud-счёт растёт быстрее, чем данные.
- Результат
- ADR по каждому слою стека, референсная архитектура с диаграммами, план миграции с существующего решения, оценка стоимости эксплуатации на 12 месяцев, PoC ключевого пайплайна.
- Формат
- Удалённо.
- Длительность
- 4–8 недель.