Dagster

dagster.io
On the map Visit site

Современный open-source оркестратор данных для построения, запуска и мониторинга data pipeline с интегрированной родословной и наблюдаемостью.

Description

Dagster — это комплексная платформа для оркестрации данных, предназначенная для data engineer с целью разработки, планирования и мониторинга data pipeline и asset. Она ориентирована на удобство разработчика, позволяя локальную разработку, тестирование и наблюдаемость на всех этапах жизненного цикла данных. Основная абстракция Dagster — data asset, что обеспечивает точное отслеживание родословной, управление метаданными и модульную сборку pipeline. Поддерживает гибкие среды выполнения, интегрируется с популярными облачными и data-инструментами, а также предлагает расширенные корпоративные функции через Dagster+. Платформа позволяет командам строить масштабируемые, поддерживаемые и надежные data workflow, предоставляя единый контроль качества, свежести и управления данными.

Installation

Not sure where to start — ask an assistant to walk you through:

Features

Модель, ориентированная на Data Asset
Сосредоточена на управлении data pipeline через явные data asset, обеспечивая прозрачную родословную, отслеживание зависимостей и управление метаданными.
Интегрированная наблюдаемость и мониторинг
Обеспечивает единый интерфейс для логирования, проверки качества данных, статуса выполнения в реальном времени и детальной диагностики для повышения надежности pipeline.
Гибкое и расширяемое исполнение
Поддерживает любые Python workflow, произвольное выполнение кода на других языках и различные среды развертывания, включая serverless и контейнерную оркестрацию.
Расширенное планирование и триггеры на основе событий
Позволяет контекстно-зависимое планирование pipeline и сенсоры, запускающие процессы на основе внешних событий или свежести данных.
Широкие интеграции
Интегрируется с основными облачными провайдерами (AWS, GCP, Azure), ETL-инструментами и BI-платформами, обеспечивая бесшовную интеграцию в экосистему данных.
Корпоративные функции с Dagster+
Предлагает расширенную безопасность, соответствие требованиям, операционные workflow, анализ затрат и приоритетную поддержку для масштабных data operations.

Use cases

Управление ETL и Data Pipeline
Создавайте, тестируйте и оркестрируйте сложные процессы загрузки, трансформации и передачи данных с прозрачной родословной asset и контролем качества.
Контроль качества данных и управление
Мониторинг свежести данных, валидация наборов данных и соблюдение требований конфиденциальности с помощью интегрированной наблюдаемости и метаданных.
Pipeline для обучения моделей машинного обучения
Координируйте workflow для feature engineering, обучения моделей и развертывания с воспроизводимостью и отслеживаемостью.
Бизнес-аналитика и отчётность
Обеспечьте надежные и актуальные data asset для дашбордов и отчетов, оркестрируя потоки данных и контролируя состояние pipeline.
Разработка и тестирование в нескольких средах
Обеспечивает локальную разработку, staging и production-деплой с разделением окружений и переиспользуемыми компонентами pipeline.

FAQ

Dagster используется для построения, планирования и мониторинга data pipeline и asset, обеспечивая качество данных и отслеживание родословной на всех этапах жизненного цикла данных.

Dagster ориентирован на модель data asset с декларативными pipeline, сильным отслеживанием родословной и удобным локальным тестированием для разработчиков.

Да, хотя pipeline Dagster определяются на Python, архитектура позволяет выполнять произвольный код на других языках.

Dagster+ — это корпоративное предложение, включающее расширенную безопасность, соответствие требованиям, операционные workflow, анализ затрат и приоритетную поддержку.

Нет, Dagster только оркестрирует data workflow, но не хранит данные; данные сохраняются во внешних базах данных или data lake по настройке.

Интегрирует проверки данных, мониторинг свежести и инструменты наблюдаемости для обнаружения и оповещения о проблемах с данными.

Да, Dagster поддерживает сенсоры, которые запускают pipeline на основе внешних событий или изменений данных.

Вы можете начать с создания первого pipeline, используя Quickstart от Dagster, и присоединиться к сообществу в Slack и GitHub.

Specs

Type Tool
SectionCoding & development / Developer Tools
Pricing has a free tier
Platform Web only
Systems web
Hostingcloud
Installsaas
Site languageru
Rating5.00 (1 reviews)
Views161 950
Launched2022-08-08

Platforms

web

Tags

ai developer tools ai data analysis monitor log management

Social

X GitHub YouTube LinkedIn

Source code

repository

Found in sources

moge producthunt showmebest

Similar in «Кодинг и разработка»

Lovable
Build apps and websites by chatting with AI, no code needed.
OpenHands
Code less, make more
Bolt AI
Create apps and websites simply by talking to AI.
GitHub
Главный хостинг кода: репозитории, Actions, Copilot и почти все AI-проекты.
Codex 2.0 by OpenAI
Codex 2.0 — продвинутый ИИ для создания приложений и автоматизации задач. Ускорьте разработку с помощью нейросети от OpenAI.
wisprflow.ai
Список полезных сервисов... ... хотела подготовить я для вас. Решила собрать в один пост все сервисы, которые когда-ли

Submit a site to the catalog

Just send the link — we will work out the rest.

We will review what you send and add it to the catalog if it fits.