Lanson

V1

2022/09/17阅读:10主题:丘比特忙

大数据调度平台Airflow(一):什么是Airflow

什么是Airflow

Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台,与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起,2016年3月进入Apache基金会,在2019年1月成为顶级项目。Airflow采用Python语言编写,提供可编程方式定义DAG工作流,可以定义一组有依赖的任务,按照依赖依次执行, 实现任务管理、调度、监控功能。

另外,Airflow提供了WebUI可视化界面,提供了工作流节点的运行监控,可以查看每个节点的运行状态、运行耗时、执行日志等。也可以在界面上对节点的状态进行操作,如:标记为成功、标记为失败以及重新运行等。在Airflow中工作流上每个task都是原子可重试的,一个工作流某个环节的task失败可自动或手动进行重试,不必从头开始跑。

Airflow官网:http://airflow.apache.org/,Airflow支持的任务调度类型如下:

如何获取栏目资源包

通过下面的资源链接进行下载,希望对你的学习有帮助

https://download.csdn.net/download/xiaoweite1/85151400

分类:

后端

标签:

大数据

作者介绍

Lanson
V1

CSDN大数据领域博客专家