extend docker image final-【Airflow从零到神】15-扩展官方Docker Image 搭建本地环境

AID:
CID:
视频图片:
作者头像:
弹幕地址:
视频描述:

热门回复:

  • 红烧砖头:咨询一个问题哈,dags的路径可以指定在S3里面吗?
  • 茶色A4纸:大佬,看了你的视频很有帮助。 探讨一个问题哈,airflow相比jenkins做任务调度,有哪些优点呢?两者都支持定时触发和事件触发,我理解airflow适合做python任务的dag, 如果是其他语言,比如shell/PHP,这种情况用jenkins更加合适吧
  • bili_21603014204:请教一下大神:airflow和dolphinschedule比,小公司该如何选型呢?
  • 超机车的哎:大佬,啥时候能介绍下airflow dag里的流程控制,以及virtual operator这类特殊用法
  • 微风拂过山丘:已三连大佬,请教您个问题。我有不同的三个dag,分别都包含了50个左右的task,调度时间比如一个每天1点,一个每天2点,一个每天3点,我的parallelism是8,concurrency是8,max_active_runs_per_dag也是8,但为啥在调度执行的时候没有并发执行,通常是1点的dag全部执行完后才开始执行2点的dag(此时可能已经4点了),同样,等到2点的dag全部执行完后才会执行3点的dag。请问,大佬您知道如何设置才能让他们不用管其他dag是否完成,仅仅按照dag开始的时间依次执行呢?

http://acg.ibilibili.com/cms/yirenzhixia/7.html