fbpx

[email protected]

购物车

 查看订单

  • 我的帐户
东东购 | EasternEast
  • 中文书店
    • 畅销排行榜
      • 小说 畅销榜
      • 童书 畅销榜
      • 外语畅销榜
      • 管理畅销榜
      • 法律畅销榜
      • 青春文学畅销榜
    • 热门分类
      • 社会小说
      • 成功/励志 畅销榜
      • 人物传记
      • 大陆原创
      • 绘本童书
      • 影视小说
    • 文学推荐
      • 文集
      • 戏剧
      • 纪实文学
      • 名家作品
      • 民间文学
      • 中国现当代随笔
    • 新书热卖榜
      • 小说 新书热卖榜
      • 青春文学 新书热卖榜
      • 童书 新书热卖榜
      • 管理 新书热卖榜
      • 成功/励志 新书热卖榜
      • 艺术 新书热卖榜
  • 精选分类
    • 小说
    • 保健养生
    • 烹饪/美食
    • 风水/占卜
    • 青春文学
    • 童书
    • 管理
    • 成功/励志
    • 文学
    • 哲学/宗教
    • 传记
    • 投资理财
    • 亲子家教
    • 动漫/幽默
    • 法律 Legal
    • 经济 Economics
    • 所有分类
  • 关于东东
  • 帮我找书
搜索
首页计算机/网络程序设计Airflow实战

Airflow实战

工作流程开发实战指南,涵盖Airflow 2.2版本的几乎所有概念与技术,助力全面掌握Airflow,升级您的技能树!

作者:朱鹏程 出版社:人民邮电出版社 出版时间:2023年12月 

ISBN: 9787115623775
年中特卖用“SALE15”折扣卷全场书籍85折!可与三本88折,六本78折的优惠叠加计算!全球包邮!
trust badge

EUR €45.99

类别: 计算机/网络 新书热卖榜, 程序设计 SKU:658a41f4f0f2240d2c5bb77e 库存: 有现货
  • 描述
  • 评论( 0 )

描述

开 本: 128开纸 张: 胶版纸包 装: 平装-胶订是否套装: 否国际标准书号ISBN: 9787115623775

编辑推荐

1.掌握Airflow,开启高效工作流新时代!揭示Airflow的奥秘,让您轻松搭建和管理高效的工作流,实现业务目标!

2.走进Airflow的世界,掌握开源调度系统的核心!资深专家倾力打造,深入浅出地讲解Airflow的安装、部署、核心概念和架构组件,助您成为Airflow领域的佼佼者!

3.实战经验,让您轻松驾驭Airflow!丰富的实践经验和技巧,助您在生产环境中游刃有余地使用Airflow,优化集群性能,排查问题,轻松应对各种挑战!

 

内容简介

本书由浅入深地介绍了如何快速搭建Airflow集群,包括不同操作系统的快速搭建方法、Airflow的安装方法、Airflow集群的部署方法、Airflow中的核心概念和其他重要概念、Airflow的架构和组件、Airflow的系统管理、实践经验以及其他常见的调度系统。附录提供了Docker和Kubernetes的简介。此外,本书还提供了在生产环境中使用Airflow的诸多实践与经验,无论是对研发工程师创建工作流、排查工作流问题,还是对运维工程师维护集群运转、优化集群性能,都有极其重要的借鉴价值。

本书图文并茂,理论翔实,示例丰富,适合正在使用或者即将使用Airflow作为调度系统的研发工程师、Airflow平台的运维工程师以及对Airflow感兴趣的读者阅读。

作者简介

朱鹏程,本科毕业于复旦大学软件工程系,现于亿贝软件工程(上海)有限公司担任高级软件工程师,负责Hadoop平台的支持和维护,同时负责开源调度系统Airflow在全公司的推广和落地。精通Java语言,对HBase、Elasticsearch、Airflow等项目有深入了解。

目  录

第 1章 快速搭建Airflow集群 1

1.1 准备工作 1

1.1.1 安装kubectl 1

1.1.2 安装Docker和kind 5

1.1.3 安装Helm 7

1.2 创建Kubernetes集群 8

1.3 使用Helm部署Airflow集群 8

1.4 运行示例 10

1.5 本章小结 11

第 2章 安装Airflow 12

2.1 在非容器化环境中基于PyPI安装Airflow 12

2.1.1 准备工作 12

2.1.2 安装Airflow 13

2.1.3 升级Airflow 14

2.2 在容器化环境中扩展Airflow官方的镜像 15

2.3 本章小结 15

第3章 部署Airflow集群 16

3.1 在非容器化生产环境中部署Airflow 16

3.1.1 基于Celery Executor的部署 16

3.1.2 基于Dask Executor的部署 23

3.2 在容器化生产环境中部署Airflow 28

3.2.1 基于Celery Executor的部署 28

3.2.2 基于Kubernetes Executor的部署 39

3.2.3 基于CeleryKubernetes Executor的部署 40

3.3 本章小结 41

第4章 DAG相关概念 42

4.1 DAG简介 42

4.1.1 构造DAG 44

4.1.2 加载DAG 48

4.1.3 运行DAG 49

4.2 Task 50

4.2.1 Task的类型 51

4.2.2 TaskGroup 61

4.2.3 Task的超时处理 63

4.3 DAG Run和Task Instance 63

4.4 本章小结 70

第5章 其他概念 71

5.1 XCom 71

5.1.1 XCom的使用场景 71

5.1.2 如何使用XCom 71

5.2 Variable 73

5.2.1 通过Webserver UI配置Variable 74

5.2.2 通过环境变量配置Variable 75

5.2.3 通过其他方式配置Variable 76

5.3 Connection和Hook 76

5.3.1 基本概念 77

5.3.2 Connection的配置 77

5.3.3 Connection和Hook的使用 80

5.3.4 SSHHook源代码分析 81

5.4 Pool 82

5.4.1 Pool的设置 82

5.4.2 Pool的使用 83

5.5 Priority Weight 84

5.6 Cluster Policy 84

5.6.1 Cluster Policy的使用场景和类型 85

5.6.2 具体示例 85

5.7 Deferrable Operator和Trigger 86

5.7.1 使用Deferrable Operator和Trigger 86

5.7.2 从源代码分析Deferrable Operator和Trigger 87

5.8 本章小结 89

第6章 架构和组件 90

6.1 架构 90

6.2 Scheduler 91

6.2.1 解析DAG文件 91

6.2.2 调度DAG和Task 92

6.2.3 运行Task Instance 94

6.3 Webserver 97

6.3.1 UI 97

6.3.2 REST API 99

6.4 Triggerer 104

6.5 本章小结 104

第7章 系统管理 105

7.1 配置 105

7.1.1 如何管理配置 105

7.1.2 特殊的配置 107

7.1.3 配置的优先级 108

7.2 安全 108

7.2.1 访问控制 109

7.2.2 API认证 111

7.2.3 Webserver UI安全 113

7.2.4 数据安全 114

7.3 日志和监控 115

7.3.1 日志和监控的架构 116

7.3.2 日志 116

7.3.3 监控 117

7.4 插件 118

7.4.1 插件的安装和加载 118

7.4.2 如何实现插件 119

7.5 模块管理 126

7.5.1 如何添加Python模块 126

7.5.2 如何排查问题 126

7.6 CLI 127

7.6.1 全部命令 127

7.6.2 自动补齐 129

7.7 时区 130

7.7.1 datetime对象与时区 130

7.7.2 Airflow是如何处理时区的 130

7.7.3 Webserver UI的时区显示 131

7.8 本章小结 132

第8章 Airflow集群实践 133

8.1 Executor调优 133

8.1.1 Celery Executor 调优 134

8.1.2 Kubernetes Executor调优 141

8.1.3 Dask Executor调优 141

8.2 高可用 142

8.2.1 高可用的Scheduler 142

8.2.2 高可用的Webserver 143

8.2.3 高可用的Triggerer 143

8.3 鲁棒的数据库访问 144

8.3.1 PostgreSQL优化 144

8.3.2 MySQL优化 144

8.3.3 数据库通用优化 144

8.4 简化DAG文件发布和解析 145

8.4.1 简化DAG文件发布 145

8.4.2 通过配置控制DAG文件解析的行为 145

8.5 用插件扩展集群的能力 146

8.5.1 编写插件 146

8.5.2 安装插件 152

8.5.3 测试插件 152

8.6 加强REST API的能力 155

8.7 其他 158

8.7.1 让集群更安全 158

8.7.2 监控必不可少 159

8.7.3 为DAG和Task添加说明文档 159

8.7.4 配置邮件通知 160

8.7.5 控制调度的并发度 161

8.8 本章小结 162

第9章 Airflow的新功能 163

9.1 Airflow 2.3版本的新功能 163

9.1.1 动态Task映射 163

9.1.2 网格视图 169

9.1.3 其他功能 173

9.2 Airflow 2.4版本的新功能 174

9.2.1 数据感知调度 174

9.2.2 其他功能 175

9.3 Airflow 2.5版本的新功能 175

9.4 本章小结 176

第 10章 其他调度系统 177

10.1 DolphinScheduler 177

10.1.1 DolphinScheduler的架构 177

10.1.2 DolphinScheduler的特点和优势 179

10.1.3 DolphinScheduler与Airflow的对比 180

10.2 AWS Step Functions 180

10.2.1 AWS Step Functions的特点和优势 181

10.2.2 AWS Step Functions与Airflow的对比 181

10.3 Google Workflows 181

10.3.1 Google Workflows的特点和优势 182

10.3.2 Google Workflows与Airflow的对比 182

10.4 Azkaban 183

10.4.1 Azkaban的特点和优势 183

10.4.2 Azkaban与Airflow的对比 184

10.5 Kubeflow 184

10.5.1 Kubeflow的特点和优势 185

10.5.2 Kubeflow与Airflow的对比 185

10.6 本章小结 186

附录A Docker简介 187

附录B Kubernetes简介 197

抢先评论了 “Airflow实战” 取消回复

评论

还没有评论。

相关产品

阅读更多
缺货

Python编程 从入门到实践

EUR €37.99
评分 5.00 / 5
加入购物车

笨办法学Python 3

EUR €38.99
加入购物车

Python编程快速上手 让繁琐工作自动化(Python3编程从入门到实践 新手学习必备用书)

EUR €36.99
评分 5.00 / 5
加入购物车

Python核心编程 第3版

EUR €48.99
评分 5.00 / 5

东东购的宗旨是服务喜爱阅读中文书籍的海外人民,提供一个完善的购书平台,让国人不论何时何地都能沉浸在书香之中,读着熟悉的中文字,回忆着家乡的味道。


安全加密结账 安心网络购物 支持Paypal付款

常见问题

  • 货物配送
  • 退换货政策
  • 隐私政策
  • 联盟营销

客户服务

  • 联系东东
  • 关于东东
  • 帮我找书
  • 货物追踪
  • 会员登入

订阅最新的优惠讯息和书籍资讯

选择币别

EUR
USD
CAD
AUD
NZD
NOK
GBP
CHF
SEK
CNY
UAH
ILS
SAR
MXN
KRW
MYR
SGD
HUF
TRY
JPY
HKD
TWD
facebookinstagram
©2020 东东购 EasternEast.com

限时特卖:用“SALE15”优惠券全场书籍85折!可与三本88折,六本78折的优惠叠加计算。 忽略