安装
基本依赖
Prefect需要Python版本3.6之上。如果你对Python不熟悉,推荐安装Anaconda发行版本。
安装
执行命令装Prefect
或者你喜欢用conda
或者使用pipenv
可选依赖
Prefect使用许多使用extra开头语义的可选依赖:
可选依赖例子如下:
all_extras: 包括所有可选依赖
dev: 开发Prefect的工具
templates: 使用string模板工具
viz: Prefect工作流可视化工具
aws: AWS云平台交互工具
google: Goole云平台交互工具
kubernetes: Kubernetes API交互工具
twitter: Twitter API交互工具
airtable: Airtable API交互工具
spacy: 用Spacy构建NLP pipelines工具
redis: Redis数据库交互工具
运行本地管理后台服务和UI
除了可以对接Prefect云平台之外,Prefect还开放编排管理工作流的源代码,支持本地构建运行服务和UI。本地服务存储工作流源数据到Postgres数据库,并且暴露可操作的GraphQL API。
第一次在运行本地服务时,先执行以下命令保证之后的Prefect命令使用本地服务做拓扑关联:
请注意本地服务依赖于Docker和Docker Compose工具服务在后台运行。
启动服务和UI,和所有需要的基础设施,执行以下命令:
得到如下docker container进程。
一旦所有组件启动,你可以访问http://localhost:8080的UI。
还请注意要通过服务控制工作流,需要至少在本地启动一个Prefect Agent,执行以下命令:
最后通过一行代码如下flow.register()来注册任意的工作流。更多细节参见基础设施文档。简单示例代码如下:
Docker
Prefect提供源码主分支和各个发行版本的Docker镜像。
通过最新的Prefect Docker镜像来执行命令:
镜像版本表
Tag
Prefect Version
Python Version
latest
most recent PyPi version
3.7
master
master build
3.7
latest-python3.8
most recent PyPi version
3.8
latest-python3.7
most recent PyPi version
3.7
latest-python3.6
most recent PyPi version
3.6
X.Y.Z-python3.8
X.Y.Z
3.8
X.Y.Z-python3.7
X.Y.Z
3.7
X.Y.Z-python3.6
X.Y.Z
3.6
Last updated