解释如何开发数据管道？

轩辕小不懂发布于 2021-10-29 13:54

阅读 520

答案 1

分类：人工智能

Nen 2021-10-29 13:56

- 程序员

数据管道使我们能够采用数据科学模型并对其进行自动化或扩展。常见的数据管道工具是 Apache Airflow，并且使用 Google Cloud，Azure 和AWS 托管它们。

对于这样的问题，您想解释所需的步骤并讨论您在构建数据管道方面的实际经验。

对于 Google Cloud 主机，基本步骤如下：

(1) 登录到 Google Cloud Platform

(2) 创建一个计算实例

(3) 从 GitHub 中提取教程内容

(4) 使用 AirFlow 概述管道

(5) 使用 Docker 设置虚拟主机

(6) 开发一个 Docker 容器

(7) 打开 Airflow UI 并运行数据管道

(8) 运行已部署的 Web 应用