使用阿帕奇火花、德尔塔湖和MLflow在Azure Databricks上进行大规模机器学习运维和特征工程

免费领取国家顶级域名（.cn/.中国）

欢迎加入国家域名信源站点导航

站点智能：AI搭建 AI辅助运营独立站，把生意做到全世界

原始数据无法赢得模型竞赛。特征工程才是关键。当你的原始数据是分布在多个来源中的数百亿行记录时，你不可能仅仅在笔记本环境中运行潘达斯（Pandas）库就草草了事。

在本教程中，我将演示如何在 微软 Azure databricks 上构建生产级的特征工程流水线，使用的技术包括：

• 阿帕奇 Spark：用于大规模分布式数据转换
• Delta Lake：用于提供具有原子性、一致性、隔离性和持久性（ACID）保证的可靠、版本化特征存储
• MLflow：用于追踪特征流水线的运行、参数以及基于这些特征训练的模型

本案例是一个客户流失预测系统，但其所采用的模式适用于任何机器学习特征流水线。

架构概览

该流水线遵循 勋章架构 —— 这是一种分层方法，数据从青铜层到白银层再到黄金层的过程中，会逐步变得更加干净且更具备特征就绪状态。MLflow 横跨所有三层，追踪每一次运行。

流水线流程

层级分解

第一步 — 青铜层：原始数据摄入

青铜层仅支持追加操作。不进行任何转换。不应用任何业务逻辑。只需将数据摄入并原样保存，以便你始终可以从源头重新回放数据。

from pyspark.sql import SparkSession
from pyspark.sql.functions import current_timestamp, lit
from delt

免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。