Fabric 数据仓库与 Fabric 用户数据函数(预览版... 笔记

Fabric 数据仓库与 Fabric 用户数据函数(预览版)的集成

Microsoft Fabric 数据仓库现已支持直接在仓库内通过自定义 Python 逻辑扩展 T-SQL。此项功能目前处于预览阶段,消除了执行 Python 代码所需独立应用程序或管道的需求。现在,您可以创建引用 Fabric 用户数据函数(User Data Functions)项中定义的 Python 函数的 T-SQL 外部函数。这些函数可从熟悉的 T-SQL 语句(如 SELECT、INSERT 和 UPDATE)中调用。数据仓库随后将这些外部函数的执行委托给 Fabric 用户数据函数运行时。这一新功能解锁了强大场景,例如集成外部 API、发送通知以及处理各种文件格式。它还促进了跨 OneLake、Fabric 数据库和 Azure Cosmos DB 的数据访问。敏感数据可使用自定义 Python 逻辑和组织密钥进行加密、解密或掩码。此外,数据可通过地理编码或机器学习模型等服务进行丰富和验证。示例展示了如何使用 Python 对 IPv6 网络事件进行分类,这在 T-SQL 中较为复杂,但借助 Python 的 ipaddress 库则十分简便。这使得网络分析结果能够持久化存储,从而简化下游查询。本质上,Fabric 用户数据函数使得在 T-SQL 中持续工作的同时,能够利用 Python 实现此前需要独立开发工作的高级功能。