02|02 DataBricks+DataFactory+Blob创建环境

本文主要是介绍创建Blob\Databricks\Datafactory资源
Azure
进入Azure 首页https://portal.azure.cn/?whr=... 点击创建资源。如下图
02|02 DataBricks+DataFactory+Blob创建环境
文章图片

填入相应信息,直接点击审阅并创建即可。创建好点击进入在blob中创建一个blob 如data_file
02|02 DataBricks+DataFactory+Blob创建环境
文章图片

02|02 DataBricks+DataFactory+Blob创建环境
文章图片

Databrikcs
Databricks创建过程与Blob基本相同。注意创建Databricks后要创建一个集群用来计算处理数据,执行Databricksjob。
集群配置选择正常的开发配置就可以。下图是当前项目集群配置
02|02 DataBricks+DataFactory+Blob创建环境
文章图片

注意databriks是计算工具不是存储工具。
02|02 DataBricks+DataFactory+Blob创建环境
文章图片

创建Databricks访问令牌,进入databricks 点击用户名进入User Setting.生成token,设置token名称和生效时长。注意保存token
02|02 DataBricks+DataFactory+Blob创建环境
文章图片

Datafactory
Datafactory创建过程与Blob基本相同。在创建好Datafactory需要配置一些链接,如访问blob的链接、访问databriks的链接、访问s3容器的链接。
02|02 DataBricks+DataFactory+Blob创建环境
文章图片

创建Databricks链接是需要填写一些配置,主要是访问令牌
【02|02 DataBricks+DataFactory+Blob创建环境】02|02 DataBricks+DataFactory+Blob创建环境
文章图片

    推荐阅读