07_创建和使用ADF-02_创建LinkService、Dataset、Pipeline

1、按图所示,进入到LinkService,新建LinkService(LinkService是数据源的连接,先创建连接数据源的连接,才能从数据源获取数据,或者是将数据传送给数据源)
数据工厂支持的数据源有多种多样,这里我们仅以Oracle数据库为例来创建

2、按图所示,填写好Oralce数据库的连接信息,其中包括服务器地址、端口,服务名、用户名、密码,注意,运行时选择我们上节课创建的自托管运行时
这些都填写好之后,在最下边有测试连接,如果显示成功则表示创建没有问题

3、点击作成即可保存

4、再做一个连接Storage的LinkService

5、填写好相关信息,选择要连接的Storage,测试可以连接成功后,保存

6、到资源作成界面,新建Dataset

7、选择Oracle类型的Dataset

8、填写好名字等相关信息,选择一个Schema和一个表(我们先练习从固定表获取数据的Dataset)

9、这里可以点击预览数据

10、如果可以正产看到数据,则表示Dataset创建成功

11、同样,再创建一个连接到Storage的Dataset

12、这里我们选择CSV类型的文本文件

13、使用固定路径(先练习固定路径),文件名空着

14、这里可以设置CSV的相关设置,比如是什么分隔符,是什么引用符,是否有Escape字符,是否压缩等等

15、在Pipeline下,新建一个Pipeline

16、将左边的控件一样的东西拖到右边(这个控件叫做Activity,请牢记),这里选择Data Copy Activity,Data Copy Activity是Azure Data Factory中最主要的功能,他的功能是把数据从左边的数据源复制到右边的数据源,我们这次的练习是把数据从Oracle复制到Storage

17、然后在右边的工作区,就可以对Copy Activity进行设置,Source处选择刚刚创建的Oracle类型的Dataset

18、Sink处选择刚刚创建的Storage类型的Dataset

19、点击上面的Debug即可运行Pipeline

20、可以在下放看到运行状态,如果状态没有改变,可以点击刷新按钮

21、状态变为成功后,表示Pipeline执行成功。转到Stroage,此时可以看到,Oracle中的数据以文件的形式保存到了Storage里

22、点击文件,可以进行下载

23、打开下载的文件,可以看到,数据与Oracle中的一致,并且按照我们设定的格式保存

24、我们可以对Pipeline进行改名

25、也可以对Activity进行改名

26、最重要的一步,我们要点击上面的发行,将Pipeline发行到运行环境去。如果不发行,当关闭Pipeline或者关闭浏览器时,所有的操作都不会被保存,都会丢失

27、点击发行后会出现变换点,确认变化点没有问题后,点击发行

28、这样,一个简单的Pipeline就做完了