SSIS 中 Foreach 循环容器处理 XML 数据

本贴最后更新于 3112 天前,其中的信息可能已经时异事殊

上一篇文章 在 SSIS 中使用 Web Service 以及 解析 XML 数据 中介绍了使用 SSIS 的 WebService 控件解析 XML 数据,最后也提到对于返回的 XML 数含有数组类型的时候需要一点额外的处理。

示例说明

WeatherWebService 是 WebXml.com.cn 天气预报 Web 服务,数据每 2.5 小时左右自动更新一次,准确可靠。包括 340 多个中国主要城市和 60 多个国外主要城市三日内的天气预报数据。

SSIS-XMLTask-ProcessArrays-1.jpg

我们可以通过这个服务的接口获得我们需要的城市或地区的天气等信息。本示例将介绍在 SSIS 中用 Web 服务任务组件调用天气预报 Web 服务的接口查询城市的天气等信息,因为返回 XML 格式的数据含有数组,所以用 Foreach 循环容器组件的 NodeList 枚举器来处理,获取我们需要的信息插入到数据库的表。

实现步骤

HTTP 连接

首先我们建立一个 HTTP 连接,服务器 URL 如下:
http://www.webxml.com.cn/WebServices/WeatherWebService.asmx?wsdl

SSIS-XMLTask-ProcessArrays-2.jpg

Web 服务任务

拖入 Web 服务任务组件,打开编辑器,在常规面板中,HttpConnection 连接选择上一步新建的 Http 连接,WSDLFile 为自己新建的一个 wsdl 格式的文件,OverwriteWSDLFile 为 True.点击【下载 WSDL】。

SSIS-XMLTask-ProcessArrays-3.jpg

切换到输入面板,Method 中选择 getWeatherbyCityName,然后下面出现的变量里填一个城市名称,当然也可以用变量。

SSIS-XMLTask-ProcessArrays-4.jpg

切换到输出面板,这里,我们将返回的 XML 格式的数据保存到一个 Object 类型的变量里。这样 Web 服务任务组件就设置好了。

SSIS-XMLTask-ProcessArrays-5.jpg

返回数据说明

到 WeatherWebService 网站上查看 getWeatherbyCityName 的调用说明:

根据城市或地区名称查询获得未来三天内天气情况、现在的天气实况、天气和生活指数
调用方法如下:输入参数:theCityName = 城市中文名称(国外城市可用英文)或城市代码(不输入默认为上海市),如:上海 或 58367,如有城市名称重复请使用城市代码查询(可通过 getSupportCity 或 getSupportDataSet 获得);返回数据: 一个一维数组 String(22),共有 23 个元素。
String(0) 到 String(4):省份,城市,城市代码,城市图片名称,最后更新时间。String(5) 到 String(11):当天的 气温,概况,风向和风力,天气趋势开始图片名称(以下称:图标一),天气趋势结束图片名称(以下称:图标二),现在的天气实况,天气和生活指数。String(12) 到 String(16):第二天的 气温,概况,风向和风力,图标一,图标二。String(17) 到 String(21):第三天的 气温,概况,风向和风力,图标一,图标二。String(22) 被查询的城市或地区的介绍

可以看到返回的是一个一维数组。

SSIS-XMLTask-ProcessArrays-6.jpg

SSIS-XMLTask-ProcessArrays-7.jpg

我们将用循环处理这个一维数组,然后获得我们需要的字段,比如省份,城市,城市代码,最后更新时间,当天气温,概况,风向和风力,现在的天气实况,天气和生活指数。

Foreach 循环容器

在控制流中拖入 Foreach 循环容器,双击打开编辑器,在集合面板中,Enumerator 选择 Foreach NodeList 枚举器,DocumentSourceType 为输入的 XML 数据存储类型,这里选择上一步的保存 XML 数据的变量,DocumentSource 为变量名称。

EnumerationType 选择 NodeText,因为这里我们想要的是 XML 数据中标签中的值,不是节点。OuterXPathStringSourceType 是 XPath 查询的类型,这里我们选 DirectInput,然后 OuterXPathString 是我们查询 XML 的节点语法,这里填/ArrayOfString/*,它表示查询 XML 数据中的 ArrayOfString 这个节点下的所有节点,具体的 XPath 语法可以参考 XPath 教程

SSIS-XMLTask-ProcessArrays-8.jpg

切换到变量映射面板,这里新建一个变量保存每次循环取到节点的时候,节点里的值。这样,Foreach 循环容器设置就完成了。

SSIS-XMLTask-ProcessArrays-9.jpg

信息输出

为方便演示,我就不连接数据库了,把获取到的信息显示出来就好了。将一个脚本任务拖入到 Foreach 循环容器里面。双击打开编辑器,脚本类型这里用的 VBA,然后新建了连个变量:ID,InfoStr,ID 是每次循环的下标值,依次加 1,InfoStr 保存组合成的信息值。然后在 ReadWriteVariables 里添加进来。点击【编辑脚本】,打开脚本编辑器,输入处理代码。

SSIS-XMLTask-ProcessArrays-10.jpg

SSIS-XMLTask-ProcessArrays-11.jpg

最后将组合信息字符串输出,还是拖入一个脚本任务,编辑器设置如下:

SSIS-XMLTask-ProcessArrays-12.jpg

最后执行包任务,可以看到输出的信息。

SSIS-XMLTask-ProcessArrays-13.jpg

转载请注明出处(http://www.c-xuan.com/SSIS-XMLTask-ProcessArrays)

  • SSIS
    2 引用 • 3 回帖
  • BI
    5 引用 • 6 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言,内置支持类型。它的解释器被称为 JavaScript 引擎,为浏览器的一部分,广泛用于客户端的脚本语言,最早是在 HTML 网页上使用,用来给 HTML 网页增加动态功能。

    729 引用 • 1327 回帖
  • CentOS

    CentOS(Community Enterprise Operating System)是 Linux 发行版之一,它是来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用。两者的不同在于 CentOS 并不包含封闭源代码软件。

    238 引用 • 224 回帖
  • ZooKeeper

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖 • 5 关注
  • 代码片段

    代码片段分为 CSS 与 JS 两种代码,添加在 [设置 - 外观 - 代码片段] 中,这些代码会在思源笔记加载时自动执行,用于改善笔记的样式或功能。

    用户在该标签下分享代码片段时需在帖子标题前添加 [css] [js] 用于区分代码片段类型。

    69 引用 • 372 回帖
  • 外包

    有空闲时间是接外包好呢还是学习好呢?

    26 引用 • 232 回帖 • 2 关注
  • 服务器

    服务器,也称伺服器,是提供计算服务的设备。由于服务器需要响应服务请求,并进行处理,因此一般来说服务器应具备承担服务并且保障服务的能力。

    125 引用 • 588 回帖
  • 支付宝

    支付宝是全球领先的独立第三方支付平台,致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验,及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖
  • Android

    Android 是一种以 Linux 为基础的开放源码操作系统,主要使用于便携设备。2005 年由 Google 收购注资,并拉拢多家制造商组成开放手机联盟开发改良,逐渐扩展到到平板电脑及其他领域上。

    334 引用 • 323 回帖 • 1 关注
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言,由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码,也可以编译成 JavaScript,方便在没有 JVM 的设备上运行。在 Google I/O 2017 中,Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 63 关注
  • danl
    132 关注
  • VirtualBox

    VirtualBox 是一款开源虚拟机软件,最早由德国 Innotek 公司开发,由 Sun Microsystems 公司出品的软件,使用 Qt 编写,在 Sun 被 Oracle 收购后正式更名成 Oracle VM VirtualBox。

    10 引用 • 2 回帖 • 6 关注
  • WiFiDog

    WiFiDog 是一套开源的无线热点认证管理工具,主要功能包括:位置相关的内容递送;用户认证和授权;集中式网络监控。

    1 引用 • 7 回帖 • 587 关注
  • CSS

    CSS(Cascading Style Sheet)“层叠样式表”是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

    198 引用 • 550 回帖
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 19 关注
  • SSL

    SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS 与 SSL 在传输层对网络连接进行加密。

    70 引用 • 193 回帖 • 431 关注
  • 安全

    安全永远都不是一个小问题。

    199 引用 • 816 回帖
  • CloudFoundry

    Cloud Foundry 是 VMware 推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。

    5 引用 • 18 回帖 • 167 关注
  • Vue.js

    Vue.js(读音 /vju ː/,类似于 view)是一个构建数据驱动的 Web 界面库。Vue.js 的目标是通过尽可能简单的 API 实现响应的数据绑定和组合的视图组件。

    266 引用 • 665 回帖
  • 设计模式

    设计模式(Design pattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。

    200 引用 • 120 回帖
  • 工具

    子曰:“工欲善其事,必先利其器。”

    286 引用 • 729 回帖
  • Windows

    Microsoft Windows 是美国微软公司研发的一套操作系统,它问世于 1985 年,起初仅仅是 Microsoft-DOS 模拟环境,后续的系统版本由于微软不断的更新升级,不但易用,也慢慢的成为家家户户人们最喜爱的操作系统。

    222 引用 • 473 回帖 • 1 关注
  • 导航

    各种网址链接、内容导航。

    40 引用 • 173 回帖
  • Jenkins

    Jenkins 是一套开源的持续集成工具。它提供了非常丰富的插件,让构建、部署、自动化集成项目变得简单易用。

    53 引用 • 37 回帖
  • V2Ray
    1 引用 • 15 回帖 • 1 关注
  • Laravel

    Laravel 是一套简洁、优雅的 PHP Web 开发框架。它采用 MVC 设计,是一款崇尚开发效率的全栈框架。

    20 引用 • 23 回帖 • 721 关注
  • 区块链

    区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法 。

    91 引用 • 751 回帖 • 2 关注
  • jQuery

    jQuery 是一套跨浏览器的 JavaScript 库,强化 HTML 与 JavaScript 之间的操作。由 John Resig 在 2006 年 1 月的 BarCamp NYC 上释出第一个版本。全球约有 28% 的网站使用 jQuery,是非常受欢迎的 JavaScript 库。

    63 引用 • 134 回帖 • 724 关注