发布时间 : 星期日 文章ETL开发指南(DataStage EE)V2.0更新完毕开始阅读19b0c57da26925c52cc5bf0a
DataStage EE开发指南
在Constraint及Derivation中可以使用Job parameters及Stage Variables。 注意：
Transformer Stage功能强大，但在运行过程中是以牺牲速度为代价的。在只有简单的变换，拷贝等操作时，最好用Modify Stage，Copy Stage，Filter Stage等来替换Transformer Stage。
示例Derivation转换表达式:
if (isnull(LK_to_transform.CI_CUST_NO)) then 1 else if (IsNull(LK_to_transform.CI_CRLMT_NO)) then 2 else 0
3.1.8 Sort Stage
功能说明：
只能有一个输入及一个输出，按照指定的Key值进行排列。可以选择升序还是降序，是否去除重复的数据等等。
Option具体说明
Allow Duplicates：是否去除重复数据。为False时，只选取一条数据，当Stable Sort为True时，选取第一条数据。当Sort Unility为UNIX时此选项无效。
DataStage EE开发指南
Sort Utility：选择排序时执行应用程序，可以选择DataStage内建的命令或者Unix的Sort命令。
Output Statistics：是否输出排序统计信息到job日志。 Stable Sort：是否对数据进行二次整理。
Create Cluster Key Change Column：是否为每条记录创建一个新的字段：clusterKeyChange。当Sort Key Mode为Don’t Sort(Previously Sorted) 或 Don’t Sort (Previously Grouped)时，对于第一条记录该字段被设置为1，其余的记录设置为0。
Create Key Change Column：是否为每一条记录创建一个新的字段KeyChange。
3.1.9 LookUp Stage
功能说明：
LookUp Stage把数据读入内存执行查询操作，将匹配的字段输出，或者在在符合条件的记录中修改或加入新的字段。
DataStage EE开发指南
参数说明:
? Condition中可以通过BASIC表达式指定在reference link上做Lookup的前提条
件.
? Condition Not Met指定前提条件不满足时的处理方式.
? Fail 中止JOB,报Fatal Error错误.
? Drop 抛弃此条数据,继续执行下一个lookup. ? Continue 查找不到的数据赋空值,继续处理下一行. ? Reject 输出至Reject link.
? Lookup Failure指定Lookup操作失败时的处理方式.
? Fail 中止JOB,报Fatal Error错误.
? Drop 抛弃此条数据,继续执行下一个lookup. ? Continue 查找不到的数据赋空值,继续处理下一行. ? Reject 输出至Reject link.
3.1.10 Join Stage
功能说明：
将多个表连接后输出
DataStage EE开发指南
3.1.11 LookUp Stage 和 Join Stage的区别
LookUp Stage将数据读入到内存中，所以效率很高，但是占用了较多的物理