手机浏览器扫描二维码访问
Y是指每次抽取前先删除目标表
数据Y抽取时全新加载数据该方式实际上将增量抽取等同于全量
抽取对于数据量不大Y全量抽取的时间代价小于执行增量抽取的
算法和条件代价时Y可以采用该方式。
这种方式的优点是对已有系统表结构不产生影响Y不需要修改业务
操作程序Y所有抽取规则由ETL完成Y管理维护统一Y可以实现数
据的递增加载Y没有风险
缺点是ETL比对较复杂Y设计较为复杂Y速度较慢与触发器和时
间戳方式中的主动通知不同Y全表比对方式是被动的进行全表数据
的比对Y性能较差当表中没有主键或唯一列且含有重复记录时Y
全表比对方式的准确性较差。
日志比对的方式是通过获取数据库层面的日志来捕获到变化的数据Y
不需要改变源业务系统数据库相关表结构Y数据同步的效率比较高Y
同步的及时性也比较快Y最大的问题就是不同数据库的日志文件结
构存在较大的差异性Y实施分析起来难度比较大Y同时Y需要具备
访问源业务库日志表文件的权限Y存在一定的风险性Y所以这种方
式有很大的局限性。
日志比对方式中比较成熟的技术是CDC(ChangeDataCapture)技术Y
作用同样是能够捕获到上一次抽取之后产生的相关变化数据Y当
CDC对源业务表进行新增更新和删除等相关操作的时就可以捕获
到相关变化的数据Y相对于增量字段方式YCDC方式能够较好地捕
获到删除数据Y并写入相关数据库日志表Y然后再通过视图或者别
的某种可操作的方式将捕获到的变化同步到数据仓库当中去。
这种方式的优点是ETL同步效率较高Y不需要修改业务系统表结构Y
可以实现数据的递增加载缺点是业务系统数据库版本与产品不统
一Y难以统一实现Y实现过程相对复杂Y并且需深入研究方能实现
这种方式也通过第三方工具实现Y但是Y一般都是商业软件Y费用
较高。
喜欢离语请大家收藏:()离语
前世的平安被身边人算计和出卖,落得惨死下场重生后她只想快意恩仇地活一次,从学渣逆袭成学霸,炒股炒房赚大钱,顺便斗斗极品亲戚,捉弄傲娇学霸校草,把前世踩她的人都纷纷踩至脚下。春风得意之时不料半路杀出个无敌兵哥哥,将门虎子不说,人帅嘴甜活好还不粘人,除了有点性急。...
我的人生特别狗血。在别人看来,我是一个妥妥的白富美,生来就含着金汤匙出生的大小姐。我还嫁了一个颜值和智商都较高的凤凰男。别人都说我的人生是开挂了的。可是,只有我自己知道,我的人生是怎样的杯具!我一心一意非他不嫁的凤凰男夏剑,与我小妈刘露那个凤凰女狼狈为奸,勾搭在一起。大二时,刘露去我们家玩,结果,却和我爸爸睡在了一起,被我妈发现后,她受不了这个打击,当场突发脑溢血而身亡。而...
煞者,凶神也,为天下不容仙者,长生也,享天地同寿。陆尘本是一资质平庸的凡人,只因有个天纵之资的妹妹,踏上了修仙的道路。奈何仙道一途弱肉强食血雨腥风,既然平凡的修炼保护不了自己心爱的人,为煞又如何!杀尽天下人又如何!谁说正道才能长生?长生之路,红颜踏歌,纵横神霄,唯我煞仙!quot...
作者火火小流氓的经典小说修真流氓在都市最新章节全文阅读服务本站更新及时无弹窗广告小说修真流氓在都市刚被房东丢出门的他却又不幸在公交司机大哥的飙车下摔下悬崖一命呜呼。可是,这一场意外竟然成为他人生的转折点。天地奇体,绝世天才。...
...
布桐在路边捡了个帅到惨绝人寰的老公,婚后,厉先生化身妻奴,宠起老婆来连老婆本人都怕。老公,说好的高冷呢?厉先生无辜摊手,高冷在你面前一无是处。厉先生要出差一个月,布桐假装闷闷不乐相送,转身就开香槟庆祝,终于可以放大假了。第二天醒来,厉先生站在床头,太太,惊不惊喜?感不感动?布桐不敢动,不敢动...