-
Notifications
You must be signed in to change notification settings - Fork 2
/
data_warehouse_quick5.html
206 lines (198 loc) · 10.3 KB
/
data_warehouse_quick5.html
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
<!DOCTYPE html>
<html lang="cn">
<head>
<meta charset="utf-8" />
<title>数据仓库快速入门教程5-ETL与ELT的差异</title>
<link rel="stylesheet" href="/theme/css/main.css" />
</head>
<body id="index" class="home">
<header id="banner" class="body">
<h1><a href="/">python自动化测试人工智能 </a></h1>
<nav><ul>
<li><a href="/category/ba-zi.html">八字</a></li>
<li><a href="/category/ce-shi.html">测试</a></li>
<li><a href="/category/ce-shi-kuang-jia.html">测试框架</a></li>
<li><a href="/category/common.html">common</a></li>
<li class="active"><a href="/category/da-shu-ju.html">大数据</a></li>
<li><a href="/category/feng-shui.html">风水</a></li>
<li><a href="/category/ji-qi-xue-xi.html">机器学习</a></li>
<li><a href="/category/jie-meng.html">解梦</a></li>
<li><a href="/category/linux.html">linux</a></li>
<li><a href="/category/python.html">python</a></li>
<li><a href="/category/shu-ji.html">书籍</a></li>
<li><a href="/category/shu-ju-fen-xi.html">数据分析</a></li>
<li><a href="/category/zhong-cao-yao.html">中草药</a></li>
<li><a href="/category/zhong-yi.html">中医</a></li>
</ul></nav>
</header><!-- /#banner -->
<section id="content" class="body">
<article>
<header>
<h1 class="entry-title">
<a href="/data_warehouse_quick5.html" rel="bookmark"
title="Permalink to 数据仓库快速入门教程5-ETL与ELT的差异">数据仓库快速入门教程5-ETL与ELT的差异</a></h1>
</header>
<div class="entry-content">
<footer class="post-info">
<abbr class="published" title="2019-04-29T08:35:00+08:00">
Published: 一 29 四月 2019
</abbr>
<address class="vcard author">
By <a class="url fn" href="/author/andrew.html">andrew</a>
</address>
<p>In <a href="/category/da-shu-ju.html">大数据</a>.</p>
</footer><!-- /.post-info --> <ul>
<li><a href="https://china-testing.github.io/practices.html">python测试开发项目实战-目录</a></li>
<li><a href="https://china-testing.github.io/python_books.html">python工具书籍下载-持续更新</a></li>
</ul>
<h2 id="etl">什么是ETL？</h2>
<p>ETL是Extract，Transform和Load的缩写。 在此过程中，ETL工具从不同的RDBMS源系统中提取数据，然后转换数据，如应用计算，连接等，然后将数据加载到数据仓库系统中。</p>
<p>在ETL中，数据是从源流向目标。 在ETL过程中，转换引擎负责数据更改。</p>
<p><img alt="图片.png" src="https://upload-images.jianshu.io/upload_images/12713060-f2e6a5370a702775.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240"></p>
<h2 id="elt">什么是ELT？</h2>
<p>ELT是用于查看数据移动。 ELT不在数据写入之前转换数据，而是让目标系统进行转换。 数据首先复制到目标，然后转换。</p>
<p>ELT通常与无Sql数据库(如Hadoop集群，数据设备或云)一起使用。</p>
<p><a href="https://www.guru99.com/images/1/022218_0954_ETLvsELTMus2.png"><img alt="image" src="http://upload-images.jianshu.io/upload_images/12713060-9f235d22cafb2b43.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240"></a></p>
<p>ETL与ELT之间的区别</p>
<table>
<thead>
<tr>
<th align="center">参数</th>
<th align="center">ETL</th>
<th align="center">ELT</th>
</tr>
</thead>
<tbody>
<tr>
<td align="center">处理</td>
<td align="center">数据在staging服务器上转换，然后传输到Datawarehouse DB。</td>
<td align="center">数据保留在Datawarehouse的DB中。</td>
</tr>
<tr>
<td align="center">代码</td>
<td align="center">计算密集型转换;少量数据</td>
<td align="center">用于大量数据</td>
</tr>
<tr>
<td align="center">转型</td>
<td align="center">转换在ETL服务器/staging区域中完成。</td>
<td align="center">转换在目标系统中执行</td>
</tr>
<tr>
<td align="center">时间负载</td>
<td align="center">数据首先加载到暂存中，然后加载到目标系统中。 时间密集。</td>
<td align="center">数据仅一次加载到目标系统。 更快。</td>
</tr>
<tr>
<td align="center">时间转换</td>
<td align="center">ETL过程需要等待转换完成。 随着数据量的增长，转换时间也会增加。</td>
<td align="center">在ELT过程中，速度决不依赖于数据的大小。</td>
</tr>
<tr>
<td align="center">时间维护</td>
<td align="center">当您需要选择要加载和转换的数据时，它需要高维护。</td>
<td align="center">数据始终可用，维护成本低。</td>
</tr>
<tr>
<td align="center">实施复杂性</td>
<td align="center">在早期阶段，更容易实施。</td>
<td align="center">要实施ELT流程，组织应该具备对工具和专家技能的深入了解。</td>
</tr>
<tr>
<td align="center">支持数据仓库</td>
<td align="center">ETL模型用于内部部署，关系数据和结构化数据。</td>
<td align="center">用于可扩展的云基础架构，支持结构化的非结构化数据源。</td>
</tr>
<tr>
<td align="center">数据湖支持</td>
<td align="center">不支持。</td>
<td align="center">允许将Data Lake与非结构化数据一起使用。</td>
</tr>
<tr>
<td align="center">复杂</td>
<td align="center">ETL过程仅加载在设计时标识的重要数据。</td>
<td align="center">可以加载后续相关数据。</td>
</tr>
<tr>
<td align="center">成本</td>
<td align="center">中小型企业的高成本。</td>
<td align="center">在线软件即服务平台，低入门成本，后期成本高</td>
</tr>
<tr>
<td align="center">查找</td>
<td align="center">在ETL过程中，事实和维度都需要在临时区域中提供。</td>
<td align="center">所有数据都可用，因为提取和加载只需一次操作即可完成。</td>
</tr>
<tr>
<td align="center">聚合</td>
<td align="center">复杂性随着数据集中额外的数据量而增加。</td>
<td align="center">目标平台的强大功能可以快速处理大量数据。</td>
</tr>
<tr>
<td align="center">计算</td>
<td align="center">覆盖现有列或需要附加数据集并推送到目标平台。</td>
<td align="center">轻松将计算列添加到现有表中。</td>
</tr>
<tr>
<td align="center">成熟</td>
<td align="center">使用了二十多年。 它有详细记录，可以轻松获得最佳实践。</td>
<td align="center">相对较新的概念和复杂的实施。</td>
</tr>
<tr>
<td align="center">硬件</td>
<td align="center">大多数工具都具有昂贵的独特硬件要求。</td>
<td align="center">Saas，硬件成本不是问题。</td>
</tr>
<tr>
<td align="center">非结构化数据</td>
<td align="center">主要支持关系数据</td>
<td align="center">支持非结构化数据随时可用。</td>
</tr>
</tbody>
</table>
<h3 id="_1">参考资料</h3>
<ul>
<li><a href="https://china-testing.github.io/practices.html">python测试开发项目实战-目录</a></li>
<li><a href="https://china-testing.github.io/python_books.html">python工具书籍下载-持续更新</a></li>
<li><a href="https://china-testing.github.io/python3_quick.html">python 3.7极速入门教程 - 目录</a></li>
<li>讨论qq群630011153 144081101</li>
<li><a href="https://china-testing.github.io/pptx.html">原文地址</a></li>
<li><a href="https://github.com/china-testing/python-api-tesing">本文涉及的python测试开发库</a> 谢谢点赞！</li>
<li>[本文相关海量书籍下载](https://github.com/china-testing/python-api-tesing/blob/master/books.md</li>
<li>http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html</li>
</ul>
<h2 id="_2">小结：</h2>
<p>ETL代表Extract，Transform和Load，而ELT代表Extract，Load，Transform
在ETL过程中，数据从源流到分段到目标。
ELT让目标系统进行转换。 没有涉及分期系统。
ELT解决了许多ETL挑战，但价格昂贵，需要利用技能来实施和维护。</p>
<h3 id="_3">参考资料</h3>
<ul>
<li>工作日技术支持QQ群 630011153 144081101</li>
<li><a href="https://china-testing.github.io/data_warehouse_quick5.html">本文最新版本地址</a></li>
<li><a href="https://github.com/china-testing/python-api-tesing">本文涉及的python测试开发库</a> 谢谢点赞！</li>
<li><a href="https://github.com/china-testing/python-api-tesing/blob/master/books.md">本文相关海量书籍下载</a></li>
<li>道家技术-手相手诊看相中医等钉钉群21734177 qq群：391441566 184175668 338228106 看八字、风水、手相、面相、舌相、抽签、体质识别。服务费50元每人次起。请联系钉钉或者微信pythontesting</li>
<li><a href="https://china-testing.github.io/testing_training.html">接口自动化性能测试线上培训大纲</a></li>
</ul>
</div><!-- /.entry-content -->
</article>
</section>
<section id="extras" class="body">
<div class="blogroll">
<h2>links</h2>
<ul>
<li><a href="https://china-testing.github.io/testing_training.html">自动化性能接口测试线上及深圳培训与项目实战 qq群：144081101 591302926</a></li>
<li><a href="http://blog.sciencenet.cn/blog-2604609-1112306.html">pandas数据分析scrapy爬虫 521070358 Py人工智能pandas-opencv 6089740</a></li>
<li><a href="http://blog.sciencenet.cn/blog-2604609-1112306.html">中医解梦看相八字算命qq群 391441566 csdn书籍下载-python爬虫 437355848</a></li>
</ul>
</div><!-- /.blogroll -->
</section><!-- /#extras -->
<footer id="contentinfo" class="body">
<address id="about" class="vcard body">
Proudly powered by <a href="http://getpelican.com/">Pelican</a>, which takes great advantage of <a href="http://python.org">Python</a>.
</address><!-- /#about -->
<p>The theme is by <a href="http://coding.smashingmagazine.com/2009/08/04/designing-a-html-5-layout-from-scratch/">Smashing Magazine</a>, thanks!</p>
</footer><!-- /#contentinfo -->
</body>
</html>