SP 就是存储过程 stored procedure
ELT就是先抽取数据 extracting,在装载数据 loading,最后做转化 tranformation
ETL就是 extracting -》tranformation-》loading
通常ELT的转化就是用存储过程来做的
而ETL中的就是用工具
yang...@gmail.com wrote:
> ����һ��ʲô��SP������˵ELT�ù���ת����ݣ�ʲô���߰���
>
> On 9��10��, ����3ʱ26��, Solo Zhu <
solof...@gmail.com> wrote:
> > ETL�Ĺ������ܶ��˶�̸���ˣ�������ڱȽ�SSIS��OWB��infomatica�������ǰ����Ŀ���������Ҷ�ETL��̵�������ʶ��
> > ��ʵ�����ֹ��ߣ���ȥӦ��ƽ̨��Ϊ����ͬС�죬������ס������������һ���ҵľ��飬��Ҫ��)չ��ά�����档
> >
> > 1�������غ�ELT
> > �ܶ���̸�������صĸ��˵���ˣ�����ODS����DWH�У������input����output�ģ����Ȱ�Ҫ�������ݷŵ���ʱ�����棬����ݴ�
> > ���}�˵ı�Ľṹ����һ��ģ�����IJ���Ƚϱ�ݣ������ÿ���ת�������⡣
> > ͬʱ���ǻ�Ҫ�ᵽ�ľ���ELT��ELT��ETL��ʵ���кô���һ�����ù���4ת����ݣ�һ����SP������һ�㶼��һ���еĴ��?��SPһ�㶼��һ
> > ���еĴ��?�Ҹ�����ΪELT����SP������ݱȽϺã���Ϊ���ǵIJ��Ի��߽�4��ά��������Ҫ�����ı����mapping��ϵ����SPֻ����Ҫ�����
> > ��������һЩ�ĺͲ�����һ��Ƚ������ԣ�ȥ��������ĸ�Դ��
> >
> > 2���ű��ļ�
> > ����Ľű��ļ����Է�ΪFTP script��table Script��Stored proc Script����Shell�ű���������
> > dos shell ����unix shell����Щ����һЩ����ϵͳ�Ŀ����ļ������ǿ�����ʱ��̸��ΪʲôҪ̸̸��Щ�ű��ˣ���ʵ��������ƺͿ�����
> > ����ʱ��ܼ����������ĵ�ʱ�ͱȽ��鷳�ˣ��ر���ETL�����ڴ�һ��package��ʱ����Ҫ���غ���֤���е�ʱ���������������ֻ
> > ����һЩС����Ļ�������ʱ��Ͳ�ֵ�ã�������ǽ��ű��ļ�������һ��Ļ�����ô��txt����bat�ļ��ͺܷ��㡣���о������Ƕ���һЩ��ʱ�?��
> > ��ʱ����Ҫ�����ȫ��ɾ�����ǿ�����truncate table���е�ʱ����drop��createҲ�Dz����ѡ��
> > ��Ȼ������ýű��ļ��Ļ������İ�ȫ��һ��Ҫ�ã����Ҷ����˺ŵı?����Ȩ��ҲҪ����á�
> >
> > 3. ���Ա�
> > ���ǰ��ղ�ͬ��Ƶ�ʣ���ʱִ��package���е�ʱ�������error���е�ʱ�����������������ⲻ�ܰ�ʱִ�С���ʵ���ǿ�����һ�Ų���
> > �?�洢ÿ��package��ִ�е�ʱ�����Ȼ��ÿ�쿪ʼִ��ǰ�������е�package��ʼ�������ִ������¼��ʼ����ʱ�䣬���гɹ���ǡ�
> > ִ��ʱ�������ȶ�ȡ��һ��ִ���յ�ִ������δ��ɵ�package������ĵ����ա�
> >
> > 4. ��־��
> > ȷ��4˵��ETL�����У���packageִ�п�ʼ����һ�̣�ÿһ��С����Ҫ��¼��־����¼������ʲô������ʲô�����г�����Ϣ�Ϳ������
> > ��Ҫʱ�����ǻ�Ҫ������ݿ�����ﴦ�?ʽ������صİ��ִ�����ȫ���ͷŵ�������־��Ͳ��Ա�join�����ǾͿ�������Ŀ�������ִ�е����ܣ�Ч��
> > ��ȷ����ϸ��ִ����Ϣ�����package�����ȼ������ǿ��Խ���־����ͽ�Ĵ���ͨ��SMS����email��������ص���Ա��
> >
> > 5. ����ִ��
> > ����ˢ������Ǿ�����ģ����Ƿ�����ݲ�ȷ�����п�����Ҫ����ִ�У�����ִ�����ж�����ִ�к���ȫ����ִ�У�������Ҫȫ������ִ�С�
> > ������batchid4����ÿһ�����ÿһ�����ݣ������е�ʱ������������������⣬�������ǵ�package��ִ�����жϣ����Ǿ���ҪȥѰ��
> > ��־��������⣬Ȼ������ִ�С���һ�����ֹ�����Ƚ϶࣬��ȫ����ִ�о�������ִ��ij���ij��packge����Ҫ����Ӧ����ݱ���һЩ�������ɾ��
> > ȫ������ִ�У����ǽ���ݲֿ���������ȫ�����´��£��൱�ڴ�0��ʼ��
> > �⼸�ֲ��������ǻ���ģ���������ư��ʱ�� ����package�Լ�ȥ��ɣ�������Ϊ�Ŀ��ƾ� �ļ��١�������һЩ����ķ�ʽȥ��
> > �ơ�
> >
> > 6. �Ŷ�Э����
> > ETL�Ĺ���ռ�����ݲֿ�� ��50%-70%�������Ŷ�Э����һ��Ҫ�á���ETL��E��T��L������־�Ŀ��ƣ����ģ�ͣ�ԭ�����֤����
> > ���� �ȵȷ��档��������Ҫ���һ����ҵ��̫�����ݣ�����ÿ���Ҷ����Լ������Դ���е���ERP���е���Access��������ݿⶼ��һ���Ҫ��
> > ��������������⣬���ֱ����ODBCȥl��}�ص����Դ������������Ȼ�Dz�����ģ���Ϊ���粻�ã�����l�ӣ���������ݿ�t�Ӳ����ͷŵ����;�
> > ��������ڸ����ķ��������һ����ݵ���Ϊaccess����flat file�ij��������ļ��ͱȽϷ����ͨ��FTP�ķ�ʽ���д��䡣���Ǿ���Ҫ��
> > �����
> > 1������дһ��ͨ�õ���ݵ���ߣ�������java��������VB����������Ĺ��ߣ��ܶ���֮����Ҫͨ�ã�����ͨ��ͬ�Ľű��ļ�4��
> > �ƣ�ʹ�����IJ�ͬ��ݿ����ļ���ʽ��һ��ġ����һ�����ʵ�ֲ��в���
> > 2������дFTP�ij�������bat��������ETL���ߣ�����������ķ�ʽ����֮Ҫȷ�����ҷ�����úͿ��ơ�
> > 3������������ģ�ͣ���(1�����еĵ����Ľṹ������ODS��DWH�еı�ṹ
> > 4������дSP����(ETL����Ҫ�õ���SP�����ճ�ά��ϵͳ��SP������������� ֮���
> > 5�����˷���ԭ��ݣ���(��ṹ������� ����ֵ����ҵ����
> > 6�����˸�����̣���(ʵ�ָ��ֹ��ܣ�������־�ļ�¼�ȵȡ�
> > 7�����˲���
> >
> > ����õ�ETL�������Ŷ�4��ɵģ�һ���˵�f ������
> >
> > ����־ͬ����¼��blog��
http://bidwhome.itpub.net/