ETL - Projeto Python

[Mauricio de Abreu Antunes]

Pessoal,

Venho aqui perguntar se alguém está interessado em engajar num projeto que visa a cobrir necessidades pequenas em processos de ETL (Extract, Transform, Load).

Tenho consciência em afirmar que sei bastante coisa sobre ETL, mas não sei sobre Python.

Aposto muito no futuro de Python e acho que as ferramentas em Java de ETL tem MUITAS funcionalidades que poderiam ser minimizadas.

Se alguém se engajar aqui, posso mandar o que já tenho projetado.

Espero sua sincera colaboração ou críticas sobre o pedido.

Abraço!

[Bruno de Oliva Bemfica]

Mauricio, dá uma olhada na DAL do web2py, acho que pode te ajudar bastante pra processos de ETL com Python:

http://web2py.com/books/default/chapter/29/06

http://www.web2py.com/examples/static/epydoc/web2py.gluon.dal-module.html

--
Você está recebendo esta mensagem porque se inscreveu no grupo "PyTche" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para pyt...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para pytche+un...@googlegroups.com.
Visite este grupo em http://groups.google.com/group/pytche?hl=pt-BR.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.
 
 

--
Bruno de Oliva Bemfica
Engenheiro de Software
MSN: bbem...@hotmail.com
Mobile: +55 51 8227-0042

Skype: brunodeoliva
Site:http://www.brunobemfica.net

LinkedIn: http://br.linkedin.com/in/brunobemfica

[Mauricio de Abreu Antunes]

Bruno,

Vou olhar (mesmo já conhecendo hehe)
Mas isso é web2py.
Eu não sei, mas acho que web2py não tem bases com protocolos FTP, por exemplo.
O extract dessas ferramentas de ETL sempre pecam. Pois eles não sabem,
mas existem empresas que carregam bases até por e-mail. Ex.: um módulo
da ferramenta loga no g-mail, abre os anexos, baixa e carrega.


Em 3 de janeiro de 2013 23:23, Bruno de Oliva Bemfica
<brunob...@gmail.com> escreveu:

Mauricio de Abreu Antunes
Mobile: (51)930-74-525
Skype: mauricio.abreua

[Bruno de Oliva Bemfica]

Mauricio,

A DAL é meio que um módulo "à parte" do web2py. Pra fazer carga de banco, ela é bem bacana.

Btw, tem o PygramETL também. http://pygrametl.org/

[Mauricio de Abreu Antunes]

Eu conheço o pygrametl também.
Mas ele é de banco pra banco. Sinceramente, essas coisas de banco pra
banco fazem parte de um mínimo do que é um processo de ETL.
Mas obrigado pelos links. Vou adicionar eles na documentação do projeto.

Em 4 de janeiro de 2013 09:18, Bruno de Oliva Bemfica

[Bruno de Oliva Bemfica]

Pelo visto, pra atender a quantidade de coisas que tu queres, vais ter que criar algo, hehehe.

Tomara que fique tão bom quanto o SSIS. :)

[Mauricio de Abreu Antunes]

SSIS o da Microsoft né? Ele é bem bom. A MS investiu muito nele.
Eu gosto de Pentaho. É java e é muito bom.
Mas eu quero uma em Python. Vai que dê certo, né? Temos que investir
de todos os lados pra tecnologia tomar um pouco mais de força. E eu
tenho um tempo vago entre jogar computador, trabalho e estudos de
Oracle pra certificação. hahahha :)

Em 4 de janeiro de 2013 09:30, Bruno de Oliva Bemfica
<brunob...@gmail.com> escreveu:
> SSIS

[Bruno de Oliva Bemfica]

Se precisar de ajuda, é só falar.

Eu achei o pentaho meio complicado de usar. Mas gostei muito do SSIS quando trabalhei com ele, por poder usar "scripts" C# no meio do processo de ETL.

--
Você está recebendo esta mensagem porque se inscreveu no grupo "PyTche" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para pyt...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para pytche+un...@googlegroups.com.
Visite este grupo em http://groups.google.com/group/pytche?hl=pt-BR.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.

[Mauricio de Abreu Antunes]

Sim, o Pentaho é complicado sim. Mas tem cursos disso no Brasil. Não
sei até que ponto valem à pena, mas a ferramenta é bastante usada no
Brasil. E o suporte da comunidade é bom, também.

Em 4 de janeiro de 2013 09:36, Bruno de Oliva Bemfica