Carga incremental

Tatiana Cavalheri

unread,

Sep 24, 2020, 7:35:19 AM9/24/20

to pentaho-fortaleza

Bom dia à todos!

Alguém que domine o processo de carga incremental?

Fiz a carga de dados de 15 milhões de registros, agora estou fazendo a carga incremental de 358.000 registros, porém já faz 14 horas que o processo está sendo executado e não finaliza.

Estou usando o insert/update, se eu estivesse utilizando o Table Output o processo teria acontecido em 10 minutos.

Alguém tem alguma ideia?

Ricardo Pestana

unread,

Oct 20, 2020, 9:26:58 AM10/20/20

to pentaho-...@googlegroups.com

bom dia,

Você está usando a chave primária, ou pelo menos campos que são chaves em algum indíces nos campos de busca do componente "insert/update"?

O processo de update com certeza é mais pesado que o de insert, principalmente em uma base grande... Mas tente manipular o valor do "commit size", por padrão é 100 ... quanto você está usando? (tente aumentá-lo pra 1000 por exemplo se isso for possivel pra vc)

abraço

--
Você recebeu essa mensagem porque está inscrito no grupo "pentaho-fortaleza" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para pentaho-fortal...@googlegroups.com.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/pentaho-fortaleza/24703737-c2ff-4a6a-9954-8fb9df6650cfn%40googlegroups.com.

sale...@gmail.com

unread,

Dec 21, 2021, 7:54:15 AM12/21/21

to pentaho-fortaleza

Use o table output usando uma chave unica para cada registro, e o que der erro joque para o table updade, esse processo é infinitamente mais rapido.

Mailson Santos Filho

unread,

Dec 21, 2021, 8:01:39 AM12/21/21

to pentaho-...@googlegroups.com

Usa o merge rows/diff e usa a referencia a que está na sua estrutura de comparação. A saída vai indicar o que é novo, modificado e deletados, ai vc pega e usa essa flag pra fazer o incremental jogando os novos em um output.

--
Você recebeu essa mensagem porque está inscrito no grupo "pentaho-fortaleza" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para pentaho-fortal...@googlegroups.com.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/pentaho-fortaleza/b76e1611-bca0-4f4c-8b22-b277e3d3334en%40googlegroups.com.