XML muito grande

733 views
Skip to first unread message

Rafael Lazarine

unread,
Jan 13, 2014, 1:45:07 PM1/13/14
to list...@googlegroups.com
pessoal, peguei um arquivo XML na qual possui 63mil linhas e preciso ler cada linha e inserir no BD, até ae tudo bem, só que ao ler linha por linha o servidor não aguento e me retornou erro 500. alguém aqui precisou manipular arquivos XML muito grandes? eu usei o simple_xml e xmlreader e não deu.

ademilson nunes da silva

unread,
Jan 16, 2014, 12:42:04 PM1/16/14
to list...@googlegroups.com
Creio que seja o timeout do seu apache. Verifica este link talvez ajude a contorna a situação:


Em 13 de janeiro de 2014 16:45, Rafael Lazarine <rafael...@gmail.com> escreveu:
pessoal, peguei um arquivo XML na qual possui 63mil linhas e preciso ler cada linha e inserir no BD, até ae tudo bem, só que ao ler linha por linha o servidor não aguento e me retornou erro 500. alguém aqui precisou manipular arquivos XML muito grandes? eu usei o simple_xml e xmlreader e não deu.

--
--
============================================================
JQUERY MAGAZINE > http://www.jquerymagazine.com.br
--
PHP MAGAZINE > http://www.phpmagazine.com.br
--
LISTA NODE.JS > https://groups.google.com/group/lista-nodejs?hl=pt-br
--
AJAX-BRASIL > http://groups.google.com/group/ajax-brasil
--
PYTHON-GOOGLE > http://groups.google.com.br/group/python-google
--
DOTNET-BRASIL > http://groups.google.com.br/group/dotnet_br
============================================================
 
---
Você está recebendo esta mensagem porque se inscreveu no grupo "LISTA PHP" dos Grupos do Google.
Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para listaphp+u...@googlegroups.com.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.

Marlon Paulo

unread,
Jan 16, 2014, 12:56:56 PM1/16/14
to list...@googlegroups.com
Já trabalhei com XML's com mais de 10 milhoes de linhas, pelo que me lembro existem 2 maneiras "padrões" de se ler um XML, SAX e DOM parsers, no seu caso a melhor maneira seria o SAX, como você pode ver nesses comentarios http://php.net/xml.
Uma rapida pesquisa no google deve te trazer alguns exemplos. 


2014/1/16 ademilson nunes da silva <ctec...@gmail.com>



--
Marlon Paulo Parizzotto
Software Engineer - Hewlett-Packard 

Luiz Carlos Timbó

unread,
Jan 16, 2014, 1:46:21 PM1/16/14
to list...@googlegroups.com
Já tive problemas também com o simple_xml, resoli usando o DOM.
 
******************************************
Atenciosamente
Luiz Carlos Timbó
21 98211-9187 TIM
21 97353-4762 CLARO
******************************************

Nenhum vírus encontrado nessa mensagem.
Verificado por AVG - www.avgbrasil.com.br
Versão: 2014.0.4259 / Banco de dados de vírus: 3681/7007 - Data de Lançamento: 01/16/14

Leandro Chaves

unread,
Jan 16, 2014, 1:49:59 PM1/16/14
to list...@googlegroups.com
Rafael,
Com arquivos grandes eu faço o trabalho em duas etapas.
Faço o upload do arquivo e salvo em um diretório.
via php-cli eu leio esse arquivo e importo, sem o risco de timeout.

Quanto ao php-cli você pode deixar uma rotina no cron para checar de minuto em minuto se tem arquivo na pasta para ser processado.
Em 13 de janeiro de 2014 16:45, Rafael Lazarine <rafael...@gmail.com> escreveu:
pessoal, peguei um arquivo XML na qual possui 63mil linhas e preciso ler cada linha e inserir no BD, até ae tudo bem, só que ao ler linha por linha o servidor não aguento e me retornou erro 500. alguém aqui precisou manipular arquivos XML muito grandes? eu usei o simple_xml e xmlreader e não deu.

--
Reply all
Reply to author
Forward
0 new messages