Maneira mais rápida de iterar sobre grandes quantidades de dados

[Rogério Carrasqueira]

Olá PessoALL!

Tudo bem? Estou precisando fazer uma interação em grande quantidade de dados que possuo no meu MongoDB. Essa quantidade chegar perto dos 16 MM de registros. Estou utilizando python para interagir com meu banco de dados através de um for conforme script abaixo:

contacts = Contact.objects.filter(__raw__=query).only('id', 'email', 'lead_score').no_cache().batch_size(10000)

# query é um dicionário de dados com os critérios de busca

Estou iterando pelo for abaixo:

for index, contact in enumerate(contacts, 1):

       print contact.name

Ocorre que a interação sobre 16 MM vai demorar bastante, eu pergunto se existe alguma forma no MongoDB de iterar mais rápido para que eu consigar reduzir uma leitura de horas para alguns minutos.

Obrigado!

Rogério Carrasqueira

[Sinval Júnior]

Ideal é gerar um csv e analisar com o pypandas. Ou outra forma de dataframe.

--
You received this message because you are subscribed to the Google Groups "MongoDB Brasil" group.
To unsubscribe from this group and stop receiving emails from it, send an email to br-mongodb+...@googlegroups.com.
To view this discussion on the web visit https://groups.google.com/d/msgid/br-mongodb/0601023e-ee3a-460a-a5c8-eecb066de6f8o%40googlegroups.com.