[OFF] usar MEDIA dinâmica no S3 da AMAZON.
34 views
Skip to first unread message
wancharle sebastiao quirino
Nov 20, 2009, 2:35:59 PM11/20/09
to django...@googlegroups.com
Pessoal,
estou pensando em separar minha pasta media do servidor que eu uso e coloca-la em servidor S3 da amazon como esse cara fez aqui : http://bgcooper.com/2007/07/19/s3-demo-using-django/
o problema é que antes tinha lido em algum lugar (só nao estou encontrando agora) que a amazon as vezes demorava umas 24 horas para disponibilizar o arquivo pois eles estavam propagando ainda pelos servidores....(gostaria de saber se isso é verdade)
Alguém aqui da lista usa o servico com arquivos dinamicos (fotos) e não apenas com estaticos (css, javascript)?
Pois nas minhas aplicacoes o usuario por exemplo irá trocar sua foto de perfil. E a nova foto tem que aparecer na hora.
Posso estar falando besteira. Por isso gostaria da opinião de alguém que tenha usado o serviço deles...
estou pensando em separar minha pasta media do servidor que eu uso e coloca-la em servidor S3 da amazon como esse cara fez aqui : http://bgcooper.com/2007/07/19/s3-demo-using-django/
o problema é que antes tinha lido em algum lugar (só nao estou encontrando agora) que a amazon as vezes demorava umas 24 horas para disponibilizar o arquivo pois eles estavam propagando ainda pelos servidores....(gostaria de saber se isso é verdade)
Alguém aqui da lista usa o servico com arquivos dinamicos (fotos) e não apenas com estaticos (css, javascript)?
Pois nas minhas aplicacoes o usuario por exemplo irá trocar sua foto de perfil. E a nova foto tem que aparecer na hora.
Posso estar falando besteira. Por isso gostaria da opinião de alguém que tenha usado o serviço deles...
Rafael Fonseca
Nov 22, 2009, 9:17:38 PM11/22/09
to django...@googlegroups.com
Olá Wancharle,
Estou usando o Amazon S3 para servir arquivos estáticos e upload direto para o Amazon S3 dos avatars dos usuários do http://atepassar.com . As vezes ocorrem alguns erros, mas ainda não sei o que é, porém acho que deve ser algum problema na aplicação (deixando passar arquivos com acentos, talvez) ainda vou para pra tentar resolver este problema. Mas no resto dos casos está tudo funcionando perfeitamente, não demora nada pra disponibilizar as imagens, é na hora.
Qualquer dúvida posta aqui, e se quiser pode entrar em contato direto pelo meu email. Tb não conheço muita gente usando os serviços da Amazon por aqui (Brasil).
Abraço,
--
Rafael Jacinto Carício da Fonsêca
Co-Founder at Orygens.com
Computer Science - MSc Candidate at CIN/UFPE, Brazil.
Estou usando o Amazon S3 para servir arquivos estáticos e upload direto para o Amazon S3 dos avatars dos usuários do http://atepassar.com . As vezes ocorrem alguns erros, mas ainda não sei o que é, porém acho que deve ser algum problema na aplicação (deixando passar arquivos com acentos, talvez) ainda vou para pra tentar resolver este problema. Mas no resto dos casos está tudo funcionando perfeitamente, não demora nada pra disponibilizar as imagens, é na hora.
Qualquer dúvida posta aqui, e se quiser pode entrar em contato direto pelo meu email. Tb não conheço muita gente usando os serviços da Amazon por aqui (Brasil).
Abraço,
--
Rafael Jacinto Carício da Fonsêca
Co-Founder at Orygens.com
Computer Science - MSc Candidate at CIN/UFPE, Brazil.
Luiz Carlos Santos
Nov 23, 2009, 9:54:41 AM11/23/09
to django...@googlegroups.com
Os custos do AWS amazon saem muito alto? Rafael e a performasse como é?
Você montar um servidor virtual on-line ou é como um serviço de hospedagem, poderia falar um pouco do serviço?
Fui a uma palestra do Silvio Meira e ele falou muito do AWS Amozon.... e da Sales force... (Computação nas nuvens)....
Poderia esclarece um pouco...
Luiz Carlos
Você montar um servidor virtual on-line ou é como um serviço de hospedagem, poderia falar um pouco do serviço?
Fui a uma palestra do Silvio Meira e ele falou muito do AWS Amozon.... e da Sales force... (Computação nas nuvens)....
Poderia esclarece um pouco...
Luiz Carlos
wancharle sebastiao quirino
Nov 24, 2009, 11:38:52 AM11/24/09
to django...@googlegroups.com
Obrigado Rafael,
O problema dos acentos vou resolver na minha aplicacao mesmo.... Vou modificar o django-filebrowser [1] para upar direto para minha conta no s3. Se ficar bom vou mandar um patch para os caras do django-filebrowser. Ai quem quiser usar usa o filebrowser....
O S3 vai facilitar muito pois vou poder usar a mesma pasta media tanto no servidor de testes quanto no original.... Evita o retrabalho de upar a pasta media pois eu desenvolvo em 3 lugares : em casa, na faculdade e notrabalho. É muito chato ficar carregando a pasta media para lá para cá com a pendrive ( pois ela fica fora do repositorio do svn)
[1] http://code.google.com/p/django-filebrowser/
Luiz,
Acho que o preços são razoaveis.... Eu vou contratar apenas por que não quero contratar um VPS apenas para hospedar a pasta MEDIA.
Se fosse contratar um VPS seria no minio 50 reais mensais mesmo se não tivesse trafego de dados.
Já na Amazon só irei pagar um quantia baixa por arquivo hospedado + uma taxa baixa por aquivo baixado.
Se não houver trafego em determinado periodo só pago pela hospedagem que no meu caso nunca vai passar de 10 reais.
Quanto a performance acho que só é "significativa" se o site for hospedado sozinho em um VPS.
No meu caso a prefomance não vai ser grande pois o site é hospedado na webfaction.com em servidor compartillhado. A unica coisa que reduz para min nesse caso é memória usada pelo servidor no meu plano... Pois agora não vai ter processos transmitindo arquivos de media.
O problema dos acentos vou resolver na minha aplicacao mesmo.... Vou modificar o django-filebrowser [1] para upar direto para minha conta no s3. Se ficar bom vou mandar um patch para os caras do django-filebrowser. Ai quem quiser usar usa o filebrowser....
O S3 vai facilitar muito pois vou poder usar a mesma pasta media tanto no servidor de testes quanto no original.... Evita o retrabalho de upar a pasta media pois eu desenvolvo em 3 lugares : em casa, na faculdade e notrabalho. É muito chato ficar carregando a pasta media para lá para cá com a pendrive ( pois ela fica fora do repositorio do svn)
[1] http://code.google.com/p/django-filebrowser/
Luiz,
Acho que o preços são razoaveis.... Eu vou contratar apenas por que não quero contratar um VPS apenas para hospedar a pasta MEDIA.
Se fosse contratar um VPS seria no minio 50 reais mensais mesmo se não tivesse trafego de dados.
Já na Amazon só irei pagar um quantia baixa por arquivo hospedado + uma taxa baixa por aquivo baixado.
Se não houver trafego em determinado periodo só pago pela hospedagem que no meu caso nunca vai passar de 10 reais.
Quanto a performance acho que só é "significativa" se o site for hospedado sozinho em um VPS.
No meu caso a prefomance não vai ser grande pois o site é hospedado na webfaction.com em servidor compartillhado. A unica coisa que reduz para min nesse caso é memória usada pelo servidor no meu plano... Pois agora não vai ter processos transmitindo arquivos de media.
2009/11/23 Luiz Carlos Santos <h2o...@gmail.com>
David Kwast
Nov 24, 2009, 11:55:38 AM11/24/09
to django...@googlegroups.com
2009/11/24 wancharle sebastiao quirino <wanc...@gmail.com>
> O S3 vai facilitar muito pois vou poder usar a mesma pasta media tanto no servidor de testes quanto no original.... Evita o retrabalho de upar a pasta media pois eu desenvolvo em 3 lugares : em casa, na faculdade e notrabalho. É muito chato ficar carregando a pasta media para lá para cá com a pendrive ( pois ela fica fora do repositorio do svn)
Gostaria de deixar um comentário sobre desenvolvimento e a pasta "media". Eu versiono não só a pasta "media" do desenvolvimento, mas também documentação extra e outros arquivos "fontes" do projeto. Uso o BZR e meu netbook sempre fica de servidor, em casa ou no trabalho. Se preciso, desenvolvo nele também. Desse jeito, o banco de dados SQLITE de desenvolvimento também vai junto para todo lugar. Não sei se eu usaria o S3 para isso, com certeza eu usaria de Backup.
> O S3 vai facilitar muito pois vou poder usar a mesma pasta media tanto no servidor de testes quanto no original.... Evita o retrabalho de upar a pasta media pois eu desenvolvo em 3 lugares : em casa, na faculdade e notrabalho. É muito chato ficar carregando a pasta media para lá para cá com a pendrive ( pois ela fica fora do repositorio do svn)
wancharle sebastiao quirino
Nov 24, 2009, 12:14:00 PM11/24/09
to django...@googlegroups.com
Não faço isso pois não cresce o tamanho do repositorio muito rapido ...
Eu já versiono as imagens do layout do projeto. Só que não versiono as imagens criadas e enviadas pelos usuarios (para isso preciso fazer backup)....
tipo colocar uma galeria de imagens para testar determinada area (e adiantar o servico colocando as imagens que serão realmente utilizadas no site)
só os arquivos de media do django-tinymce que usei no admin ocupou 5 megas já o projeto mesmo não chega nem perto de 1 mega.
Porém se eu versionar a galeria de imagens o projeto chega a 100megas rapidamente.
Eu já versiono as imagens do layout do projeto. Só que não versiono as imagens criadas e enviadas pelos usuarios (para isso preciso fazer backup)....
tipo colocar uma galeria de imagens para testar determinada area (e adiantar o servico colocando as imagens que serão realmente utilizadas no site)
só os arquivos de media do django-tinymce que usei no admin ocupou 5 megas já o projeto mesmo não chega nem perto de 1 mega.
Porém se eu versionar a galeria de imagens o projeto chega a 100megas rapidamente.
2009/11/24 David Kwast <david...@gmail.com>
Rafael Fonseca
Nov 24, 2009, 8:36:34 PM11/24/09
to django...@googlegroups.com
Opa Pessoal,
Desculpem a demora pra responder.
Bem, respondendo a pergunta de Luiz Carlos:
1- "Os custos do AWS amazon saem muito alto? Rafael e a performasse como é?"
R- Depende do que você for usar. No meu caso eu uso os serviços Amazon S3 (Amazon Simple Storage Service) para hospedar arquivos estáticos, Amazon EC2 (Elastic Compute Cloud) para hospedar a aplicação e Amazon RDS (Amazon Relational Database Service) para hospedar o banco de dados no caso MySQL. Os preços variam, mas o básico é o seguinte, a instância do EC2 está gastando por mês (fica 24 horas no ar) $ 74.95 doláres. O RDS ainda não completou o primeiro mês, mas atualmente está em $ 66.48 doláres e o S3 é o mais barato de todos está saindo por $ 0.12 centavos de dolár. :) O site está com acessos em torno de 50 visitantes por dia (muito baixo) porém mesmo com picos de acessos que tivemos em outubro o S3 não passou de $ 0.15 centavos de dolár. :)
Quanto a performance eu posso dizer que é bem rápido. No caso do S3, como são arquivos estáticos o servidor envia rapido para o cliente, porém otimizações no código HTML são essênciais. Ver http://developer.yahoo.com/performance/rules.html . No S3 você tem que setar na mão os cabeçalhos http adicionais como tempo de expiração e e outros, porém escrevi um script do Ant (como sou ex-desenvolvedor java achei mais fácil fazer usando o Ant, mas nada que não pudesse ser feito no Fabric) que executa toda essa operação de minimização de CSS, Javascript e compactação GZip e envia para o S3 automáticamente e deixa tudo prontinho para os usuários.
2- "Você montar um servidor virtual on-line ou é como um serviço de hospedagem, poderia falar um pouco do serviço?"
R- Não entendi muito bem a pergunta, porém vou responder como entendi. Eu entendi que você está perguntando como funciona o serviço do Amazon. Bem, o amazon oferece a você os serviços que já mencionei na resposta anterior (Amazon RDS,EC2 e S3). No EC2 você aperta alguns botões e tem uma máquina virual altamente robusta prontinha pra você usar. Você escolhe o sistema operacional e a configuração da máquina, aperta "run" e pronto só está esperando você dizer o que ela tem que fazer. O EC2 é nada mais que um VPS normal, porém você tem a flexibilidade de parar e inicializar quantos VPS's você quiser no momento que quiser (dai que vem o Elastic).
O RDS é ums instância do MySQL normal, vc libera os IP's que podem acessar e pronto, só é criar a base e usar. O backup é feito automáticamente e seu bd fica separado da sua aplicação. Ele também já é totalmente configurado para trabalhar na melhor performance possível.
O S3 eu já falei na resposta anterior, mas se resume a um ligar onde vc pode adicionar vários arquivos estáticos. Você não pode instalar nada, apenas colocar arquivos dinâmicamente ou não.
Acho que é isso, qualquer coisa pode perguntar. É bom saber que mais pessoas aqui no Brasil usam o Amazon. Lembrando que o Twitter usa o Amazon S3 (só não sei outros serviços, mas esse é de certeza).
Abraços,
Desculpem a demora pra responder.
Bem, respondendo a pergunta de Luiz Carlos:
1- "Os custos do AWS amazon saem muito alto? Rafael e a performasse como é?"
R- Depende do que você for usar. No meu caso eu uso os serviços Amazon S3 (Amazon Simple Storage Service) para hospedar arquivos estáticos, Amazon EC2 (Elastic Compute Cloud) para hospedar a aplicação e Amazon RDS (Amazon Relational Database Service) para hospedar o banco de dados no caso MySQL. Os preços variam, mas o básico é o seguinte, a instância do EC2 está gastando por mês (fica 24 horas no ar) $ 74.95 doláres. O RDS ainda não completou o primeiro mês, mas atualmente está em $ 66.48 doláres e o S3 é o mais barato de todos está saindo por $ 0.12 centavos de dolár. :) O site está com acessos em torno de 50 visitantes por dia (muito baixo) porém mesmo com picos de acessos que tivemos em outubro o S3 não passou de $ 0.15 centavos de dolár. :)
Quanto a performance eu posso dizer que é bem rápido. No caso do S3, como são arquivos estáticos o servidor envia rapido para o cliente, porém otimizações no código HTML são essênciais. Ver http://developer.yahoo.com/performance/rules.html . No S3 você tem que setar na mão os cabeçalhos http adicionais como tempo de expiração e e outros, porém escrevi um script do Ant (como sou ex-desenvolvedor java achei mais fácil fazer usando o Ant, mas nada que não pudesse ser feito no Fabric) que executa toda essa operação de minimização de CSS, Javascript e compactação GZip e envia para o S3 automáticamente e deixa tudo prontinho para os usuários.
2- "Você montar um servidor virtual on-line ou é como um serviço de hospedagem, poderia falar um pouco do serviço?"
R- Não entendi muito bem a pergunta, porém vou responder como entendi. Eu entendi que você está perguntando como funciona o serviço do Amazon. Bem, o amazon oferece a você os serviços que já mencionei na resposta anterior (Amazon RDS,EC2 e S3). No EC2 você aperta alguns botões e tem uma máquina virual altamente robusta prontinha pra você usar. Você escolhe o sistema operacional e a configuração da máquina, aperta "run" e pronto só está esperando você dizer o que ela tem que fazer. O EC2 é nada mais que um VPS normal, porém você tem a flexibilidade de parar e inicializar quantos VPS's você quiser no momento que quiser (dai que vem o Elastic).
O RDS é ums instância do MySQL normal, vc libera os IP's que podem acessar e pronto, só é criar a base e usar. O backup é feito automáticamente e seu bd fica separado da sua aplicação. Ele também já é totalmente configurado para trabalhar na melhor performance possível.
O S3 eu já falei na resposta anterior, mas se resume a um ligar onde vc pode adicionar vários arquivos estáticos. Você não pode instalar nada, apenas colocar arquivos dinâmicamente ou não.
Acho que é isso, qualquer coisa pode perguntar. É bom saber que mais pessoas aqui no Brasil usam o Amazon. Lembrando que o Twitter usa o Amazon S3 (só não sei outros serviços, mas esse é de certeza).
Abraços,
Luiz Carlos Santos
Nov 24, 2009, 8:53:08 PM11/24/09
to django...@googlegroups.com
Obrigado,
Rafael e Wancharle, obrigado pelos os esclarecimentos
Luiz Carlos
Luciano Ramalho
Nov 24, 2009, 9:18:26 PM11/24/09
to django...@googlegroups.com
2009/11/24 Rafael Fonseca <rafael....@gmail.com>:
> Acho que é isso, qualquer coisa pode perguntar. É bom saber que mais pessoas
> aqui no Brasil usam o Amazon. Lembrando que o Twitter usa o Amazon S3 (só
> não sei outros serviços, mas esse é de certeza).
> Abraços,
> Acho que é isso, qualquer coisa pode perguntar. É bom saber que mais pessoas
> aqui no Brasil usam o Amazon. Lembrando que o Twitter usa o Amazon S3 (só
> não sei outros serviços, mas esse é de certeza).
> Abraços,
Rafael, muito grato pelo que você nos contou sobre os serviços da Amazon.
Outro usuário famoso do S3 é o Bitbucket.org, concorrente do Github só
que baseado em Mercurial.
Fiquei sabendo que eles eram clientes do S3 há uns dois meses quando o
Bitbucket ficou fora do ar por uns dois dias inteiros, e o diagnóstico
foi que o S3 estava sofrendo um ataque DDOS massivo... Tem no blog do
Bitbucket essa história.
[ ]s
Luciano
Vinicius Mendes
Nov 24, 2009, 9:22:33 PM11/24/09
to django...@googlegroups.com
Realmente muito bom o esclarecimento. Eu particularmente achei um pouco salgado. Se o valor crescer conforme o uso. 74 dólares para 50 visitas diárias é muito.
Quanto ao que o David falou, sobre versionar tudo. Acho que isso não funcionaria no caso de ter mais de um desenvolvedor para o mesmo projeto. Por experiência própria usando SVN, se um usuário mexer no SQLite, e o outro também, já tem um ponto de conflito.
Quanto ao que o David falou, sobre versionar tudo. Acho que isso não funcionaria no caso de ter mais de um desenvolvedor para o mesmo projeto. Por experiência própria usando SVN, se um usuário mexer no SQLite, e o outro também, já tem um ponto de conflito.
2009/11/24 Luciano Ramalho <ram...@gmail.com>
Michel Thadeu Sabchuk
Nov 25, 2009, 6:14:50 AM11/25/09
to Django Brasil
Olá pessoal,
> Realmente muito bom o esclarecimento. Eu particularmente achei um pouco
> salgado. Se o valor crescer conforme o uso. 74 dólares para 50 visitas
> diárias é muito.
Eu também achei salgado.
Tenho um site hospedado no SliceHost [1], num estrutura de 1 giga de
RAM dividindo com vários outros sites, tem aguentado um tranco bom,
nunca fiz uma análise minuciosa mas meus dois sites de maior tráfego
somam 5 mil visitas diárias.
Já uso em outro projeto o Rackspace Cloud Server [2] e notei que
estruturas com a mesma RAM na Rackspace ou no Slicehost são bem
compatíveis, mas o Cloud Server é a metade do preço.
A Rackspace ainda tem mais um serviço, o Rackspace Cloud Files,
similar ao S3 da Amazon, na época que eu analisei, os preços estavam
até mais baixos que o S3. Sobre esse serviço eu não posso comentar
pois ainda não usei, alguém aqui já usou e pode dar alguma opinião? Eu
sei que tem API para python.
O problema da Rackspace é o suporte, eles tem um suporte bom, nunca me
deixaram na mão e já até me ligaram aqui no Brasil, mas é um
atendimento pessoal, o cara atende umas três ou quatro pessoas aí
demora a te responder. Na SliceHost (que é da Rackspace também, diga-
se de passagem) tem uma sala de bate papo com três ou quatro
atendentes, sinto que lá a coisa flue mais rápido.
Abraços!
--
Michel Sabchuk
http://minhacasafacil.com/pr/
> Realmente muito bom o esclarecimento. Eu particularmente achei um pouco
> salgado. Se o valor crescer conforme o uso. 74 dólares para 50 visitas
> diárias é muito.
Tenho um site hospedado no SliceHost [1], num estrutura de 1 giga de
RAM dividindo com vários outros sites, tem aguentado um tranco bom,
nunca fiz uma análise minuciosa mas meus dois sites de maior tráfego
somam 5 mil visitas diárias.
Já uso em outro projeto o Rackspace Cloud Server [2] e notei que
estruturas com a mesma RAM na Rackspace ou no Slicehost são bem
compatíveis, mas o Cloud Server é a metade do preço.
A Rackspace ainda tem mais um serviço, o Rackspace Cloud Files,
similar ao S3 da Amazon, na época que eu analisei, os preços estavam
até mais baixos que o S3. Sobre esse serviço eu não posso comentar
pois ainda não usei, alguém aqui já usou e pode dar alguma opinião? Eu
sei que tem API para python.
O problema da Rackspace é o suporte, eles tem um suporte bom, nunca me
deixaram na mão e já até me ligaram aqui no Brasil, mas é um
atendimento pessoal, o cara atende umas três ou quatro pessoas aí
demora a te responder. Na SliceHost (que é da Rackspace também, diga-
se de passagem) tem uma sala de bate papo com três ou quatro
atendentes, sinto que lá a coisa flue mais rápido.
Abraços!
--
Michel Sabchuk
http://minhacasafacil.com/pr/
David Kwast
Nov 25, 2009, 7:14:16 AM11/25/09
to django...@googlegroups.com
2009/11/25 Vinicius Mendes <vbme...@gmail.com>
> Quanto ao que o David falou, sobre versionar tudo. Acho que isso não funcionaria no caso de ter mais de um desenvolvedor para o mesmo projeto. Por experiência própria usando SVN, se um usuário mexer no SQLite, e o outro também, já tem um ponto de conflito.
Com certeza não vai funcionar, eu faço isso somente quando trabalho sozinho e preciso levar tudo para todo lado.
> Quanto ao que o David falou, sobre versionar tudo. Acho que isso não funcionaria no caso de ter mais de um desenvolvedor para o mesmo projeto. Por experiência própria usando SVN, se um usuário mexer no SQLite, e o outro também, já tem um ponto de conflito.
Rafael Fonseca
Nov 25, 2009, 2:53:00 PM11/25/09
to django...@googlegroups.com
Opa Pessoal,
Quanto ao valor eu tb acho salgado pra um site com poucos acessos. Porém só chega a esse valor porque vc paga a hora que a máquina está ligada no caso do EC2 o valor é $0.085 por hora. Isso significa que se o seu site tiver mais acessos, não necessáriamente esse valor vai aumentar. O que aumenta é o uso de banda de upload e download que é $0.10 por GB.
Estou usando os serviços do Amazon pq estou acreditando aque o app que estou desenvolvendo vai precisar ser muito robusto e que vou ter que crescer a infra rápidamente. Então estou acreditando na ideia e investindo nisso.
Quanto ao valor eu tb acho salgado pra um site com poucos acessos. Porém só chega a esse valor porque vc paga a hora que a máquina está ligada no caso do EC2 o valor é $0.085 por hora. Isso significa que se o seu site tiver mais acessos, não necessáriamente esse valor vai aumentar. O que aumenta é o uso de banda de upload e download que é $0.10 por GB.
Estou usando os serviços do Amazon pq estou acreditando aque o app que estou desenvolvendo vai precisar ser muito robusto e que vou ter que crescer a infra rápidamente. Então estou acreditando na ideia e investindo nisso.
Reply all
Reply to author
Forward
0 new messages