Μεταφορά πολλών αρχείων από EBS προς S3

[John]

Hello to all:)

Θα ήθελα να ρωτήσω ποιος θα ήταν ο πιο efficient τρόπος να μεταφέρουμε περίπου 1 TB data από ένα EBS volume προς το S3.

Το πρόβλημα είναι ότι τα αρχεία είναι πάρα πολλά (εικόνες, περίπου 25 εκατομμύρια στο σύνολο).

Ευχαριστώ πολύ!

[Leonidas Tsementzis]

Hi John,

 

Not sure ποιος είναι ο πιο efficient τρόπος, αλλά θα σου πρότεινα να δοκιμάσεις το s3cp. 

Υπάρχουν αρκετές άλλες λύσεις (όπως το s3cmd και το s3fs) αλλά έχοντας αντιμετωπίσει διάφορα προβλήματα στο παρελθόν και με τα δύο, θεωρώ το s3cp more reliable.

Όπως και να έχει, εφόσον είναι εφικτό, make sure ότι το EBS volume είναι στο ίδιο availability zone με το S3, ώστε να μην χρεωθείς το data transfer bandwidth.

[John]

Hello Λεωνίδα!

Σε ευχαριστώ για την απάντηση. Καλή περίπτωση το s3cp. Μου έστειλε και ο Ανδρέας στο email μία ιδέα να το κάνω με το s3 sync (http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html). Λογικά θα είναι αντίστοιχα σε ταχύτητα απλά μάλλον θα δοκιμάσω το sync πρώτα μιας και είναι μέσα στα command line tools που είναι ήδη εγκατεστημένα.

Thanks:)

[John]

Μόλις τελειώσαμε με τη μεταφορά οπότε γράφω δυο λόγια για το πως έγιναν όλα:)

Ο τελικός μας στόχος ήταν να έχουμε στο S3 όλες τις φωτογραφίες του travelmyth σε 8 διαφορετικά sizes (4 κανονικά και άλλα 4 για retina/high ppi οθόνες). Επειδή τα original αρχεία ήταν πάρα πολλά περίπου 10M, ο χρόνος για να βγάλουμε όλα τα thumbnails ήταν τεράστιος.

Για να συντομέψουμε τη διαδικασία, φτιάξαμε στο EBS ένα volume που είχε όλες τις original photos και μετά κάνοντας ένα snapshop βάλαμε 8 τέτοια volumes σε 8 διαφορετικά c3.4xlarge instances. Το κάθε instance είχε ως δουλειά να βγάλει τα thumbnails σε ένα και μόνο μέγεθος.

Στη συνέχεια τρέξαμε σε κάθε instance το s3 sync ώστε τα thumbnails να μεταφερθούν στο bucket και να μπουν με τα αντίστοιχα keys στο σωστό structures (όπως θα ήταν αν είχαμε directories ουσιαστικά).

Η όλη διαδικάσία κράτησε περίπου 16 ώρες με το πιο χρονοβόρο κομμάτι να είναι η μεταφορά προς το s3.

Στο τέλος αφού είχαμε ονομάσει το bucket ως photos.travelmyth.com και έχοντας βάλει τα σωστά policies ώστε να φαίνονται οι φωτογραφίες απ'έξω, προσθέσαμε μία CNAME εγγραφή στο Route 53 ώστε οι φωτογραφίες να είναι διαθέσιμες από εκεί χωρίς να φαίνεται το s3 domain. Μετά το μόνο που άλλαξε στον κώδικά μας ήταν το path από /photos σε http://photos.travelmyth.com

Σε επόμενο βήμα σκεφτόμαστε να ενεργοποιήσουμε και το cloudfront.

On Saturday, 17 May 2014 18:51:20 UTC+3, John wrote:

[Leonidas Tsementzis]

Πολύ καλό approach Γιάννη, thanks for sharing.

Εφόσον έχετε κάνει όλη αυτή τη διαδικασία, το να ενεργοποιήσετε το Cloudfront θα είναι παιχνιδάκι.

-- 
L.

--
Λάβατε αυτό το μήνυμα επειδή έχετε εγγραφεί στην ομάδα "AWSUG Greece" των Ομάδων Google.
Για να καταργήσετε την εγγραφή σας απ' αυτή την ομάδα και να σταματήσετε να λαμβάνετε μηνύματα ηλεκτρονικού ταχυδρομείου απ' αυτή, στείλτε ένα μήνυμα ηλεκτρονικού ταχυδρομείου στη διεύθυνση awsug-greece...@googlegroups.com.
Για περισσότερες επιλογές, επισκεφτείτε τη διεύθυνση https://groups.google.com/d/optout.