Amazon Glacier Server

[jee27]

à mon avis il faut surtout bien regarder le planificateur de coûts sur le site d'amazon pcq comme précisé dans le post , l'upload et le maintient des données ne coute quasi rien mais l'extraction des données peu se réveler très cher !

[oges]

eh bien l'upload fonctionne pas très bien...

[Lapin]

eh bien l'upload fonctionne pas très bien...

Quand est-il du cryptage/sécurisation des datas ??

Je n'ai pas encore eu le temps d'essayer, mais je suis très intéressé par ton expérience.

[oges]

experience bizarre, j'ai testé le client windows fastglacier et apparement ça fonctionne bien: upload normal (120ko/s) sur un fichier rar (souvenirs de vacances) de 22mo. Je vais essayer de passer par le syno pour voir si ça upload pareil... Je n'ai pas eu le temps de verifier le cryptage/securisation, mais y-a-t-il un moyen?

[rodo37]

Lors de vos tests faites attention que ce service n'est pas gratuit et coûte $0,055 pour 1 000 demandes.

Bonne idée de n'envoyer qu'un seul fichier RAR contenant toutes les données.

[oges]

Yep c'est pour ça que pour l'instant je reste sur mes gardes concernant le tarif J'en suis deja à quelques dizaines de centimes mais bon après tout je fais "n'importe quoi"

[prudprud]

bonjour tout le monde,

Je me dit qu'un petit retour d'experience peut servir .

Tout d'abord, glacier est un systeme d'archivage à ne pas confondre avec un lecteur réseau (sur le net) ou autre espace cloud (Hubic, S3, autre).

Glacier ne gere pas les arborescence (fasglacier simule un FS via les desctiptions des archives), le module glacier du syno fonctionne avec des archives (un dossiers+fichiers = un fichier archive).

Voici mon contexte, Je souhaite sauvegarder mes photos perso, elles sont classé par date en 5 dossiers (2008-2012) et des sous dossiers par mois, un total de 35Go.

Plan de sauvegarde

J'ai crée 5 plans de sauvegarde, un par année .

Avec un fréquence de sauvegarde, hebdo, et des jours différents pour chaque plan (année).

L'envoie de 7Go n'est pas annodin, surtout avec une adsl (Quid de la Qos).

L'upload

Lors de la sauvegarde, le syno crée une vault (coffre) sous Glacier.

Alors l'utilisation de 100% l'upload de l'adsl peux compromettre la navigation via l'adsl (enfin une sdsl c'est pareil), donc penser à mettre de la QoS sur votre syno.

Les modifications.

En cas de modification, seulement les fichiers concernés sont envoyés.

La récupération

Rien d'extraordinaire, on spécifie le plan que l'on souhaite récupérer, et 4H apres, le download commence. Il est bien sur impossible de ne récupérer qu'un fichier, on récupere l'ensemble du plan de sauvegarde... si je perd une photo de 2008, je dois récupéer l'ensemble des photos de l'année.

Je n'ai pas réussi a restaurer à un autre emplacement que la dossier source.

Le prix :

Alors pour moi , l'envoie m'a couté 3€ (la BP est gratuite, on est facturé par commandes UPLOAD, le syno semble en faire plein)

ensuite en suivant le cours du dollars actuel :

Conserver mes 35Go une année sur glacier... c'est 3,43€

Conservers mes 35Go pendant 10ans : 34€30.

Voila, je suis pénard pour 10ans.

Question Sécurité

C'est de l'amazon, donc on peut dire que les US vont utiliser mes photos contre la lutte anti-terroriste... meme si je sauvegarde en EU... le débat ne me concerne pas et ce n'est pas le lieu.

Perso, mes datas me stresse pas.

Ensuite il faut bien sur créer des credentials particulier pour le syno, avec des droits que sur glacier.

On pourra en cas de fuite, couper l’accès au syno en conservant les données avec son compte master.

Niveau Secu sur Site et cryptage... j'ai confiance en amazon et vu les entreprises qui stockent sur Glacier, je me pose pas de questions.

Conclusion:

Perso, moi je suis adepte et plus serein, à 30€ les 10ans de backup de mes photos perso, je signe.

Cela a bien sur des inconvénients, il faut faire avec et adapter son utilisation à l'outil, pour le prix ça vaut le coup.

Par contre, vous aller me dire... mais dans 10ans j'aurais peut-être plus de syno et comment je pourrais faire mon restore...

Je n'ai pas encore la réponse, je doit récupérer une archive pour la tester dans mon coin, sans le synology.

Il faut bien réfléchir à son utilisation et voir si les contraintes ne sont pas trop importantes.

[Lapin]

Salut prudprud!

Merci de ton feedback. C'est très instructif.

1. Par contre comment es-tu arrivé à déduire le fonctionnement de glacier?
2. Moi aussi j'archive mes photos en cas de gros problème. D'après ton explication, si je rajoute/modifie une photo dans un sous-répertoire du répertoire archivé contenant 100Mo de photo, Amazon Glacier va re-uploader tout le sous-répertoire ou tout le répertoire principal (soit 16Go pour moi)??
3. J'ai essayé de récupéré des data avec "CloudBerry Explorer for Amazon S3". Je peux effectivement visualisé la backup créé par le Syno, mais tout est encrypté (probablement par le Syno). D'ailleurs, je ne sais pas avec quel type d'encryption...
4. Je suis d'accord avec toi, ne pas pouvoir effectuer une récupération partiel et fort ennuyeux. De plus, la restauration est forcement dans le répertoire d'origine, on ne peut pas spécifier une autres destination...

[rodo37]

J'aimerais encore attirer votre attention sur un point

Le coût pour récupérer vos données ! C'est ce point là qui fait mal chez Amazon Glacier !

Effectivement le stockage ne coûte pas grand chose

Pour continuer sur l'exemple de prudprud, il sera facturé $73.38 (environ) pour récupérer ses données (l'ensemble) soit $14.67 pour un plan.

A titre de comparaison, l'entreprise que je gère devrait payer $2,150.28 pour récupérer l'ensemble des données comptabilité et gestion contre seulement $13.14 par mois pour le stockage ($137.05 / an)

[Lapin]

Salut rodo37,

Tu fais bien de préciser ce point. Dans mon cas Amazon Glacier est une archive de dernier recours, donc je ne m'en servirais probablement jamais. Mais si le cas se présentait, je pense que payer $70 pour récupérer plus d'une décennie de photo n'est rien comparé à la perte totale des photos.

Comme tu le soulignes, Amazon Glacier est un solution peut onéreuse pour archiver qques Gigas pour des particuliers. Mais n'est probablement pas adapté pour une utilisation en entreprise, ni pour stocker des données importantes en volume (genre vidéo HD)!

[Dex]

J'aimerais encore attirer votre attention sur un point

Le coût pour récupérer vos données ! C'est ce point là qui fait mal chez Amazon Glacier !

Effectivement le stockage ne coûte pas grand chose

Pour continuer sur l'exemple de prudprud, il sera facturé $73.38 (environ) pour récupérer ses données (l'ensemble) soit $14.67 pour un plan.

A titre de comparaison, l'entreprise que je gère devrait payer $2,150.28 pour récupérer l'ensemble des données comptabilité et gestion contre seulement $13.14 par mois pour le stockage ($137.05 / an)

Crashplan semble donc plus intéressant dans ton cas d'autant plus qu'il gère les versions de fichiers (une vraie sauvegarde donc) et ne pénalise pas la bande passante (sauf lors du premier upload). En theorie si je modifie l'exif d'un jpeg, il ne renvoie même pas le fichier complet mais juste le bloc qui a changé.

Seul hic, mais de taille, il n'existe pas de client natif sous syno. Perso je l'utilise sur PC (qui me sert de master niveau photos pour des raisons historiques).

[prudprud]

bonjour,

Salut rodo37,

Tu fais bien de préciser ce point. Dans mon cas Amazon Glacier est une archive de dernier recours, donc je ne m'en servirais probablement jamais. Mais si le cas se présentait, je pense que payer $70 pour récupérer plus d'une décennie de photo n'est rien comparé à la perte totale des photos.

Comme tu le soulignes, Amazon Glacier est un solution peut onéreuse pour archiver qques Gigas pour des particuliers. Mais n'est probablement pas adapté pour une utilisation en entreprise, ni pour stocker des données importantes en volume (genre vidéo HD)!

J'ai un client qui stocke plus de 10To de datas sur Glacier, ce qui lui coute 110-120$/mois. Ce sont données déja traités... il n'y toucheras jamais, mais au cas où souhaite conserver les fichiers.

Tu peux difficilement faire mieux en terme d'archivage pour le entreprise.

J'aimerais encore attirer votre attention sur un point

Le coût pour récupérer vos données ! C'est ce point là qui fait mal chez Amazon Glacier !

Effectivement le stockage ne coûte pas grand chose

Pour continuer sur l'exemple de prudprud, il sera facturé $73.38 (environ) pour récupérer ses données (l'ensemble) soit $14.67 pour un plan.

A titre de comparaison, l'entreprise que je gère devrait payer $2,150.28 pour récupérer l'ensemble des données comptabilité et gestion contre seulement $13.14 par mois pour le stockage ($137.05 / an)

Glacier est une solution d'archivage et non sauvegarde, la différence est ténu, mais dans le cas de la sauvegarde, on souhaite un accés facile à la data.. l'archivage, c'est plus le carton rangé dans le 3eme sous-sol, qu'on ne toucheras jamais.

Ensuite, il est important de bien séparer ses backups en plusieurs/plan(archive) afin de limiter le temps et le cout d'une récupération.

Par exemple, pour une entreprise qui souhaite avoir l'archivage de ses mails , qui pour certaines est une obligation , glacier peut-etre une bonne solution...

Enfin, tout est question de cout... le calcul sur plusieurs années peut prouver que glacier est là bonne solution... ou pas.

Dernier point, tu as le droit de récupérer 5% de ton volume gratuitement par mois.

Salut prudprud!

Merci de ton feedback. C'est très instructif.

1. Par contre comment es-tu arrivé à déduire le fonctionnement de glacier?
2. Moi aussi j'archive mes photos en cas de gros problème. D'après ton explication, si je rajoute/modifie une photo dans un sous-répertoire du répertoire archivé contenant 100Mo de photo, Amazon Glacier va re-uploader tout le sous-répertoire ou tout le répertoire principal (soit 16Go pour moi)??
3. J'ai essayé de récupéré des data avec "CloudBerry Explorer for Amazon S3". Je peux effectivement visualisé la backup créé par le Syno, mais tout est encrypté (probablement par le Syno). D'ailleurs, je ne sais pas avec quel type d'encryption...
4. Je suis d'accord avec toi, ne pas pouvoir effectuer une récupération partiel et fort ennuyeux. De plus, la restauration est forcement dans le répertoire d'origine, on ne peut pas spécifier une autres destination...

Euh.. qu'entends tu par "déduire le fonctionnement de glacier?"

Enfin, concernant crashplan, c'est tres bien pour les documents perso, ou de boulot.

Je sauvegarde aussi mes photos sur un disque externe. Galcier est vraiement là pour l'externalisation des données, contre les vols/incendies.

[rodo37]

J'ai un client qui stocke plus de 10To de datas sur Glacier, ce qui lui coute 110-120$/mois. Ce sont données déja traités... il n'y toucheras jamais, mais au cas où souhaite conserver les fichiers.

Tu peux difficilement faire mieux en terme d'archivage pour le entreprise.

C'est justement là le problème, le cas ou !

Moi aussi mes données sont déjà comptabilisées mais au cas ou, ça me coûterais une fortune pareil pour ton client mais avec un coût 10x supérieur.

Tu t'imagine dire à ton client, qu'il devra payer plus de 20,000$ pour récupérer l'ensemble de ses données ou cas ou ?

[prudprud]

C'est justement là le problème, le cas ou !

Moi aussi mes données sont déjà comptabilisées mais au cas ou, ça me coûterais une fortune pareil pour ton client mais avec un coût 10x supérieur.

Tu t'imagine dire à ton client, qu'il devra payer plus de 20,000$ pour récupérer l'ensemble de ses données ou cas ou ?

Dans son cas, il n'a pas a récupéré toute ses données d'un coup, il sauvegarde des millions de fichiers sur glacier et des fois on lui demande un certain fichier.

Donc le cas le pire a été envisagé, mais dans aucun des cas il aura tout récupérer.

Mais je suis d'accord avec toi, récupérer ses données coute cher, il faut réflechir avant de vouloir utiliser glacier, mais certains usages sont compatibles avec le mode de facturation.

Pour les questions de calcul, je vous invite a consulter leur page http://aws.amazon.com/fr/glacier/faqs/#How_much_data_can_I_retrieve_for_free avec celle-ci http://aws.amazon.com/fr/glacier/pricing/.

ps : Pour récupérer les 10To en 4H, qui est le minimum.. et le temps que tu as utilisé, il faut 750Mo/s de BP soit une connexion a 5Gb/s avec amazon

[Hugues]

Bonjour,

Bon mes tests (DSM4.1+App Glacier Beta) sont plutôt concluants à deux éléments prêt:

1/ Pas de possibilité de nommer le vault (le syno en crée un automatiquement) ce qui peut compliquer la gestion de multiples archivages

2/ Et beaucoup plus embêtant, le syno renomme les fichiers et stocke dans un second vault un index (regardez le contenu de votre vault avec fast glacier…)

Et apparemment le syno ne peut lancer une restauration que sur une tache de sauvegarde existante donc si pour une raison X le syno n’est plus disponible (en panne, volé…etc), comment lancer une restauration ?

Le téléchargement manuel va impliquer de re-renommer tous les fichiers, il faudrait donc idéalement créer des archives zip ou rar pour ne pas perdre les noms mais cela fout en l’ai la possibilité de faire restaurations d’une partie d’une archive via fast glacier vu qu’on ne saura pas quelle archive contient quoi.

En bref ce n’est pas encore l’ideal…

[rodo37]

ps : Pour récupérer les 10To en 4H, qui est le minimum.. et le temps que tu as utilisé, il faut 750Mo/s de BP soit une connexion a 5Gb/s avec amazon

En fait, d'après ce que j'ai compris, tu n'as pas 4h pour récupérer tes données, mais après avoir fait la demande de récupération de tes données, tu dois attendre entre 3,5 et 4,5 heures avant que les données ne soient disponibles.

C'est un peu le même principe chez moi, je dois attendre 3,2 heures avant d'avoir mes données.

[oges]

Personnellement, c'est de devoir payer pour rapatrier les données et le temps d'attente de 4h pour les avoir qui me pousse vers un autre système de stockage.

[Lapin]

Personnellement, c'est de devoir payer pour rapatrier les données et le temps d'attente de 4h pour les avoir qui me pousse vers un autre système de stockage.

Tout est dit !!! Glacier est un système d'archivage (probablement sur bande, ce qui explique les 4h d'attente avant récupération) pas un système de stockage.

[oges]

[Lapin]

[prudprud]

pour info, j'ai modifié mon post précédent, car j'avais fait qques erreurs.

* La modification de fichiers dans le coffre, n'oublige en rien de tout ré uploader, ces sont les fichiers concerné qui sont ré-uploadé.
* Le coffre, est une suite d'archive, qui sont nos fichiers.


Pour chaque plan il y a deux coffres :
* Un coffre, contenant les fichiers sous formes d'archives.
* Un coffre, suffixé "_mapping", qui contient, un archive qui est la base de données sqlite de la sauvegarde.

cette base se trouve aussi en local sur le syno :

/volume1/@appstore/GlacierBackup/etc

arkana> sqlite3 Photo 2004.mapping.db '.schema file_info_tb'
CREATE TABLE file_info_tb(key INTEGER PRIMARY KEY AUTOINCREMENT, shareName TEXT, basePath TEXT, archiveID TEXT);

On peut donc retrouver l'archiveId (nécessaire pour un restore) via le nom du fichier

arkana> sqlite3 Photo 2004.mapping.db 'select ArchiveId from file_info_tb where basePath = "2004/01-
18/DSC01111.JPG"'
qwF4vD5RENGnOcjUIoR8AJbrSSKMI6UDP8qO1b......473iFB2G26nanERVjUiJBdr2y8k8taw

Donc, meme dans le cas de vol du syno, cela reste tres largement exploitable.

[Lapin]

Très intéressant toutes tes explications!!

Merci!

Par contre, il y a en encryptage ou pas côté Syno??

C'est serait super de pouvoir utiliser "CloudBerry Explorer for Amazon S3" en cas de vol du NAS.

qu'entends tu par "déduire le fonctionnement de glacier?"

Ce que je voulais dire c'est: comme il n'y a pas bcq de documentations sur "Amazon Glacier", je suis impressionné que tu arrives à comprendre comment (=déduire) fonctionne Amazon Glacier.

[SynoBard]

Bonjour,

Sur le papier, Glacier semble convenir à mon besoin : archiver des photos et vidéos perso stockées sur mon syno avec un répertoire par année.

Ex :

"- Vidéos

- 2001

- 2002

- ...

- 2013"

Pareil pour mes photos.

Je dois avoir environ 300Go de médias à archiver.

Etant donné ce que j'ai lu plus haut, je vais le faire répertoire par répertoire, cela me semble plus logique vu le fonctionnement de glacier.

A cause de ma bande passante pourri je vais mettre environ 2 mois à tout uploader mais bon...

Au pire, si je subis un vol/crash/incendi, je suis couvert.

Dans ce cas là et uniquement dans ce cas, je rachète un synology, je lance la procédure de restauration et je retrouve ce que je souhaite léguer à mes enfants.

Des décennies de souvenirs, c'est plus important que l'argent non?? :-)

J'ai commencé ce jour à uploader un premier répertoire, je vais voire ce que ça donne au niveau facturation.

Merci pour vos conseils que j'ai trouvé plus haut dans le fil.

Bonne journée

David

[rodo37]

D'après tes données, ça te coûterais (environ)

$40.15 par année d'archivage

Pour récupérer tes données (en 24h), ça te coûterais $98.83 + $35.88 de bande passante soit $134.71

[SynoBard]

Bonjour,

Tout à fait raisonnable pour moi. :-)

Parfait, j'ai juste un doute sur ma capacité à remonter les backups en cas de besoin, mais on verra si cela est nécessaire un jour... je n'espère pas!!

Bonne journée

David