Logiciel de sauvegarde rapide (indexé comme Time Machine)

[jojodrey]

Bonjour tout le monde,

Voilà ça fait déjà plusieurs semaines à raison de quelque heures par jours que je cherche une solution à un problème :-/

Pour commencer, je vais déjà planter le décor :

J'ai suis actuellement en train de mettre en place un stratégie de backup les ordinateurs de la famille se trouvant chez moi. Je dispose d'un NAS (Synology DS1511+) que j'utilise comme concentrateur de donnée depuis lequel des sauvegardes seront effectué. Ce NAS est sauvegardé partiellement par CrashPlan+ dans le Cloud (avec une bonne clé de cryptage).

Les DD des diverses portable (Mac OS et Win7) sont "clonée" au travers du réseau soit par TimeMachine ou l'utilitaire de Win7, ce qui permet d'avoir un sauvegarde pratique et facilement récupérable si l'ordinateur est perdu, voler, etc.

Les images de disque crée sont elle même crypté. Le gros problème de ces images de disque sont au niveau du poids et de la récupération. Il est impossible d'extraire le dossier User facilement, d'où mon problème.. je ne parle même pas des problème si ce .sparsebundle est corrompu, illisible, etc..

Ce qui m'amène à trouver un moyen de faire une "copie" des fichiers du User (documents, image, musique, etc) sur le NAS de manière automatique et rapide.

Donc pour ça, j'aimerai quand parallèle de TM (Mac OS ou Win7), il y ai un miroir du dossier User (avec certain fichier/dossier exclu) sur ce NAS dans des dossier spécifique (dossier home de chaque user.

La partie login sur NAS/journal d'événement/notification, etc, n'est le problème. Je précise quand même que le backup n'est effectuer seulement si l'ordinateur est sur le secteur pour éviter de le décharger inutilement. Mais comme précisé juste au dessus, j'ai déjà trouvé tout les solutions pour les points évoqué si-dessus.

Là où je but, c'est au niveau du soft même pour faire ce miroir. J'aimerai évite que le programme scrute à chaque fois tous les dossiers pour raccourcir le temps d'exécution à la manière de Time Machine.

J'ai déjà tester plusieurs soft, tel que Syncovery, SuperDuper!, GoodSync ou rsync dans un VM. Mais j'ai l'impression que je ne cherche pas dans la bonne voie. En testant un simple miroir de quelque Go prend déjà pas mal de temps, surtout en analyse..





Petit précision supplémentaire:
- Concernant la sauvegarde incrémental du dossier User, j'en ai pas besoin, c'est le NAS au travers de Time Backup qui s'en occupera.

- Le poids des dossiers User se situe aux alentours des 200Go, mais très peux de fichier son réellement modifier par jours (100-1000Mo).

- Il me serait pratique que le programme puis être démarrer depuis un script, mais pour ça, y a toujours des solutions. Comme le fait que ce programme tourne en fond de tâche.

- Concernant le miroir, je désire seulement avec un replissa des fichers/dossiers. Le permission, autres attributs, raccourcis, c'est de loin pas un point important.

- Je pense que ce backup s'éxecutera tout les 3 heures, mais c'est pas encore spécialement décidé (ça risque de changer, en fonction de programme de sauvegarde).




Pour faire simple, ce que je recherche c'est une sorte de Time Machine mais qui fonctionne différemment au niveau de ce qui est sauvegarder. Il s'agit de faire un miroir du dossier User) sur un dossier cible (via le réseau), qui n'est pas stocké dans un dossier zippé/.spare/etc.

Ce qui me parait le plus étonnant, c'est que Time Machine est très rapide à faire des sauvegardes incrémentale via le réseau, alors que les softs cité précédemment sont plutôt longs pour l'analyse.




Merci d'avance




Jonathan





PS: Je suis entrain de tester un backup avec CCC mais la première passe avec 180Go via le réseau, c'est plutôt lent..

PS2: J'espère que c'est dans le bon fil que je post. Concernant les recherches, j'en ai pas trop faire sur ce forum mais j'ai déjà passé beaucoup, beaucoup sur google (FR et Ang)..

PS3: Je sais pas si c'est le meilleur des titres qui existe :-/

 

[edd72]

Perso, j'utilise iBackup (depuis plusieurs années) pour ce type de chose (backup dossier Mails quotidien et backup User hebdo) via le réseau.

A voir si cela te convient.

http://www.grapefruit.ch/iBackup/

 

[otgl]

J'ai déjà tester plusieurs soft, tel que Syncovery, SuperDuper!, GoodSync ou rsync dans un VM. Mais j'ai l'impression que je ne cherche pas dans la bonne voie. En testant un simple miroir de quelque Go prend déjà pas mal de temps, surtout en analyse..

Je ne sais pas comment tu as fait tes tests, mais il faut chronométrer la deuxième sauvegarde, plutôt que la première. Les logiciels intelligents, comme SuperDuper, mettent à jour la copie en transférant uniquement les fichiers qui ont été modifiés depuis. Donc, la deuxième sauvegarde est 100 fois plus rapide que la première.

En plus, SuperDuper vient avec un "built-in scheduler", ce qui t'évitera d'écrire des scripts.

 

[andr3]

Windows -> Robocopy (dispo gratuitement dans un resources pack si je me isouviens bien).

OS X -> rsync

Pourquoi chercher des softs alors que (presque) tout est dispo dans OS X ?

 

[sparo]

Pour windows je préfère en gratuit synctoy (également de crosoft et gratuit) c'est un peu le successeur de robocopy avec une interface graphique et une meilleur intégration au système notamment au niveau des tâches planifier

Et pour rsync (standard sur tout les Linux, UNIX et sur osx) c'est te très loin ce qui ce fait de plus performant pour faire des backup locaux ou distant que ce soit en termes de vitesses, de souplesses ou de sécurité

Un backup sans nouvelle données de ma sauvegarde de 300go et 40000 fichiers prend moins d'une minute au travers de mon adsl à 3mbits ....

 

[jojodrey]

Merci à tous pour vos piste.

Celle de sparo avec rsync m'intéresse spécialement vu que j'avais essayé rsync mais pour 1.5Gb, ça prenait déjà 5 min.. (Et de plus dans une VM..)

Donc j'avais un peu mis de côté cette solution. Je vous redonne des news demain. Là c'est l'heure de faire dodo..


Jon

 

[sparo]

La premiere sauvegarde et limité par la performance de la machine mais pour les copies incrémentales c'est hyper rapide.

 

[jojodrey]

Hello tout le monde,

Voilà pour vous répondre à tous:

Perso, j'utilise iBackup (depuis plusieurs années) pour ce type de chose (backup dossier Mails quotidien et backup User hebdo) via le réseau.

A voir si cela te convient.

http://www.grapefruit.ch/iBackup/

Merci pour le lien, je suis allez faire un saut sur le site et mis au chaud le lien.

Je ne sais pas comment tu as fait tes tests, mais il faut chronométrer la deuxième sauvegarde, plutôt que la première. Les logiciels intelligents, comme SuperDuper, mettent à jour la copie en transférant uniquement les fichiers qui ont été modifiés depuis. Donc, la deuxième sauvegarde est 100 fois plus rapide que la première.

En plus, SuperDuper vient avec un "built-in scheduler", ce qui t'évitera d'écrire des scripts.

Oui, SuperDuper! je l'ai déjà testé (dans une VM) et comme expliqué dans mon premier post, pour backuper 1.5-2Go, ça prenait déjà 5min pour faire l'analyse. Donc pour moi si j'extrapole pour 200Go, ça va faire beaucoup de temps, juste pour l'analyse.. D'où ma crainte
Concernant l'utilisation des scripts, je préfèrerai que ça soit "moi" qui déclenche le backup mais bon ça, c'est de loin pas le plus important..

Windows -> Robocopy (dispo gratuitement dans un resources pack si je me souviens bien).

OS X -> rsync

Pourquoi chercher des softs alors que (presque) tout est dispo dans OS X ?

Merci pour le soft pour Win. Je testerai dans un second temps, là je vais me concentrer sur Mac OS. En parlant de rsync, j'ai eu l'impression que ce n'était pas la bonne direction, mais je me trompe peut-être (je vais en parler plus loin dans mon poste).

Pour windows je préfère en gratuit synctoy (également de crosoft et gratuit) c'est un peu le successeur de robocopy avec une interface graphique et une meilleur intégration au système notamment au niveau des tâches planifier

Et pour rsync (standard sur tout les Linux, UNIX et sur osx) c'est te très loin ce qui ce fait de plus performant pour faire des backup locaux ou distant que ce soit en termes de vitesses, de souplesses ou de sécurité

Un backup sans nouvelle données de ma sauvegarde de 300go et 40000 fichiers prend moins d'une minute au travers de mon adsl à 3mbits ....

Très intéressant ton expérience. Je vais expliquer plus en détail les tests que j'ai effectuée avec rsync.

La premiere sauvegarde et limité par la performance de la machine mais pour les copies incrémentales c'est hyper rapide.

Oui, ça je suis tout à fait d'accord. La première pass est long puis c'est plus rapide. Pour moi, ce qui compte, c'est pas le temps que le programme met pour faire le transfert de fichier, mais celui qu'il met pour analyser ce qui est différent entre la source et la destination..

Exemple: si le programme doit analyser tous les fichiers, même avec un SSD, ça prendra du temps.. Il me semble que Time Machine, tout les heures, ne fait pas un balayage de deux-ci pour savoir si oui ou non il doivent être sauvegardé.. Il utiliser FSEvents pour faire une sorte de liste des fichiers à sauvegarder. Et c'est justement ce que je voudrais "faire" ou plutôt utiliser. Ca demande moins de ressources, est plus light, etc.


Pour revenir à rsync, peut-être que le problème viens du fait que je test dans un VM (réduction des performances en I/O sur le SSD et le réseau) mais j'ai quand même un doute.. Pour éliminer ce doute, je vais installer CCC en dur (ça peux toujours être utile) et faire le test dans des conditions réel.

J'aimerai quand même préciser que hier, j'ai fait le backup avec CCC via un VM des 180Go (tout mon dossier User avec quelques exemptions) et ça a pris environ 5h. Petit précision, je mettait en accès partagé (lecture seul) le fichier User (de mon DD) pour ensuite le lire avec la VM, puis backup sur le NAS au travers d'un réseau Gb. La 2ème pass, 15 min en tout mais vu que rien n'avait changé, ben c'est que de l'analyse. Et la 3ème pass, pareil que la 2ème. Bon en plus j'ai un problème de ressource (erreur de CCC).


Pour revenir à rsync, j'ai commencé au début avec ça, mais me rendant compte que ça prendrai beaucoup trop de temps, j'ai décidé de trouver d'autres solutions. Les tests que j'ai fait avec rsync (V2.6.9 / Version d'origine) ont été effectué sur un disque distant monté en AFP sur le Mac. La ligne de commande était quelque chose comme:

rsync -avh --progress --exclude '.DS_Store' --exclude '._*' --exclude '.localized'
--exclude 'Virtual Machines.localized' '/Users/*/documents/' '/Volumes/Backup/'

@ sparo: Et toi, tu exécute comment le rsync, plutôt client-server, quel version, etc? Concernant le mode client-server, avec le Synology, j'ai tout à fait la possibilité de le faire mais j'ai n'ai pas fait de test de ce coté là.



PS: Pour ceux que ne comprend pas ce que veux dire VM, c'est tout simplement une machine virtuelle. Ce qui me permet de faire des tests sans que tout foute le camp sur mon DD avec plein de prog. installé puis désinstallé.. Oui, je sais Mac OS c'est pas Windows mais bon faut pas déconner, ça reste un OS avec pleins de fichiers qui trainent après une installe..



Jon

 

[sparo]

Perso je ne procède pas comme tout à fait comme toi je fais du rsync au travers d'un tunnel ssh

Qq remarque :
L'option progress ralenti le processus
L'option z compress les données et augmente la vitesse
La performance Max et obtenu avec une connexion client server rsync dans un ssh forwarding

 

[jojodrey]

Perso je ne procède pas comme tout à fait comme toi je fais du rsync au travers d'un tunnel ssh

Qq remarque :
L'option progress ralenti le processus
L'option z compress les données et augmente la vitesse
La performance Max et obtenu avec une connexion client server rsync dans un ssh forwarding

Ok, intéressant.

Pour ce qui est de --progress, c'est que j'aime bien voir se qui se passe. Mais un fois que tout est en place, je pensais le supprimer.

Concernant l'option -z, j'y avait pas pensais mais je vais la rajouter dans ma ligne de commande.

Et pour "ssh forwarding", t'entend quoi par là? Perso, je comprend ça comme une redirection en SSH, mais ça veut juste dire que tu passe à travers un tunnel SSH.


Et ça te donne quoi au final comme commande? Un truc comme ce qui suit?

rsync -vrtLogp /path/to/directory/to/be/backup/* my_rsync_user_1@[SERVER_IP]::profile_1

Si j'ai bien compris, tu passe avec un client et un demon rsync. C'est que je pense que je vais essayer ces prochaines jours.




Concernant les testes que j'ai fait avec CCC en dur, ben y a du mieux mais bon, je trouve que c'est quand même pas la panacé..
Ce qui me gène, c'est ce balayage de tout les fichiers, pour faire la comparaison



Jon

 

[sparo]

voici le mail que je recoit tous les vendredi jour de sauvegarde entre mon NAS synology (équipé du plus petit processeur de la gamme un ARM à 700 Mhz) et mon serveur dédier en intel ATOM de base, le tout au travers d'une connexion ADSL plus que passable a 3Mbps descendant et 0,2 Mbps montant.

BACKUP du 16/11/2012 a 00:00
------------------------------------------------------------
      Sauvegarde vers 'Kimsufi serveur'
------------------------------------------------------------
--- RSYNC --- : Documents

Number of files: 11153
Number of files transferred: 0
Total file size: 3371560179 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 219366
File list generation time: 11.173 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 219377
Total bytes received: 12

sent 219377 bytes  received 12 bytes  15130.28 bytes/sec
total size is 3371560179  speedup is 15367.95
--- RSYNC --- : iPhoto

Number of files: 73668
Number of files transferred: 0
Total file size: 72746873282 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 2091953
File list generation time: 105.467 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 2091964
Total bytes received: 12

sent 2091964 bytes  received 12 bytes  18762.12 bytes/sec
total size is 72746873282  speedup is 34774.24
--- RSYNC --- : DevZ

Number of files: 102487
Number of files transferred: 234
Total file size: 2184457940 bytes
Total transferred file size: 10783651 bytes
Literal data: 5393777 bytes
Matched data: 5389874 bytes
File list size: 2987079
File list generation time: 147.566 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 6175193
Total bytes received: 98648

sent 6175193 bytes  received 98648 bytes  20270.89 bytes/sec
total size is 2184457940  speedup is 348.19
============================================================

Fin de la sauvegarde : 16/11/2012 a 00:07

7 minutes pour la synchro (avec qq petits changements) pour un total de 95000 fichiers et un peu plus de 90Go
la synchro que je fais entre mon imac et mon nas synology contenant en plus ma bibliothèque itunes de 200Go à pri 5 min en réseau 100Mbits

 

[jojodrey]

Et ça te donne quoi comme commande? Vu que de ce que je vois, tu l'exécute plusieurs fois.

Je vais essayer par ce biais.


Jon