Téléchargement automatisé ?

Darkfire

Membre actif
26 Juin 2004
284
33
31
Vevey-Suisse
www.emulateur-mac.new.fr
Hello tout le monde :coucou: !
Je viens aujourd'hui pour vous demander un p'tit renseignement. alors tout d'abord je vous expose la situation dans laquelle je suis et ensuite à vous la parole :
J'ai récemment téléchargé Say Cheese. Un petit widget très sympas permettant de regarder des B.D. chaque jour. Celui-ci utilise une base de données en ligne. Adorant Garfield j'ai décidé de tous les télécharger. (Pour ma collection personnelle;) ) Pour les télécharger tous, il y a un moyen extrêment simple : simplement ouvrir un naviguateur, tapper http://images.ucomics.com/comics/ga/(l'année désirée)/ga(année en deux chiffres)(le mois en deux chiffres)(et le jour en deux chiffres).gif et enregistrer l'image qui apparait. [Exemple: ICI] Il n'y a rien de compliqué à cela, cependant il y a des milliers de fichiers ! Étant donné que Garfield existe depuis 28ans et un jour. Je me vois donc mal répéter cette opération 10'221 fois :D . Donc je me suis dit, bah il me suffit d'automatiser cette tâche. J'ai pensé que mon père saurait comment faire cela d'une manière simple. Il m'a donc dit qu'il y avait une fonction dans le terminal qui savait faire ça. ( en l'occurence : Curl ) J'ai donc parcouru rapidement les instructions d'utilisations ( En tappant man curl dans le terminal.) avec mon père, puis j'ai éssayé d'appliquer cette fonction au téléchargement de Garfield. Pour cela j'ai donc tappé dans le terminal : curl -o "garfield.gif" http://images.ucomics.com/comics/ga/1979/ga79[6-12][1-31].gif pour obtenir les images de la premières année. Une fois l'execution de cette commande terminée, je vais voir dans mon dossier "Maison" et là, qu'est-ce que je trouve ? Seulement 6 images de Garfield dont 5 ne sont pas lisible. C'est donc pour cela que je fais appel a votre aide, car je dois avouer que je ne comprend RIEN.
Merci d'avance pour vos réponses ;)
a+++
Tiger-Pro

EDIT : ah oui, j'ai oublié de préciser que le serveur qui héberge toutes ces images de Garfield n'accepte pas de "lister" le contenu du dossier dans lequel se trouve les images. Je ne peut donc pas avoir accès au dossier et le télécharger directement. Voilà :) Si il vous manque des infos pour comprendre ce qui se passe, dites-le moi.
 
Tu as essayé d'aspirer leur site ?

Il faut télécharger Site Sucker, paramètrer les extensions .gif et .jpg dans les préférences, et lancer...

Il y a des chances pour que cela marche, à moins que le webmaster du site en question ait paramétré de façon a interdire les téléchargements sauvages.

Tiens-nous au courant :zen:
 
woa a dit:
Tu as essayé d'aspirer leur site ?

Il faut télécharger Site Sucker, paramètrer les extensions .gif et .jpg dans les préférences, et lancer...

Il y a des chances pour que cela marche, à moins que le webmaster du site en question ait paramétré de façon a interdire les téléchargements sauvages.

Tiens-nous au courant :zen:

Oui j'ai éssayé,
mais j'ai peut être fait une erreur. J'avais utilisé Web Dumper, mais ça n'avait donné aucun résultats. Mais si le WebMaster a interdit les téléchargement "sauvages", ai-je encore une chance d'arriver à mes fins ?
A++ et merci pour ta réponse rapide ;)

EDIT : J'ai réessayé d'asirer le site, mais cette fois ci avec Site Sucker, ça n'a rien donné de plus. :(
 
Me revoilà !
Alors enfait, après avoir fait quelques recherches et beaucoup de reflexion, j'en suis arrivé à ceci : vous n'avez plus besoin de chercher, j'ai trouvé moi même la réponse. Ce que je cherchais à faire est extrêment simple à réaliser avec la fonction "curl" du terminal que j'avais citée précédemment. Le seul truc, c'est que j'avais fait une erreur de syntaxe lorsque j'avais éssayé de l'utiliser. C'est tout bête, mais enfait je n'avais pas asser préciser de chose dans la commande, si bien que celui-ci, réécrivais les donnée de le même fichiers chaque fois. :D Alors évidemment y avait un truc qui clochait la dessous... Je n'ai pas trouvé comment le résoudre, mais...enfait si... J'ai détourné ce problème en faisant plusieures commandes avec chaque fois une seule variable et non une commande avec une douzaine de variable, c'était juste ingérable. Donc je vous donne la formule de la réussite au cas ou ça intéresserai quelqu'un : curl -o "79garfield06_#1.gif" http://images.ucomics.com/comics/ga/1979/ga7906[01-31].gif Je vous explique juste le pourquoi et le comment c'est comme ça et après je vous laisse. Donc le "curl" fait simplement appel à la fonction qui gère la variable exprimée entre les "[]", ensuite le -o "xxxxx" sert à indiquer le nom du fichier dans lequel on veut que les données téléchargées soient enregistrées. (Je précise juste que le _#1 permet de créer plusieurs fichiers nurmérotés ;) ) après tout cela on ajoute l'adresse (sans oublier le http://) pour donner au terminal l'endroit dans lequel il doit puiser les informations. Et c'est dans celui-ci que l'on introdit les variable entre [ et ] . SI je me souviens bien il accepte les changement de A à Z de 1 à ce que vous voulez et de 01 à ce que vous voulez. Mais bon, je vous donne ça juste pour vous donner une idée du principe de fonctionnement, car en réalité, c'est bien plus complexe... Pour en savoir plus aller dans le terminal puis tappez : man curl et la vous saurez tout ;)
voilà, c'est tout.
À bientôt
Tiger-Pro
 
  • J’aime
Réactions: pim et PA5CAL
Waou alors ça, ça déchire, si je peux me le permettre ! :zen:

Je fais un petit ajout à tes excellentes recherches ; ;) Faire un copié-collé de la ligne de commande donnée par Tiger-Pro :

Tiger-Pro a dit:

peut mener à quelques petits problèmes si on ne s'y connais pas trop question manipulation du terminal. Donc :

  • pour arrêter et quitter un processus, c'est Ctrl-C
  • pour arrêter un processus, c'est Ctrl-Z
  • pour le reprendre c'est %1 (si c'est le seul processus lancé, c'est donc le 1)
  • pour avoir une liste des processus en cours, taper jobs (rien à voir avec Steve, hein !)
  • pour quitter le processus arrêté c'est kill %1 (ne pas se tromper, vérifiez bien que le 1 est bien celui que vous voulez tuer !)

Voilà, je poste ça juste pour éviter que quelqu'un se retrouve avec des milliers de fichiers sans trop savoir quoi faire. :D

D'autre part, jetez un coup d'œil à l'image du 20 juin 2006 :

ga060620.gif


Qu'en pensez-vous ? (à part que c'est terriblement bien trouvé, hein ! :D )

Mon opinion : Garfield a un Mac ! ;) En tout cas, l'écran c'est un Apple Cinema Display ! Design typique !

Post scriptum : on va faire un fan-club Garfield spécial MacGé ! :)
 
pim a dit:
Waou alors ça, ça déchire, si je peux me le permettre ! :zen:

Je fais un petit ajout à tes excellentes recherches ; ;) Faire un copié-collé de la ligne de commande donnée par Tiger-Pro :

peut mener à quelques petits problèmes si on ne s'y connais pas trop question manipulation du terminal. Donc :

[...]

Voilà, je poste ça juste pour éviter que quelqu'un se retrouve avec des milliers de fichiers sans trop savoir quoi faire. :D

[...]

Post scriptum : on va faire un fan-club Garfield spécial MacGé ! :)

Salut !
Oui, tu as raison de préciser ces quelques petites choses, car une erreur est vite faite :)

Et je vous donne juste comme info au cas où certaine personne voudraient se lancer dans ce "petit" téléchargement, l'ensemble de la collection Garfield complète fait tout de même 298 Mo, donc cela peut prendre un certain temps, n'en soyez pas étonné.;)
(La pièce jointe est l'ensemble des commande curl quer j'ai tappée, je vous la mets à disposition au cas où, car c'est long à tapper malgré les copié collé tout de même ;) )

Enfait, il me reste tout de même une petite question : Ai-je le droit d'héberger sur mon compte free ma collection de garfield triée (si je peux dire) dans des dossiers par mois et par années ? Pour la mettre à disposition de gens n'ayant pas forcément envie de mettre les mains dans le terminal ?
A+++
Tiger-Pro
 
C'est sous copyright donc tu n'as pas le droit. Simplement, si tu indiques les coordonnées du site d'origine, et que tu reste discret dans ton petit coin avec ton site perso avec 10 visites par mois, tu devrais disposer d'un peu de temps avant de recevoir la visite des avocats de Garfield ! :D

De toute façon, les images sont libres d'accès, et il y a des milliers de fans de milliers d'artistes, qui reproduisent leurs oeuvres, simplement par admiration, et pas pour faire du piratage. Donc je pense que tu peux y aller....
 
pim a dit:
C'est sous copyright donc tu n'as pas le droit. Simplement, si tu indiques les coordonnées du site d'origine, et que tu reste discret dans ton petit coin avec ton site perso avec 10 visites par mois, tu devrais disposer d'un peu de temps avant de recevoir la visite des avocats de Garfield ! :D

De toute façon, les images sont libres d'accès, et il y a des milliers de fans de milliers d'artistes, qui reproduisent leurs oeuvres, simplement par admiration, et pas pour faire du piratage. Donc je pense que tu peux y aller....

Daccord, merci;)
Je ne pense pas que je passerai de beaucoup les 10 visites par mois, donc pas de risque de voir les avocats débarquer chez moi. Je pense que je vais uploader tout ça cet après midi, étant donné que le seul souci est le temps mainteant que free nous offre 10 Go sur ses beaux serveurs:)
À bientôt
Tiger-Pro (désormais grand lecteur de Garfield)

EDIT : Enfait, pour revenir au fait que Garfield à un mac, il me semble que c'était déjà le cas lors du film. Il me semblait avoir aperçu un Mac chez lui. (à moins que je ne me trompe de film..)