Installer Wget

[edd72]

Utilise plutôt "sudo" qui permet d'exécuter une commande avec des droits administrateurs.
Et pour avoir un shell avec les droits d'administration, c'est "sudo -s"

Oui car su permet de switcher vers le user root, et à moins que tu aies défini un mot de passe pour le user root, le mdp du user root tu ne le connais pas
(et puis c'est pas une très bonne pratique)

 

[Funnix]

génial ta commande sudo -s CA FONCTIONNE MAINTENANT

---------- Nouveau message ajouté à 12h12 ---------- Le message précédent a été envoyé à 12h04 ----------

génial merci pour le conseil et la commande sudo -s


maintenant ca marche nikel. Le Truc c'est que j'ai testé la commande ci dessous et j'ai l'impression que wget n'arrive pas à aspirer le site qui est en aspx.

Pour plus de sécu j'ai mis des XXX


wget -r -l10 --user=XXXXX --password=XXXXX http://XXXXX/default.aspx

Je n'ai que la premiere page (qui est celle qui sert à demander le login/mdp)

++

ENCORE MERCI POUR VOS REPONSES

---------- Nouveau message ajouté à 12h29 ---------- Le message précédent a été envoyé à 12h12 ----------

bash-3.2# wget -r -l10 --user=xxxx --password=xxxx http://xxxxx/default.aspx
--2014-06-08 12:06:14-- http://xxxx/default.aspx
Resolving xxxx... gg.gg.2.gg
Connecting to xxxxx|ggg.gggg.2.gg|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 25594 (25K) [text/html]
Saving to: 'xxxx/default.aspx'

100%[======================================>] 25,594 114KB/s in 0.2s

2014-06-08 12:06:15 (114 KB/s) - 'xxxx/default.aspx' saved [25594/25594]
Loading robots.txt; please ignore errors.

--2014-06-08 12:06:15-- http://xxxx/robots.txt
Reusing existing connection to xxxx.com:80.
HTTP request sent, awaiting response... 200 OK
Length: 26 [text/plain]
Saving to: 'xxxx/robots.txt'

100%[======================================>] 26 --.-K/s in 0s

2014-06-08 12:06:15 (2.48 MB/s) - 'oxxxxxm/robots.txt' saved [26/26]

FINISHED --2014-06-08 12:06:15--

---------- Nouveau message ajouté à 12h32 ---------- Le message précédent a été envoyé à 12h29 ----------

merci SUDO FONCTIONNE mais je n'arrive pas à aspirer le site en aspx car je n'ai que la premiere page d'enregistrée (celle du login/mdp)..

On y est presque, voici mes logs (avec des xxx pour anonymiser)
qqn sait la commande pour enregistrer un site aspx ?

bash-3.2# wget -r -l10 --user=xxxx --password=xxxx http://xxxxx/default.aspx
--2014-06-08 12:06:14-- http://xxxx/default.aspx
Resolving xxxx... gg.gg.2.gg
Connecting to xxxxx|ggg.gggg.2.gg|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 25594 (25K) [text/html]
Saving to: 'xxxx/default.aspx'

100%[======================================>] 25,594 114KB/s in 0.2s

2014-06-08 12:06:15 (114 KB/s) - 'xxxx/default.aspx' saved [25594/25594]
Loading robots.txt; please ignore errors.

--2014-06-08 12:06:15-- http://xxxx/robots.txt
Reusing existing connection to xxxx.com:80.
HTTP request sent, awaiting response... 200 OK
Length: 26 [text/plain]
Saving to: 'xxxx/robots.txt'

100%[======================================>] 26 --.-K/s in 0s

2014-06-08 12:06:15 (2.48 MB/s) - 'oxxxxxm/robots.txt' saved [26/26]

FINISHED --2014-06-08 12:06:15--

 

[Funnix]

Pas d'idée meilleure pour by passer la page d'authent et avoir les autres pages ?

 

[bompi]

Il te faut un website crawler (robot d'indexation (?) en français) ou alors un peu de programmation.
As-tu essayé avec curl ?

Ne retrouvant plus le nom de celui que j'utilisais il y a quelques années, j'ai fait une petite recherche et il semble que Nutch est capable de faire cela ; mais c'est un peu plus compliqué que manipuler wget ou curl.

 

[Funnix]

Non pas essayé curl, j'essaie juste de trouver la bonne syntaxe pour Wget.

je comprends pas le pb avec Wget pourquoi il ne me donne que la première page

 

[bompi]

Tout dépend de la manière dont est faite l'authentification et de la complexité des formulaires (avec JavaScript ou pas, par exemple).
En clair, il faut souvent des produits qui permettent de remplir des formulaires, qui gèrent les cookies etc. Autrement dit, des robots capables de dérouler un scénario.


Tu dois pouvoir enchaîner des commandes wget successives pour le faire, comme ici, au second post. Mais cela ne marchera pas dans tous les cas. Si du JavaScript côté client est requis, je doute que wget sache se débrouiller ; il faut alors des outils plus sophistiqués.

 

[Funnix]

merci bompi

j'ai fait un copier coller des 2 lignes WGET proposées et en adaptant et bien j'arrive à récupérer un page aspx en local...
...mais elle est vide quand je l'ouvre avec Safari !!!

Ce te parait ok ?
(il faut faire un script au marteau et au burin ?)

 

[bompi]

Dis-toi qu'il faut que tu reproduises avec un outil (un outil intégré ou un script, en un langage de ton choix (PHP, Bash etc.)) la cinématique du site.

Par ailleurs, pour lire le contenu de la page ASP retournée, utilise plutôt un éditeur de texte pour voir si elle est vide ou non et, dans ce cas, ce qu'elle contient.

 

[Funnix]

yep tu as raison avec text editor la page arrive ...
...sauf que j'ai juste la première page d'authent...

je vois pas comment faire pour utiliser les autres outils que tu me proposes, tu peux m'en dire plus ? site web existant avec démo par ex ferait l'affaire

++:love:

 

[bompi]

Regarde les différentes options de wget regardant les cookies : il y a de fortes chances que le site que tu veux aspirer utilise un cookie (ou plus) pour stocker les informations de session.
wget a, par exemple, des options pour enregistrer les cookies avant de quitter ou les recharger avant d'envoyer une requête. Il faut sans doute s'inspirer de ça.
Si tu parcours le site avec Firefox, tu pourras voir quels cookies utilise le site.

Nutch a l'air assez complet et il y a un tuto ici (et d'autres : il suffit de chercher).

Encore une fois : si tu veux aspirer un site dynamique (avec des formulaires, éventuellement de l'authentification), tu dois en examiner la cinématique et écrire tes scripts ou paramétrer les outils en fonction de ça. Donc : d'abord analyser puis choisir le bon outil puis réaliser.