Google Groups no longer supports new Usenet posts or subscriptions. Historical content remains viewable.
Dismiss
aspirer un site web en ligne de commande
1,024 views
Skip to first unread message
marioski
Mar 20, 2012, 10:05:01 AM3/20/12
to
bonjour,
sous windows 7 et mozilla firefox,je voudrais savoir que faut-il
écrire précisemment en ligne de commande dans le terminal(le Dos) pour
aspirer un site web dont l'adresse est,par exemple,www.aspirersite.com/
fichiers.html et de telle sorte que les fichiers aspirés aillent dans
ma clé usb?
merci d'avance.
sous windows 7 et mozilla firefox,je voudrais savoir que faut-il
écrire précisemment en ligne de commande dans le terminal(le Dos) pour
aspirer un site web dont l'adresse est,par exemple,www.aspirersite.com/
fichiers.html et de telle sorte que les fichiers aspirés aillent dans
ma clé usb?
merci d'avance.
Jean-Claude BELLAMY
Mar 20, 2012, 11:46:27 AM3/20/12
to
Le mardi 20/03/2012 15:05:01, marioski a écrit dans le message
<news:935db6bb-98b8-4450...@j14g2000vbc.googlegroups.com>
ce qui suit :
C'est commettre un ENORME CONTRESENS que d'assimiler ce qui est ligne
de commandes à "DOS" !
La ligne de commande existe également sous UNIX, Linux, Be-OS, MacOS,
..., et pourtant il n'y a pas le moindre "DOS" la dedans!
Les "commandes" utilisées sont des applis (ou des éléments d'amplis)
tout ce qu'il y a de Windows ! (32 ou 64 bits suivant les versions)
> pour
> aspirer un site web dont l'adresse est,par exemple,www.aspirersite.com/
> fichiers.html et de telle sorte que les fichiers aspirés aillent dans
> ma clé usb?
Tu rêves un peu (ou tu retardes de plusieurs années)!!!! ;-)
De nos jours la plupart des pages sont générées dynamiquement, à l'aide
de scripts en PHP ou ASP, si bien que le résultat de
"http://machin.truc/index.php" n'est en aucune façon le contenu du
fichier "index.php".
Et même celles qui sont statiques sont "mises en forme" par des
feuilles de style, utilisent des scripts Javascript, des bases de
données SQL, ...
Jadis (= il y a une quinzaine d'années) il existait des logiciels
spécialisés dans l'aspiration de sites, j'en ai moi-même utilisés, mais
de nos jours c'est quasiment inutilisable.
Cependant, on peut récupérer en ligne de commande le contenu d'un
fichier texte (HTML, TXT, JS, VBS, ...) à l'aide de ce script très
simple :
fichier "GETHTTP.VBS"
------------ couper ici ------------
Set args = Wscript.Arguments
If args.count=0 Then wscript.quit
url=args(0)
Set objHTTP = CreateObject("MSXML2.XMLHTTP")
Call objHTTP.Open("GET", url, FALSE)
objHTTP.Send
WScript.Echo(objHTTP.ResponseText)
------------ couper ici ------------
La syntaxe est très simple :
gethttp.vbs URL-à-récuperer
ou, si on veut rediriger le résultat dans un fichier :
gethttp.vbs URL-à-récuperer > fichier-texte
Exemple (j'ai choisi l'INRIA car ce serveur est toujours disponible!)
gethttp http://www.inria.fr/index.html
ou
gethttp http://www.inria.fr/index.html > d:\tests\indexinria.html
Si tu veux aspirer tous les fichiers, il faudra le faire un par un ou
prévoir une boucle, tout dépend du site ...
--
May the Force be with You!
La Connaissance s'accroît quand on la partage
----------------------------------------------------------
Jean-Claude BELLAMY [MVP Expert IT Pro]
http://www.bellamyjc.org ou http://jc.bellamy.free.fr
<news:935db6bb-98b8-4450...@j14g2000vbc.googlegroups.com>
ce qui suit :
> bonjour,
>
> sous windows 7 et mozilla firefox,je voudrais savoir que faut-il
> écrire précisemment en ligne de commande dans le terminal(le Dos)
Tu veux te faire reformater dans les grandes largeurs ?
>
> sous windows 7 et mozilla firefox,je voudrais savoir que faut-il
> écrire précisemment en ligne de commande dans le terminal(le Dos)
C'est commettre un ENORME CONTRESENS que d'assimiler ce qui est ligne
de commandes à "DOS" !
La ligne de commande existe également sous UNIX, Linux, Be-OS, MacOS,
..., et pourtant il n'y a pas le moindre "DOS" la dedans!
Les "commandes" utilisées sont des applis (ou des éléments d'amplis)
tout ce qu'il y a de Windows ! (32 ou 64 bits suivant les versions)
> pour
> aspirer un site web dont l'adresse est,par exemple,www.aspirersite.com/
> fichiers.html et de telle sorte que les fichiers aspirés aillent dans
> ma clé usb?
De nos jours la plupart des pages sont générées dynamiquement, à l'aide
de scripts en PHP ou ASP, si bien que le résultat de
"http://machin.truc/index.php" n'est en aucune façon le contenu du
fichier "index.php".
Et même celles qui sont statiques sont "mises en forme" par des
feuilles de style, utilisent des scripts Javascript, des bases de
données SQL, ...
Jadis (= il y a une quinzaine d'années) il existait des logiciels
spécialisés dans l'aspiration de sites, j'en ai moi-même utilisés, mais
de nos jours c'est quasiment inutilisable.
Cependant, on peut récupérer en ligne de commande le contenu d'un
fichier texte (HTML, TXT, JS, VBS, ...) à l'aide de ce script très
simple :
fichier "GETHTTP.VBS"
------------ couper ici ------------
Set args = Wscript.Arguments
If args.count=0 Then wscript.quit
url=args(0)
Set objHTTP = CreateObject("MSXML2.XMLHTTP")
Call objHTTP.Open("GET", url, FALSE)
objHTTP.Send
WScript.Echo(objHTTP.ResponseText)
------------ couper ici ------------
La syntaxe est très simple :
gethttp.vbs URL-à-récuperer
ou, si on veut rediriger le résultat dans un fichier :
gethttp.vbs URL-à-récuperer > fichier-texte
Exemple (j'ai choisi l'INRIA car ce serveur est toujours disponible!)
gethttp http://www.inria.fr/index.html
ou
gethttp http://www.inria.fr/index.html > d:\tests\indexinria.html
Si tu veux aspirer tous les fichiers, il faudra le faire un par un ou
prévoir une boucle, tout dépend du site ...
--
May the Force be with You!
La Connaissance s'accroît quand on la partage
----------------------------------------------------------
Jean-Claude BELLAMY [MVP Expert IT Pro]
http://www.bellamyjc.org ou http://jc.bellamy.free.fr
marioski
Mar 21, 2012, 9:13:06 AM3/21/12
to
On 20 mar, 16:46, Jean-Claude BELLAMY <Jean-Claude.Bell...@wanadoo.fr>
wrote:
> gethttphttp://www.inria.fr/index.html> d:\tests\indexinria.html
le Shell de Linux avec la commande cd+url du site.
Par contre,il ne savait pas faire sous windows...
wrote:
>
> Si tu veux aspirer tous les fichiers, il faudra le faire un par un ou
> prévoir une boucle, tout dépend du site ...
>
> --
>
> May the Force be with You!
> La Connaissance s'accroît quand on la partage
> ----------------------------------------------------------
> Jean-Claude BELLAMY [MVP Expert IT Pro]http://www.bellamyjc.org ouhttp://jc.bellamy.free.fr
j'ai un copain qui m'a dit que c'était très facilement faisable sous
> Si tu veux aspirer tous les fichiers, il faudra le faire un par un ou
> prévoir une boucle, tout dépend du site ...
>
> --
>
> May the Force be with You!
> La Connaissance s'accroît quand on la partage
> ----------------------------------------------------------
> Jean-Claude BELLAMY [MVP Expert IT Pro]http://www.bellamyjc.org ouhttp://jc.bellamy.free.fr
le Shell de Linux avec la commande cd+url du site.
Par contre,il ne savait pas faire sous windows...
nom
Mar 23, 2012, 12:38:00 PM3/23/12
to
Le 20/03/2012 15:05, marioski écrivait:
Bonjour,
Sous Windows et sous Linux, tu peux utiliser wget.
@+
--
Quand on est sûr d'avoir raison, on n'a pas besoin de discuter avec ceux
qui ont tort.
Georges Wolinski
Sous Windows et sous Linux, tu peux utiliser wget.
@+
--
Quand on est sûr d'avoir raison, on n'a pas besoin de discuter avec ceux
qui ont tort.
Georges Wolinski
eric.t...@ace3i.com
Jul 18, 2017, 12:00:50 PM7/18/17
to
Sous windows, je ne connais pas de solution mais si tu tourne sous Linux, wget est un logiciel Linux qui permet de télécharger du contenu sur le web (généralement les liens que vous cliquez). Mais il peut faire bien plus !
En effet, rajouter quelques commandes fait de cet utilitaire un aspirateur de sites web.
wget -r -k -np -T 10 -w 3 -t 1 http://www.votredomaine.com/
Lexique
* -r : comme presque toujours, l’option -r (–recursive), téléchargera les sous adossiers du site et ainsi les liens annexes
* -k : modifie les liens pour pointer localement
* -np : empêche de remonter dans le répertoire supèrieur
* -w : fait patienter quelques secondes entre chaque requête, afin d’alléger le poids sur le serveur
* -T 10 : temps maximum pour aspirer un lien;
* -t 1 : le nombre de tentative de connection en cas d’erreur 404
* -i fichier : --input-file=fichier
source : kasmi.info
En effet, rajouter quelques commandes fait de cet utilitaire un aspirateur de sites web.
wget -r -k -np -T 10 -w 3 -t 1 http://www.votredomaine.com/
Lexique
* -r : comme presque toujours, l’option -r (–recursive), téléchargera les sous adossiers du site et ainsi les liens annexes
* -k : modifie les liens pour pointer localement
* -np : empêche de remonter dans le répertoire supèrieur
* -w : fait patienter quelques secondes entre chaque requête, afin d’alléger le poids sur le serveur
* -T 10 : temps maximum pour aspirer un lien;
* -t 1 : le nombre de tentative de connection en cas d’erreur 404
* -i fichier : --input-file=fichier
source : kasmi.info
Alain
Jul 22, 2017, 2:58:26 AM7/22/17
to
On 18/07/2017 18:00, eric.t...@ace3i.com wrote:
> Sous windows, je ne connais pas de solution mais si tu tourne sous Linux, wget est un logiciel Linux qui permet de télécharger du contenu sur le web ....
Bonjour,
wget est une commande Unix
pour msdos et windows il faut télécharger wget.exe, par ex chez gnuwin32.
De la même façon, vous avez des versions Microsoft pour la plupart des
commandes Unix, avec parfois des options ou résultats un peu différents
hth
> Sous windows, je ne connais pas de solution mais si tu tourne sous Linux, wget est un logiciel Linux qui permet de télécharger du contenu sur le web ....
Bonjour,
wget est une commande Unix
pour msdos et windows il faut télécharger wget.exe, par ex chez gnuwin32.
De la même façon, vous avez des versions Microsoft pour la plupart des
commandes Unix, avec parfois des options ou résultats un peu différents
hth
0 new messages