Usare cUrl al posto di Firefox per scaricare files via batch

[Roberto Deboni DMIsr]

Ogni settimana ricevo una lista di file da scaricare di interesse
alla mia attivita'.

La procedura prevista e' cliccare sul nome del file e scaricarlo
passando da Firefox. Il che e' una pena, data la lentezza
della procedura, anche se seleziono Firefox per scaricare
direttamente il file selezionati nella cartella voluta
((o) Save files to ...), trattandosi anche di una ventina
di file.

Il primo tentativo e' stato con wget che pero' mi restituisce
solo un file "html" che poi ho scoperto e' solo il primo
passo per arrivare al documento. Dopo avere provato una serie
di opzioni ho rinunciato.

Ho trovato una soluzione parziale con xdg-open, che mi permette di
evitare almeno di stare li a "cliccare" un documento alla volta.
Preventivamente apro il sito su Firefox con username a password,
cosi' Firefox ha le credenziali di accesso (altrimenti non funziona).
Poi:
xdg-open [link documento]

passa la richiesta a Firefox che poi accede al file e lo scarica
dove ho preimpostato. Il problema e' che e' lento avendo dovuto
mettere uno "sleep 2" (due secondi di pausa) perche' altrimenti
Firefox va in tilt se riceve richiesta a raffica.

Volendo migliorare il tutto (che mi richiede una preparazione
noiosa di Firefox (devo selezionare lo scarico diretto del documento
e per i vari tipi di file papabili (una decina) selezionare cosa
fare (cioe' "save file") e poi sistemare il parametro
browser.link.open_newwindow a 1 (altrimenti mi apre un tab
dietro l'altro, ancora piu' lento) sono passato a provare cUrl.

Risultato simile di wget, pero' Firefox mi puo' generare la
sequenza cUrl fatta per accedere al singolo documento e cosi'
ho scoperto che il processo avviene in tre fasi:

a) un primo accesso per ottenere un codice che viene inserito nel
rigo del link che mi trovo nella lista spedita
b) un secondo accesso usando il link modificato come sopra per
avere in risposta il link "diretto" del documento da scaricare
c) un terzo accesso per scaricare il documento con il link diretto

Ora, la sequenza cUrl generata da Firefox nel terzo accesso,
usato direttamente mi fornisce il documento desiderato, ma il rigo
e' specifico e non generico, ovvero non posso utilizzarlo per una
modifica al volo per altri documenti, perche' non conoscoe il link
diretto degli altri documenti se prima non ho eseguito i passi a) e b).

Il punto e' che Firefox "parla con il sito" (usando ogni volta le
credenziali di accesso attivate) per ricevere informazione come
modificare il rigo del primo accesso e ottenere il link per il secondo
accesso e cosi' per il terzo. E questa e' la parte che vorrei
fare via batch, cosi' da potermi sganciare del tutto dal lento Firefox.
Come faccio a sapere che informazione ottiene Firefox con il primo
accesso (per inserirlo nella posizione che ho osservato) e poi per
ricevere il link diretto del documento desiderato (per l'accesso
diretto finale) ?

Forse devo gestire qualche "cookies" ?

Oppure conoscete un altra soluzione che mi permette di duplicare
l'accesso triplo fatto da Firefox senza passare da Firefox ?

Mi da' fastidio principalmente il dovere ogni volta preparare
Firefox (con "Preferenze") per automatizzare lo scarico lanciato
dalla fila di xdg-open.

--
This is Usenet. If you are sending a link be sure to post a summary, or
include just enough text to give a context. Clickbaiting is unwelcome.