Cari spaghettari
Ho pubblicato delle guide introduttive alla pulizia e analisi dati con Python 3 e Jupyter, dove elaboriamo dataset da
dati.trentino.it usando anche OpenStreetMap:
https://softpython.readthedocs.io
Le guide sono il frutto di due seminari tenuti all'Università di Trento, pescando anche materiale da CoderDojo Trento.
La prova del fuoco è stata una challenge in DataScience per studenti delle superiori da vari istituti in
alternanza scuola lavoro, con sfide proposte da SpazioDati,
U-Hopper/Thinkin e
dati.trentino.it. I ragazzi in una sola settimana sono riusciti a imparare come mettere insieme pezzi di codice Python e realizzare dei prototipi interessanti, alcuni li hanno presentati proprio bene :-)
Credo sia un bell'esempio di cosa può succedere quando si mettono insieme più risorse dal territorio - spero possa essere utile a qualcuno !
Riporto l'indice:
- Come orientarsi
- Approccio e obbiettivi
- Materiali usati
- Introduzione a Python
- Installazione
- Nozioni base su Python (sintassi, programmazione a oggetti)
- Immissione comandi in Jupyter Notebook
- Condivisione script online
- Formati dei dati
- Presentazione di formati dati comuni (CSV, JSON, XML, file binari)
- Convertire dati, trattare errori e dati mal-formattati
- es. impianti funiviari Trentino
- Visualizzazione dati
- Plotting di grafici in Matplotlib.
- Esporre dati online con DataWrapper, RawGraphs, UMap
- Ricerca
- Ricerca in dati testuali usando espressioni regolari
- es. fermate autobus trentino
- Integrazione dati
- Esempio di integrazione dati: scaricamento di un dataset opendata (agritur del Trentino)
- pulizia e posizionamento dei punti di interesse su OpenStreetMap usando un servizio di georeferenziazione
- Estrazione Dati
- Estrazione di testo rilevante da una pagina HTML usando BeautifulSoup
- es. eventi del Trentino
- Analitiche sui dati
- Analisi di un dataset contenente dati numerici con la libreria Pandas (es. statistiche sensori stazione spaziale)
- Calcolo di correlazioni tra fattori (es. meteo trentino)
- Applicazioni interattive
- Creazione di interfacce per analisi interattiva di dati con Jupyter Widgets
- Discussione di alternative (QT, wxWidget)
- Integrazione con database
- Estrazione di dati da un database SQLite con Pandas
- Esecuzione di semplici ricerche SQL
- Information retrieval
- Ricerca per rilevanza
- Ricerca per similarità
- Web development
- Cenni sviluppo di un semplice server web
- Realizzare progetti
- Challenges
Happy hacking,
David