Article Image
Article Image
read

Il portale dell’ente ARPAT, ente per la protezione ambientale della Toscana, è un portale su cui vengono pubblicati quotidianamente moltissime informazioni relative ai rilievi sulle condizioni ambientali della nostra regione. Oltre ad una serie di notizie, c’è una ricca sezione di dati.

In particolare ci sono varie pagine navigabili che consentono agli utenti di visualizzare ad esempio lo storico di quanto misurato in termini di PM10 in Toscana in un particolare comune. Sono informazioni preziosissime perché danno la possibilità di scaricare i dati per poterli analizzare, raccontare, divulgare.

Questi dati sono pubblici per legge in quanto ARPAT ente regionale e quindi di fatto aperti “legalmente” a chi voglia usarli, si tratta di rispettare le note legali riportate nel sito.

Un paio di anni fa ho iniziato ad ispezionare questo portale per capire come poter facilmente estrarre dati a me utili e farlo un semplice script. Mi sono purtroppo accorto che il portale presentava dei limiti tecnici di “accessibilità” al dato, in quanto molti dei dati relativi all’anno corrente sui PM10 erano accessibili solo manualmente andando sul sito perchè i dataset non predisponevano un’interfaccia adeguata all’interpretazione per macchine o software. Come si vede dalla figura infatti era necessario fare click sul menù a tendina per scaricare i dati in formato Excel, CSV o altro. Diventava quindi molto “costoso” in termini di tempo monitorare un dato nel corso di un anno perchè i dati andavano scaricati manualmente oppure raccolti tramite strumenti software che di fatto li “grattavano” via dalle pagine web con qualche tecnica di hacking.

la schermata di download dei dati del bollettino sulla qualità dell'aria

Ho pensato che fosse effettivamente un peccato non poter usare in modo automatico così tante informazioni (tra l’altro così utili) ed ho iniziato a scrivere ad Arpat. Nel mese di Marzo 2016 inviai un semplice messaggio Twitter per far notare che i dati potevano essere resi disponibili in formato FEED RSS così da aggiungere alle attuali tecnologie una tecnologia più adeguata per avere un Bollettino divulgabile Online. Cosa è un Feed potete leggerlo qui. Questa fu una prima risposta dell’ente:

*Buongiorno, *

in merito alla sua richiesta di un link per pubblicare i dati di qualità dell’aria del Comune Prato, le segnalo che sul sito di Arpat nella parte dedicata alla qualità dell’aria abbiamo da poco attivato due canali feed che consentono un agevole interscambio dei dati anche a fini di riutilizzo in altre applicazioni.

Se desidera solo i dati dell’area omogenea del Comune di Prato è sufficiente ricercare il comune nella pagina del**Bollettino della qualità dell’aria, il flusso rss verrà filtrato per fornire solo i dati relativi al comune scelto: **http://www.arpat.toscana.it/temi-ambientali/aria/qualita-aria/bollettini/feed_bollettino/regionale/PRATO

Il feed genera un flusso in formato xml con i dati pubblicati quotidianamente in formato tabellare, anche se il servizio è progettato per gli aggregatori di podcast non dovrebbe essere difficile integrare tali dati nelle pagine del suo portale. Spero di averle dato indicazioni utili, saluti ed in bocca al lupo per la sua iniziativa.

Io replicai così

Si effettivamente avevo chiesto tramite twitter la possibilità di avere un flusso dati Feed RSS che è ottimo per me.Suggerisco per il futuro se potete farlo di dare la possibilità di esportare un CSV dei dati come già ho visto dal sito è possibile fare manualmente, ma tramite hyperlink esattamente come per i feed, in questo modo chi ha bisogno dei dati in forma tabellare può puntare a quel link con la sua applicazione ed esportarli in formato tabellare.

Grazie Mille del vostro supporto

Avendo cioè capito di aver trovato qualcuno disposto ad accettare critica per migliorare il servizio, stavo richiedendo di fare uno sforzo in più per poter consentire anche a script software di poter accedere ad un link diretto senza passare per un’azione manuale.

Dopo circa un anno in Ottobre 2017, Marco Talluri di Arpat mi chiede nuovamente un parere sul loro servizio. Torno alla carica con la mia richiesta con questa nota via mail

Inizio la mia valutazione del vostro sito e della sezione relativa ai dati. In pagine come questa** http://www.arpat.toscana.it/temi-ambientali/aria/qualita-aria/bollettini/index/regionale/12-10-2017 date la possibilità di esportare i dati in excel e csv ma solo dalla pagina web. non esiste cioè un link diretto ai dati in CSV o EXCEL*

Ho visto che i dati in CSV vengono generati tramite funzioni JS quando l’utente lo richiede, avendo a disposizione tutti i dati non potreste pubblicarli con un link direttamente? Il feed è utilissimo per servizi stile “news” o allerta ma purtroppo non fornisce la possibilità di vedere “tutto lo storico”. Ad esempio se io volessi vedere i PM10 a Prato dal 2000 se tutti i dataset fossero pubblicati con un link diretto sarebbe possibile con qualche script semplice, ma con il solo feed è impossibile. Ovviamente ho parlato di CSV ma se fossero in un formato come XML o JSON andrebbero sicuramente bene lo stesso in quanto comunque formati aperti.

Marco Talluri mi rispose allora prontamente

Vero, però esiste la possibilità di avere in dati in formato RSS (sia il bollettino che i singoli superamenti) che che è un formato orientato ai podcast ma facilmente leggibile da software esterni in quanto strutturato xml. Inoltre per alcuni progetti specifici esponiamo un versione Json (stile web service) dei bollettini, tale struttura potremo renderla pubblica, facciamo qualche verifica in tal senso.

Ok giro anche queste osservazioni ai tecnici.

Per i dati storici della qualita’ dell’aria hai visto che sono scaricabili da qui

http://www.arpat.toscana.it/temi-ambientali/aria/qualita-aria/archivio_dati_orari

Ho atteso un po’ di tempo. Oggi ARPAT pubblica online la risposta alle mie richieste ed anche qualcosa di più. In particolare in questa pagina del loro sito trovate tre possibili informazioni che possono essere recuperate in modo automatico tramite link:

  • Bollettini della qualità dell’aria

  • Struttura rete di monitoraggio

  • Superamenti limiti giornalieri

Assieme alle istruzioni per interrogare i dati di ARPAT tramite link. Arpat sta infatti lavorando a delle API (in termine tecnico sono metodi per interfacciare i dati in modo automatico tramite software e un computer connesso ad internet). Come si usano queste API? Come indicato nella guida sul sito se avete necessità di visualizzare il monitoraggio aria della Toscana del 3 gennaio 2018 vi sarà sufficiente navigare all’indirizzo http://www.arpat.toscana.it/temi-ambientali/aria/qualita-aria/bollettini/bollettino_json/regionale/03-01-2018 dove gli ultimi 8 numeri dell’indirizzo web sono la data del giorno di cui volete visualizzare i dati. Il formato restituito è JSON un formato molto usato per gestione dati, leggero, di rapida importazione in applicazioni e anche facile da decifrare. Lo stesso si può fare per leggere i superamenti delle soglie di allerta dei PM10.

il nuovo formato dati sulla qualità dell'aria

Pratico semplice e soprattutto comodo per il riuso dei dati. Il dato è adesso rintracciabile con un semplice link, sempre online e quindi non necesita di essere scaricato in un file per essere riusato.

Questo modo di interrogare i dati consente attualmente l’interrogazione di non tutto lo storico dei dati di ARPAT, ma visto che i dati ci sono mi auguro sia solo questione di tempo.

Morale della Favola, il semplice caso che riporto è importante per due motivi a mio avviso:

  • Arpat sta definendo un semplice standard per cercare più facilmente i suoi dati ed usarli. Anche senza la navigazione manuale del suo sito. Vi basterà conoscere il formato dei link. Uno standard che può essere accessibile all’uomo e alle macchine e che quindi rende non solo il dato riusabile in molti contesti ma lo rende facilmente aggregabile con altri dati provenienti da altre fonti (altre regioni ma anche la stessa regione Toscana che voglia mischiare questi dati con altri per vederne la correlazione).

  • Arpat collabora con cittadini che vogliano consigliare metodi per migliorare i propri servizi. I dati di pubblica utilità hanno ragione di essere valorizzati al massimo per ritornare in termini di valore. Questo è un caso dove con uno sforzo di tipo tecnico, un’istituzione fa un passo in avanti nel creare un servizio più utile alla cittadinanza in particolare ai professionisti che questi dati vogliano usarli, ma anche alle persone come me appassionate di temi per cui la rappresentazione dei dati costituisce informazione utile per capire.

Blog Logo

Matteo Tempestini


Published

Image

IlTempe

io, me e tutto quello che vi posso dire

Back to Overview