FoiaPop.it…e adesso…chiediamo(li) tutti

Succede tutto in 6 mesi, da inizio Gennaio 2017.
Ci eravamo appena lasciati, rinforzati nell’entusiasmo dal raduno estivo di Castelbuono.

Decidiamo (Giuseppe Ragusa e Giovanni Pirrotta) di darci presto un appuntamento “virtuale” perché avevamo l’impressione che su alcuni dati si potesse lavorare insieme per produrre qualcosa di utile, ma entrambi non avevamo in alcun modo un’idea precisa.

Avevamo solo, con modalità e con obiettivi diversi, approfondito gli stessi temi e cioè: l’Indice delle Pubbliche Amministrazioni (IPA), i dati sui contratti pubblici dell’Autorità Nazionale Anticorruzione (ANAC), il Sistema Informativo delle operazioni degli enti pubblici (SIOPE).

Partiamo:

  • Uno scambio di idee (confuse);
  • Non demordiamo perché qualcosa ci dice che siamo sulla strada giusta;
  • Dobbiamo dimenticarci di “noi” piccoli e diventare per un po’ un grande “NOI”. Dobbiamo cioè ripartire dai bisogni del cittadino. Sta lì la risposta che cerchiamo.

Abbiamo deciso di “ascoltare” il più possibile. Giorni di “ascolto” ci fanno comprendere che:

  • Il diritto di accesso civico, sia semplice che generalizzato (FOIA), è per molti cittadini uno sconosciuto;
  • Chi ne conosce l’esistenza ha difficoltà a porre domande fondate e non opponibili dalla PA. Ci sarebbe bisogno di “dati da cui partire”;
  • Gli “eventi/manifestazioni/azioni amministrative” più importanti e che destano maggiore interesse all’interno di una PA sono quelle su cui ruotano i flussi monetari e cioè i pagamenti, gli incassi, gli appalti, etc. E, guarda caso, ci sono già disponibili dei dati aperti.

Ora le idee sono molto più chiare. Ma non è che siamo davvero sulla strada giusta?

Si inizia a mettere nero su bianco e mettiamo gli “open data” a sistema. Gli open data, uno strumento chiave di volta per aprire uno scrigno impolverato e incompreso sotto gli occhi di tutti. Un approccio nuovo, diverso, creativo, in grado di far emergere un potenziale finora inesplorato, di conciliare semplicità e facilità di utilizzo, per essere alla portata di tutti e fruibile senza libretto di istruzioni.

Nasce FoiaPop.it, il portale degli accessi civici data-driven (cioè guidato dall’uso dei dati). Una guida passo-passo alla compilazione online degli accessi civici semplici e generalizzati a partire dai flussi monetari delle Pubbliche Amministrazioni, dai contratti pubblici e dagli obblighi di pubblicazione imposti dal D. Lgs 33/2013.

Gli open data che ci “guidano” sono attualmente:

Con FoiaPop non dovrai fare altro che selezionare una pubblica amministrazione, visualizzarne i pagamenti, gli incassi e/o gli appalti, esplorare il patrimonio informativo fornito dagli open data, generare il documento/richiesta di accesso civico per chiedere un dettaglio, un approfondimento, una spiegazione, o dei dati, quindi firmare e inviare la richiesta alla pubblica amministrazione, anche via email o via Posta Elettronica Certificata.

Il nostro augurio è che FoiaPop.it possa realmente contribuire a diffondere in modo capillare la conoscenza e l’esercizio del diritto di accesso civico ai dati, ai documenti e alle informazioni delle Pubbliche Amministrazioni.

Su coraggio. Si può fare! 
Chiediamo(li) tutti!

Opendatafest 2017 a Caltanissetta, il report di 3 giorni di lavori

 

 

 

 

 

 

Le comunità di Opendatasicilia e Spaghetti Open Data hanno dato vita a questo report sui lavori della 3 giorni di incontri dell’opendatafest a Caltanissetta (2-4 giugno 2017).

I materiali mostrati nelle giornate sono disponibili su http://opendatafest.it 

Abbiamo pubblicato le slide  delle presentazioni mostrate al raduno direttamente nel sito opendatafest.it, all’interno del programma: dopo i titoli degli interventi e delle sessioni c’è una voce “| SLIDE” che permette di visualizzare i materiali. 

In questo post elenchiamo alcuni dei momenti del raduno e delle presentazioni (fai riferimento al programma per un quadro completo).

Venerdì mattina

Dibattito di inizio dei lavori

Chi: Alberto Cottica, Matteo Brunati, Andrea Borruso, Cristiano Longo

Di cosa si è discusso, in ordine sparso:

  • Curarsi delle comunità costa, è necessario rendersene conto
  • Scelta di strumenti che permettano di dare un lascito, serve dare continuità alle comunità
  • Fase storica sugli Open Data: forse stiamo vivendo la fase adolescenziale, siamo stanchi
  • Serve collegarsi alle altre comunità del mondo Openness
  • Trovare modi per far convogliare i vari temi crosscomunità, pur mantenendo le varie identità, forse è utile una Woodstock dell’Openness, sta nascendo un evento a cui ci hanno chiesto un parere e un contributo, che intende provarci nel 2018
  • Comunità locali: necessitano di credibilità per incidere nel territorio, serve dare il buon esempio
  • Serve documentare tutto, necessari incontri fisici e online
  • Non siamo da soli, non dobbiamo chiuderci in noi stessi, serve aiutare il ricambio e allargare includendo
  • Per coinvolgere altri è necessario uscire dal linguaggio da iniziati
  • La tecnologia è funzionale, un mezzo, da soli si fa poco: necessario coltivare i rapporti umani per creare cose nuove
  • Quando un cittadino inizia a produrre valore, mette in discussione lo status quo
  • Bisogna decidere come partecipare alle azioni di governo, capire come relazionarsi all’EU, bisogna rompere le scatole in modo costruttivo, come comunità
  • Il civic hacker è troppo solo, devi avere persone intorno per restare motivato
  • Serve decidere come comportarsi con le altre comunità
  • Lancio del progetto civichacking.it

Dettagli sull’evento delle comunità dell’Openness in costruzione 2018

A quanto pare l’esigenza di connettere comunità che lavorano e sono appassionate di temi affini, non è solo una sensazione di pochi: parliamo di tutte quelle comunità che in qualche forma supportano e discutono di libertà digitali (Openness in senso lato, Open Source, Free Software, Open Content e beni comuni digitali).

Assieme a Roberto Guido (presidente di Italian Linux Society – ILS), che ci ha cercato qualche settimana prima del raduno, abbiamo iniziato a ragionare su un evento unico, che riunisca molte comunità nello stesso luogo e negli stessi giorni, mantenendo ognuna separata nella gestione dei propri eventi. Per iniziare può bastare essere tutti nello stesso luogo, simultaneamente: è un inizio.

Alcuni appunti condivisi: https://etherpad.net/p/proposta-os-conf-ita

Civic hacking: comunità informali, prototipi e Open Data: il libro

Il libro nasce dall’esigenza di capire cos’è il civic hacking concretamente nel contesto italiano, uscendo dal gergo per iniziati. A partire dalle esperienze reali dei civic hacker, che collaborano per trovare soluzioni creative a sfide sociali concrete, allarghiamo lo sguardo per analizzare il rapporto tra Open Data, prototipi, comunità informali e modi di sfruttare le zone grigie (quelle opportunità inaspettate che si creano a volte).

Interessa ovviamente i civic hacker. Interessa anche i maker, gli appassionati di openness e chiunque senta l’esigenza di mettere le mani “in pasta”.  

Raccontiamo anche le nostre esperienze dirette all’interno della comunità di Spaghetti Open Data per mostrare il potenziale e la fatica di quello che si può fare.

Persone, storie, Open Data, prototipi: tutto questo per noi è civic hacking. Non solo tecnologia, ma un modo per scardinare vecchie abitudini, un modo per riprendersi il proprio ruolo di cittadini, un modo per risolvere problemi.

Fino al 31/7 h.22 CEST, puoi inviare un tuo contributo. Per dettagli fai riferimento al sito http://civichacking.it/#contributi.

Dal primo agosto partirà una campagna di crowdfunding: se ti interessa, lascia pure la tua email qui http://eepurl.com/cQ15nX.

L’annuncio del portale regionale siciliano sui dati aperti

A sorpresa è venuto a seguire i lavori della mattina Enzo Lo Piccolo, webmaster della Regione Siciliana. Ha chiesto la parola per pochi minuti e ha fatto un annuncio: nelle prossime settimane (tra fine giugno e inizio luglio) verrà lanciato il portale regionale siciliano sui dati aperti. Sarà basato su CKAN e DCAT-AP_IT compliant.

Ha chiesto alla comunità – a lancio effettuato – di “dargli una mano”, sia nelle critica che nella proposta e ha dato comunicazione di un indirizzo email dedicato opendata@regione.sicilia.it. E noi gli abbiamo chiesto di iscriversi alle nostre mailing list.

È stato un momento molto informale e concreto, che ci fa essere ottimisti. Per la Sicilia è sicuramente una bella notizia ed è stato un piacere che #ODFest17 sia stato “stimolante”.

Le presentazioni del venerdì pomeriggio

Proposte di elaborazione di Dati Aperti dagli studenti di Informatica dell’Università di Palermo

Tre studenti del corso di laurea in Informatica dell’Università degli studi di Palermo, hanno presentato i progetti realizzati per l’esame della materia “Tecniche per la gestione degli Open Data”, curato da Davide Taibi del CNR di Palermo (http://offweb.unipa.it/offweb/public/corso/dettaglioInsegnamento.seam;jsessionid=FB17C3274CB9C25A07D58E8A68988D26?oidCurriculum=17137&oidInsegnamento=111202&cid=123461). I progetti che gli studenti devono realizzare per superare l’esame della materia hanno tre caratteristiche fondamentali: a) i dati da elaborare devono provenire da diverse fonti (anche generati da sensori) ed essere in diversi formati; b) i dati acquisiti devono essere elaborati mediante processi di pulizia e armonizzazione delle strutture dati; c) i dati elaborati devono essere resi disponibili all’esterno mediante API e in un formato aperto con un livello pari a 5, possono essere riusate ontologie esistenti o è possibile creare nuove ontologie per modellare il dominio di conoscenza specifico. Infine, i dati prodotti devono essere alla base della realizzazione di applicazioni come: bot telegram, web application, o applicazioni per dispositivi mobili.

Nello specifico gli studenti che hanno partecipato all’OpenDataFest17 hanno presentato:    

  • Un portale che aggrega gli eventi culturali che si svolgono nella città di Palermo di Vincenzo Cimino, https://raw.githubusercontent.com/VickPix/aggregatore-eventi/master/slides/Aggregatore_eventi_Vincenzo_Cimino.pdf. I dati vengono acquisiti mediante scraping di alcuni blog palermitani, e dal portale dell’Università di Palermo; e vengono armonizzati in una struttura dati comune che viene utilizzata per alimentare un portale in cui vengono visualizzati gli eventi mediante una interfaccia semplice, facile e comoda. Per modellare gli eventi e le loro caratteristiche è stato utilizzato schema.org. L’estrazione dei dati relativi agli eventi in formato JSON-LD è stata implementata attraverso API. L’applicazione è disponibile qui (http://portale-eventi.firebaseapp.com).
  • Una stazione meteo autocostruita e la relativa piattaforma di gestione dei dati in rete di Riccardo La Grassa https://github.com/pulsar2468/Owd/blob/master/OpenDay2017.pdf. Sono state fornite indicazioni per la costruzione della stazione meteo. Molto interessante è stata la descrizione relativa alla costruzione dell’anemometro, realizzato a basso costo con materiali riciclati. I dati raccolti dalla stazione vengono elaborati da un server centrale alle quali le stazioni meteo possono registrarsi attraverso un TOKEN. Il server centrale fornisce le visualizzazioni dei dati acquisiti e consente l’esportazione dei dati in formato aperto a cinque stelle. In questo caso è stata riutilizzata una ontologia specifica per la modellazione dei dati provenienti dai sensori.  
  • Una piattaforma di visualizzazione per infografiche relative a dati georeferenziati di Tommaso NIcosia (http://opendatafest.it/presentazioni/TommasoNicosia-OpenData-framework-sviluppo.pdf). In questa piattaforma i dati provenienti dalle segnalazioni della polizia municipale del comune di Palermo, e i dati provenienti da Waze relativi al traffico cittadino vengono aggregati e visualizzati su mappa. Un prototipo è disponibile qui (http://neuron4web.palermo.enea.it/opendata/_trafficendpoint). Uno SPARQL endpoint si occupa di gestire le query che vengono effettuate sui dati rappresentati in RDF. I dati forniti possono avere diversi settori di applicazione. Ad esempio tali dati possono guidare le scelte dei percorsi per raggiungere punti critici della città come ad esempio i presidi ospedalieri. L’unione di queste informazioni con, ad esempio, i dati relativi alle file dei pronto soccorso della città potrebbero supportare (nell’eventualità in cui non ci siano casi che necessitano cure immediate) la scelta del pronto soccorso in maniera più efficiente in termini di pazienti in attesa, traffico nelle strade ed eventi particolari come manifestazioni e lavori in corso.    

Non fidarsi più dell’ennesima agenda: servono uno o più progetti di civic hacking [Forum OGP]

Durante il dibattito mattutino sono emersi alcuni elementi sparsi legati soprattutto al ruolo di realtà come SOD o gruppi locali come Opendata Sicilia rispetto a forum di questo tipo, ancor di più in merito al tipo di intervento e interessi da mettere sul piatto.

Durante la sessione pomeridiana siamo andati maggiormente nel dettaglio di un processo complesso, costoso e con un ritorno difficile da valutare per la società civile. Lo scopo è stato quello di condividere un vissuto di un anno, focalizzato a spiegare dove siamo ora, specie in merito alle proposte/domande presentate al ministro Madia durante l’ultimo evento in plenaria dell’8 maggio scorso.

Una delle azioni nate nei giorni del raduno e condivise con i presenti ha poi generato questa richiesta formale alla squadra OGP Italy, che abbiamo condiviso in questo thread:

https://groups.google.com/d/msg/spaghettiopendata/uslQ2CTqqiM/M1rM7uaIAQAJ

Abbiamo scelto di dare maggior visibilità a questa proposta pubblicandola anche nei rispettivi luoghi digitali:

  1. http://www.spaghettiopendata.org/blog/matteo-brunati/open-government-partnership-andare-oltre-lagenda
  2. http://blog.openpolis.it/2017/06/13/open-government-partnership-andare-oltre-lagenda/15616
  3. http://blog.ondata.it/open-government-partnership-andare-oltre-lagenda/
  4. https://it.okfn.org/2017/06/13/open-government-partnership-andare-oltre-lagenda/

Incoraggiare la partecipazione attiva dei giovani alla vita democratica con YouthMetre

Caterina Impastato ha presentato YouthMetre, iniziativa che nasce per incoraggiare la partecipazione attiva dei giovani alla vita democratica.  Ecco le slide (Prezi) dell’intervento: uno degli elementi più interessanti è la piattaforma e i dati che aggrega, uno degli argomenti che è stato oggetto di alcune domande da parte dei presenti.

Il progetto Ricostruzione Trasparente

Alessio Cimarelli, rappresentante dell’associazione onData, ha presentato e discusso il progetto Ricostruzione Trasparente. Ecco le slide dell’intervento.

Civic Hackathon[s]

Creazione del GTFS di Caltanissetta

GTFS

Nelle prime ore di lavoro il gruppo di lavoro ha “sbattuto” con un ostacolo inatteso: i dati sulle rotte e sulle fermate erano incompleti o errati. Per fortuna, durante la giornata, è venuta a trovarci la Titolare dell’Azienda che gestisce i trasporti locali su gomma (SCAT) e siamo riusciti a produrre dei dati corretti sulla linea 3 (uno speciale grazie a Cesare Gerbino che è stato come sempre molto disponibile e puntuale).

Compresa l’impossibilità di avere delle info in giornata sui dati di base, ci siamo messi come obiettivo quello di costruire una procedura che consentisse di produrre un GTFS a partire dai dati forniti della SCAT e di verficarne la validità.

Davide Galletti ha creato uno script python, che a partire dalle info sulle fermate, e dalla timetable fornita da SCAT (che è abbastanza generica), produce i file secondo standard GTFS su rotte, corse e orari (routes.txt, trips.txt e stop_times.txt).

Abbiamo testato lo script con un set completo di dati (i file .txt presenti qui) usando il FeedValidator “ufficiale” e il file GTFS è risultato validato (con diversi warning che indicano la necessità di fare un altro check sui dati di base).

In conclusione:

  • Sarà necessario avere i dati geografici di base corretti e completi per tutte le linee. Giuseppe La Mensa, insieme al personale di SCAT, sarà in prima linea a occuparsene;
  • Con il set di dati completo, faremo delle modifiche e ovviamente dei test sullo script di creazione del file GTFS;
  • Documenteremo il tutto in modo da rendere autonoma la SCAT nella produzione del file GTFS e per potere replicare il processo anche in altri piccoli comuni.

GTFS + LOD

A valle del lavoro sul GTFS, è stato fatto un esperimento (Francesco Marchitelli, featuring Marco Brandizi) aggregando i dati del file GTFS di Lecce con dati provenienti dalla Linked Open Data cloud, per mostrare alcuni dei vantaggi nell’usare i Linked Data. Dopo aver convertito il file GTFS in RDF, sono stati inseriti gli eventi presenti a Lecce e caricato tutto quanto in un triple store. A questo punto è stata fatta una query di esempio che mostra i dettagli di un concerto organizzato al castello, con le informazioni correlate delle fermate dei bus che si trovano nelle vicinanze.

Il materiale si trova in questa cartella.

Un’analisi di rete dei finanziamenti europei alla ricerca

La sessione di Alberto era tosta, specie per quelli che non hanno partecipato al lavoro degli anni precedenti: Alberto ha raccontato i dettagli e la storia di questa proposta nella descrizione di questa sessione.

Purtroppo non è riuscita ad essere presente Baya Remaoun (andata via durante il pomeriggio del venerdì): alcune delle domande emerse sui dati CORDIS avrebbero avuto una risposta veloce, probabilmente.

Infatti una delle sfide per chi curiosa in dati che non conosce è riuscire a comprenderli con facilità.

Sono domande che porremo a Baya e alla squadra che gestisce la pubblicazione dei dati CORDIS nelle prossime settimane.

Altre domande hanno trovato risposta però: i risultati e la documentazione relativa al lavoro fatto si trovano in questa cartella del repo. C’è anche la presentazione (in formato Keynote) mostrata da Alberto e le immagini correlate (cartella).

Realizzare un elenco machine-readable di Albi POP

Nei giorni precedenti avevamo deciso di unificare i nostri hackathon entrambi relativi ad Albo POP, riconoscendo come la creazione di un elenco processabile dalle macchine di albi POP fosse un passo importante per molteplici attività, non ultima quella di creare aggregatori di albi. Per questo motivo, con l’aiuto e l’esperienza di Francesca Gleria abbiamo deciso di iniziare definendo un formato per la rappresentazione di albi POP.

Siamo partiti dal vocabolario del web semantico DCAT, raccomandazione W3C per la rappresentazione di dataset. L’albo POP è infatti null’altro che una rappresentazione, in formato RSS, del dataset degli avvisi di una pubblica amministrazione.

Abbiamo esaminato quindi la specializzazione di DCAT realizzata per le pubbliche amministrazioni italiane dcat_ap_it e la abbiamo applicata al nostro caso particolare. La peculiarità di albo POP è che il feed RSS viene generato a partire da una pagina web e il detentore dei dati (la pubblica amministrazione titolare dell’albo) non ha alcuna relazione con chi realizza e tiene su il servizio di albo pop. Inoltre, abbiamo tenuto in considerazione le specifiche RSS per albo pop.

Il lavoro ha generato un tutorial per pubblicare in DCAT_ap_it un elenco di albi pop, (che ci ripromettiamo di completare nei prossimi giorni.

Le informazioni originali sui dataset presenti nel catalogo in formato DCAT sono comunque rappresentabili in prima battuta con una semplice tabella. Abbiamo quindi strutturato opportunamente un Google Spreadsheet condiviso affinché fosse la base di partenza per la generazione automatica del file di catalogo, ma anche la sorgente dati di una visualizzazione web nello stile di Petrusino. L’idea è di alimentare il foglio mediante un form on-line e collegare ad esso uno script che lo traduca nel formato DCAT e una visualizzazione web che permetta di navigarlo.

FormAzione

Vocabolari, metadati: uno sguardo nel dettaglio

Al posto di una presentazione vera e propria c’è stata una discussione, guidata da queste slide.

Un’introduzione a Elasticsearch

Alessio Cimarelli ha tenuto una lezione introduttiva al database e motore di ricerca Elasticsearch, discutendone caratteristiche e potenzialità a partire dai dati live del progetto Ricostruzione Trasparente. Ecco le slide.

Varie

La proposta di Massimo Zotti: tradurre i videotutorial del progetto Copernicus

https://www.youtube.com/watch?v=KWeS1-TDy-0

Ringraziamenti e scuse

La vita dell’OpenDataFest17 è stata semplice e comoda. Un sentito grazie a:

  • Giuseppe La Mensa che ha coordinato tutto il prima, durante e dopo della logistica e i contatti con il sistema di accoglienza locali;
  • Erika Marconato che ha creato l’apprezzato communication kit (usato poi per magliette, banner, sito, social, ecc.. ), gestito la comunicazione su #ODFest17, raccolto le donazioni per le magliette, partecipato al gruppo di lavoro per la definizione di queste tre giornate;
  • Matteo Brunati che ha dato forma a questo raduno con diverse idee e spunti stimolanti, creato il wiki per il raduno, editato il sito e per essere stato Matteo Brunati;
  • Andrea Borruso che mostra a tutti noi come essere delle persone migliori;
  • Il Comune di Caltanissetta che, grazie alla sensibilità verso i temi del digitale innovativo dell’amministrazione Ruvolo, ha contribuito alle spese organizzative dell’evento.

Chiediamo scusa ad Alessandro Capezzuoli, per non essere riusciti a tenere al meglio i tempi del venerdì pomeriggio e non avere avuto l’opportunità di ascoltare la sua relazione dal titolo Professioni e orientamento: dagli open data al mercato del lavoro.

STORIFY

Disponibile uno storify ( a cura di Erika Marconato) che può dare un’idea di quello che abbiamo combinato: https://storify.com/ErikaMarconato/opendatafest2017

Collezioniamo tutorial per la condivisione della conoscenza

La serie televisiva di “Sanford & son” del secolo scorso è stata un ispirazione per l’attività di collezionamento di risorse, che sto per esporre.

Cercare risorse o informazioni sul web per imparare a fare qualcosa di nuovo, e trovarle, non basta, se poi rimangono nel caos del “Google search”. Come faccio a ritrovarle di nuovo se le ricerco? Devo ritornare nel Google search e non ricordo a quale pagina mi vengono presentate. Nel frattempo perdo tempo (sfogliare le pagine di risposte che mi fornisce Google).

Petrusino, da un paio di anni, è un catalogo online che elenca mappe e infografiche sulla Sicilia, … ora è il tempo di catalogare i link dei tutorial creati da qualcuno che ha investito ore per scrivere (e condividere) come si costruisce qualcosa che ha attinenza con i dati ed la cultura digitale.

Tutorialteca

I tutorial oggi rappresentano una preziosissima fonte di conoscenza condivisa, formazione informale. Mi è capitato personalmente di acquisire competenze digitali leggendo tutorial di altre persone e quindi ho capito che è importante valorizzarli al meglio. Da questa consapevolezza nasce un idea semplice: collezionare i tutorial che veicolano la cultura digitale e sui dati. Creare una sorta di “tutorialteca”.

Petrusino ha fatto da apripista, con la sua interfaccia pulita, semplice e con un efficiente motore di ricerca interno delle risorse catalogate. Ormai è un hub di conoscenza tematica utilizzato sia da pubbliche amministrazioni che da cittadini e professionisti, e le risorse censite (praticamente dei link) non sono così facilmente individuabili dall’ormai epico Google search. Fate prove cercando su Petrusino e su Google!

ACCUSSI’

Con Andrea Borruso ne parlammo tempo fa di creare un catalogo dei tutorial. Da qualche giorno — insieme a Giuseppe Ragusa — ci siamo messi all’opera per riusare l’interfaccia grafica di Petrusino. Abbiamo clonato il codice su Github per un nuovo progetto al quale abbiamo dato il nome di Accussì. In siciliano “Accussì” significa: “così, in questo modo” e gli autori dei tutorial in fondo fanno questo: ci indicano un po’ come fare le cose.

Oggi c’è la disponibilità pubblica di questo catalogo interrogabile su parole chiave, su autore e su tag. Abbiamo previsto una pagina “proponi” al fine di raccogliere facilmente quanto più tutorial possibili. Chiunque abbia costruito un tutorial sull’uso dei dati, su come si fa una mappa, un infografica, una trasformazione di file in formati diversi (da pdf a csv per es.), e su cultura digitale in generale, può censirlo in questa pagina, arricchendo il catalogo, che diventa, così, un patrimonio di conoscenza comune.

database su GoogleDrive che alimenta Accussì

Come è fatto?

Gli strumenti principali usati per realizzare il catalogo Accussì sono 4:

  • Simile Exhibit, per realizzare il cuore di Accussì, ovvero l’interfaccia di navigazione del catalogo;
  • Twitter Boostrap, per dare un po’ di stile alle pagine pubblicate;
  • GoogleDrive Sheet, per raccogliere e distribuire i dati che fanno da database sorgente;
  • GitHub Pages, per l’hosting dei file che costituiscono Accussì.

Il Codice

Il codice di Accussì, che si può clonare e adattare ai vari scopi, è disponibile in questo repository GitHub: https://github.com/SiciliaHub/accussi/.

Un nuovo servizio  di opendatasicilia

accussi.opendatasicilia.it lo trovate come nuovo servizio all’interno di “Cose nostre” di opendatasicilia.it, assieme alle altre cose già realizzate.

A noi piace fare queste cose, e speriamo che la nuova “tutorialteca” sia di ampia utilità.

Lunga vita a Sanford & son, ai costruttori di tutorial e a opendatasicilia.


immagini

  • la foto di Sanford & son è rilasciata con lic CCO
  • l’immagine Tutorial di Nick Youngson è rilasciata con lic. CC BY SA 3.0
  • le altre immagini sono screenshoot degli strumenti usati per costruire Accussì

 

 

Incidenti stradali


Visualizzazioni di dati aperti del Comune di Palermo sui sinistri stradali nell’anno 2016

Il Comune di Palermo ha pubblicato vari dati aperti sui sinistri stradali avvenuti nel territorio comunale e rilevato dalla Polizia Municipale. Uno di questi dati è dell’anno 2016 e contiene ogni sinistro con qualifica del danno, data, ora e posizione in geo coordinati.

Ho realizzato una visualizzazione di questi dati con una mappa interattiva che offre vari temi per esplorare i vari aspetti spazio temporali dei dati.

La mappa è realizzato con iXMaps, un framework in HTML5 per creare mappe interattive in grafica vettoriale e configurabili con un semplice linguaggio descrittivo.

In seguito descrivo alcuni elementi e passi della realizzazione. Il codice intero è consultabile su GitHub.

I dati

Il portale ‘Open Data’ del comune di Palermo offre l’accesso ai dati sui sinistri stradali attraverso vari link nei formato Shape, CSV e KML con licenza CC BY 4.0 IT e fornisce i metadati in una nota:

IL DATASET VIENE FORNITO ANCHE IN FORMATO KLM E CSV. IL DATASET E’ STATO GEOREFERENZIATO DALL’ISP. SALVATORE PULLARA LEGENDA CODICI: M = MORTALE – SINISTRO CON ALMENO UN DECEDUTO; R = RISERVA – SINISTRO CON ALMENO UNA PERSONA IN PROGNOSI RISERVATA SULLA VITA (CHE SE SCIOLTA SI TRASFORMA IN UN NORMALE INCIDENTE CON FERITI F SE AVVIENE IL DECESSO IN UN MORTALE M); F = FERITI – SINISTRO CON LESIONI A PERSONE; C = COSE – SINISTRO CON SOLO DANNI A COSE.

Per la visualizzazione ho scaricato il formato CSV, che contiene tutte le informazioni sui incidenti incluso le posizioni in geo coordinati. Aprendo il CSV con LibreOffice si presenta cosi:

Le colonne inquadrate contengono le informazioni utilizzati per la visualizzazione.

Definire il 1. tema

iXMaps definisce una grammatica per mappe tematiche che consiste in una sintassi per oggetti Javascript (JSON) che configurano visualizzazioni creati direttamente dai dati.

Il primo tema della mappa interattiva visualizza ogni incidente con un punto con il colore del danno.

  • type“, “colorscheme” e “values” definiscono la rappresentazione come punti semplici con colore definito dalla colonna ‘Incidenti’ che può contenere i valori C,F,M o R per qualificare il danno.
  • lookupfield” definisce le colonne per la posizione (latitudine e longitudine) del punto.
  • dbtable” definisce un nome interno al dataset. Ci servirà in seguito per una procedure che elabora i dati e crea colonne aggiuntive per i temi con analisi temporali.
  • dbtableUrl‘ punta al dataset e ‘dbtableType‘ dice che e di tipo CSV
  • dbtableExt” definisce un file Javascript che contiene questa procedura.

 Ecco, il 1° tema della mappa

Leggenda e navigatore tematico

A destra, sovrapposto alla mappa, si trova la leggenda della mappa con elementi per navigare nelle varie tematiche della mappa interattiva, adattare la rappresentazione ed altri elementi della interfaccia utente.

  • mostra la leggenda degli elementi tematici della mappa
  • contiene una grafica riassuntiva degli valori respettiva alla posizione della mappa
  • offre strumenti per individualizzare il tema
  • gestisce la navigazione tra i temi

Elementi della leggenda

  1. Strumenti vari, da sinistra a destra: creare segnalibri, condividere la mappa,  definire filtri,  cambiare mappa di fondo informazioni, indice temi
  2. La leggenda del tema: mostra le somme attuali del tema clicca su un colore per vedere solo
    • il valore associato
  3. Strumenti per modificare la rappresentazione del tema
  4. Navigatore veloce pagine
  5. Navigatore temi

Come accedere ai vari temi della mappa

I temi della mappa sono divisi in aree tematiche e variazioni. La navigazione tra i temi avviene simile ad una presentazione:

  • per le variazioni di una tematica si scorre a sinistra o a destra
  • per cambiare la tematica in alto o in basso

si può usare sia le frecce visibili in basso o la rotellina della mouse, o un movimento sul touch screen

  • In cima a destra si accede a un indice dei temi. Un altra possibilità di arrivare direttamente a un tema.

Note tecniche sulla legenda

La leggenda è una pagina HTML fondata su Bootstrap e jQuery che viene caricata in un iframe è interagisce con mappa attraverso Javascript.

Il navigatore tra i temi, che segue la logica di una presentazione, con movimento orizontale e verticale da un tema all’altro, è realizzato grazie a fullpage.js  un jQuery plugin
di Alvaro Trigo.

Realizzare temi

Per realizzare un tema definito con oggetto JSON, come descritto sopra, ci serve una funzione.

dell’API di iXMaps. La chiamata viene codificato in <a> tag nascosto della pagina HTML e l’attivazione avviene quando l’utente cambia la pagina a sinistra/destra o in alto/basso.

Il <a> tag ci serve per la posizione alla quale viene inserito la leggenda del tema.

Tutto il codice della ‘storia’ della mappa, cioè la pagina HTML che gestisce i temi e la leggenda si trova su GitHub: index.html

I temi della mappa

Tutti i temi della mappa sono definiti nel file themes.js

1° tema – incidenti e danno

Il primo tema visualizza ogni incidente con un punto con un colore in relazione al danno.
Il trema ha alcune variazioni, che possono essere attivati con il scorrere a destra o sinistra.
I variazioni declinano l’applicazione di aggregazioni e varianti grafici con l’intenzione di aumentare la visibilità di zone con caratteristiche simili. Alla fine è una sequenza di sperimenti fatto con i strumenti analitici e grafici di iXMaps con la speranza che tutti variazioni possono aiutare per capire i dati.

  • la 1° variante aggiunge un effetto ‘incandescenza’ intorno ai singoli punti. Questo porta ad una maggiore visibilità delle ‘zone calde’ dove il punti si sovrappongono.
  • la 2° applica un’aggregazione per griglia
  • la 3° variante aumenta il rapporto tra numero di eventi e grandezza degli cerchi e riposiziona i punti aggregati per griglia nel centro del valore dell’aggregazione: in effetti, i punti tornano sulle strade!

Aggregazioni dinamiche

Tutti temi, tranne i primi due, implementano un’aggregazione degli singoli eventi per una griglia rettangolare definita in pixel dello schermo.

Cosi, in relazione allo zoom della mappa, il numero degli eventi che cadono in un rettangolo cambia, è in conseguenza il livello di aggregazione fino a mostrare i singoli eventi.

La leggenda del tema mostra sempre il conteggio degli elementi attualmente visibile nella mappa, si aggiorna spostando o zoomando la mappa.

2. area tematica: Analisi temporali

Nella 2° parte, la visualizzazione propone delle analisi temporali degli sinistri per:

  • giorno della settimana
  • fascia oraria
  • mese del anno

Per poter configurare questi temi dobbiamo prima creare nuove colonne nei dati con valori espliciti respetto ai analisi temporali, come per esempio il giorno della settimana (da 0 a 7). Per questo ci serve una procedura definita in ‘preprocess.js‘:

che crea le seguente nuove colonne

per poter definire il seguente tema che visualizza il numero di incidenti per giorno della settimana.

Quasi tutto viene descritto con la variable ‘type’

  • CHART | SYMBOL | EXACT| FIXSIZE | SEQUENCE | PLOT | LINES | AREA
    forse è un po’ strano, ma definisce una curva come sequenza di simboli per ogni valore esatto (EXACT) della colonna di valori ‘GiornoDellaSettimana’; i valori ammessi sono definiti nal array “values”
  • BOX | GRID
    fa che la curva a un fondo
  • ZEROISVALUE
    ammette zero come valore
  • AGGREGATE | RECT | SUM
    definisce l’aggregazione dei valori per una griglia rettangolare la quale dimensione viene definito con la variable “gridwidth” in 100 pixel (dello schermo);
    qui vengono creati i valori delle curve; per ogni rettangolo della griglia si crea le somme degli incidenti per giorno della settimana; importante: “field” è “GiornoDellaSettimana” il “type” contiene ‘EXACT’ e i valori sono definiti in “values”
  • GRIDSIZE
    definisce la dimensione dei grafici come la griglia

3. area tematica: Analisi di pericolosità

La 3° parte è un tentativo di creare un indice sintetico della pericolosità calcolando la somma degli incidenti con feriti o morti diviso per il numero di incidenti per una griglia esagonale. I risultante frazione viene normalizzato tra 0 e 1 e visualizzato con crescente opacità di colore e numero testuale.

Creare mappe individualizzati e condividerle

Per ultimo vorrei promuovere la possibilità di creare mappe individualizzate da partire dei temi definiti e creare o un segnalibro o ottenere un codice per includere il tema personalizzato in una pagina HTML o in fine anche una URL unica per riprodurre la mappa creata in qualsiasi browser con capacità HTML5.

Qui, per esempio, ho creato una visualizzazione ‘nuova’ cambiando la mappa del fondo e selezionando solo una parte del tema nella leggenda. 

Utilizzando l’icona ‘share’ nel menu, si apre una finestrina con i codici per inserire la mappa e l’URL che contiene tutto il tema. L’URL viene anche offerta in formato corto usando il servizio WEB tinyurl.com:
http://tinyurl.com/kayylhp – Usando questo link si riproduce questa mappa.

Alcuni link

La mappa interattiva
Il codice su Github
fullpage.js di Alvaro Trigo
bootstrap HTML, CSS, and JS framework
icomoon free Icon Pack

#Palermo, linee guida comunali #opendata 2017, la tradizione continua in modalità partecipata

Il 4 maggio 2017 l’Amministrazione Comunale di Palermo, con la Deliberazione di Giunta n. 97, ha approvato la versione 2017 delle linee guida open data partecipate, quale continuazione di un percorso culturale cominciato nel 2013.

GLI ALBORI – la storia comunale degli open data di Palermo nasce nel 2013, quando 7 cittadini collaborano spontaneamente con il Comune costruendo la prima versione delle linee guida.  A seguito di un dialogo con l’Assessore alla Partecipazione, inviano la bozza di linee guida via email all’Amministrazione, la quale con Deliberazione di Giunta Municipale n. 252 del 13 dicembre 2013 le approva, facendole diventare strumento guida per l’organizzazione interna del processo di pubblicazione di dataset in formato aperto. Quei 7 cittadini sono Davide Taibi, Francesco Passantino, Gerlando Gibilaro, Andrea Borruso, Marco Alfano, Giulio di Chiara e Ciro Spataro (dipendente comunale).

OLTRE 3 ANNI DI OPEN DATA – nel periodo tra il dicembre 2013 e il maggio 2017 (3 anni e 4 mesi) l’Amministrazione comunale, nei suoi uffici e con il suo personale, intraprende un percorso di organizzazione e formazione, necessari alla pubblicazione dei dataset che ad oggi ammontano a 546 disponibili nel portale open data. L’aspetto più interessante non è la quantità di dataset oggi disponibili nel portale istituzionale, ma il processo “umano” di crescita che in questi oltre 3 anni ha portato diversi dirigenti e referenti open data a pubblicare dataset e a credere nell’importanza dei dati pubblici in formato aperto, rilasciati con licenze che ne permettono il riuso.

IL TEAM OPEN DATA E LE RIUNIONI PUBBLICHE – all’inizio del 2014 l’Amministrazione costituisce, come da linee guida, il Team open data, una strutturazione interna con responsabile open data, dirigenti e referenti negli uffici, quali soggetti chiave per l’individuazione e pubblicazione di dataset. Due volte all’anno si tiene la riunione del Team open data, un evento pubblico al quale possono partecipare soggetti della società civile, e nel quale si decidono le priorità di pubblicazione dei dati e i tematismi sui quali concentrare l’attenzione per i dataset da pubblicare. Durante queste interessanti riunioni, soggetti della community Opendatasicilia partecipano, da tempo, con interesse proponendo sempre iniziative e azioni volte al miglioramento della qualità dei dataset da pubblicare. Da notare l’interessante interazione, sempre propositiva, con la quale i partecipanti alla riunione si pongono nei confronti dei referenti e dirigenti comunali e la coesione che si viene a costruire tra interno (Comune) ed esterno (Società). I verbali di tutte le riunioni del Team sono disponibili per la consultazione nell’home page del portale open data.

L’ACCOMPAGNAMENTO FORMATIVO DEI REFERENTI – la struttura del Responsabile open data è affiancata da un tecnico (Ciro Spataro) per l’accompagnamento e la formazione base dei referenti negli uffici. Dal 2014 intrattengo un costante confronto con i referenti open data al fine di porli nella condizione di poter pubblicare dataset almeno in versione tabellare CSV (catalogati 3 stelle in una scala da 1 a 5). Ciò in quanto diversi uffici, non lavorando con applicativi gestionali creati ad hoc, fanno ricorso al pacchetto applicativo di Excel per custodire, gestire e archiviare dati di competenza. Mi avvalgo anche di un piccolo portale formativo allo scopo. Degli incontri effettuati con i referenti negli uffici tengo un report in costante aggiornamento che ritengo una sorta di memoria e che può aiutare a comprendere sia i problemi incontrati nella pubblicazione di dataset, sia i progressi raggiunti. E’ ovvio che la tendenza dell’Amministrazione, oltre all’uso di formati tabellari quali i CSV, deve essere rivolta soprattutto alla pubblicazione di dataset che sono direttamente derivabili dagli applicativi gestionali in uso negli uffici e in fase di sviluppo per il prossimo futuro (formati XML, Json, GeoJson,…).

LE NUOVE LINEE GUIDA COMUNALI OPEN DATA 2017 PARTECIPATE – con un comunicato stampa comunale del 25 gennaio 2017 viene annunciata la possibilità, per chiunque interessato, di partecipare online alla stesura delle nuove linee guida comunali. Questa nuova versione viene sentita come necessaria per via delle vigenti Linee guida nazionali open data dell’Agenzia per l’Italia Digitale versione 2016 e del vigente Profilo dei metadati DCAT_AP_IT (sempre a cura dell’AgID). Aderire, per Palermo, al profilo dei metadati DACT_AP_IT significa avere la possibilità di indicizzare i dataset palermitani nel catalogo nazionale dei dati (dati.gov.it) e in quello europeo (european data portal). La bozza di linee guida comunali open data 2017 rimane disponibile online per la partecipazione fino ad inizio aprile 2017.

Il 4 maggio la Giunta Municipale, raccogliendo le interazioni pervenute online, approva la nuova versione delle Linee Guida comunali open data versione 2017 partecipate, redatta dallo staff dell’Area Innovazione Tecnologica.

LE NOVITÀ’ DELLE LINEE GUIDA 2017 PARTECIPATE – sicuramente la partecipazione rappresenta il primo elemento di rilievo, che, allo stesso tempo, costituisce una continuazione culturale rispetto al processo passato di partecipazione dal basso, condotto nel 2013 da 7 cittadini che avevano “scritto” le linee guida open data per una grande città italiana.

Nella Deliberazione viene menzionata la community Opendatasicilia, quale soggetto molto attivo, presente agli incontri del Team open data e competente nell’ambito dei dati in formato aperto. Questa citazione attribuisce alla comunità siciliana un importante ruolo: soggetto sensibilizzatore, formatore, di stimolo, in ultima analisi un soggetto ritenuto dal Comune di Palermo valido per il percorso di miglioramento della politica open data.

Altro elemento di novità delle linee guida è il riferimento alla costruzione di API (Application Programming Interface) nella realizzazione delle nuove piattaforme digitali del P.O.N.  METRO di Palermo. La realizzazione di API permette a software di terze parti di interrogare in tempo reale i database comunali nei quali sono custoditi/gestiti i dati tematici, al fine di consentirne un ampio riuso creativo per infiniti scopi. 

Nella riunione del Team open data del 21 dicembre 2016 sono state fissate alcune scadenze operative, dal Responsabile open data comunale, che sono state riportate nella Deliberazione n. 97 del 4 maggio 2017.  Entro giugno 2017 il portale open data comunale di Palermo si renderà “conforme” al  Profilo dei metadati DCAT_AP_IT e sempre entro giugno 2017 ci sarà il traghettamento ad una nuova versione grafica del portale (mostrata all’opendataday 2017) a cura dello staff del Webmaster (al quale vanno ringraziamenti per il supporto e per gli input forniti durante questi anni per il miglioramento del processo di pubblicazione dei dataset).

LAST BUT NOT LEAST: CREDITS – la nuova versione di linee guida open data 2017 partecipate vede un paragrafo dedicato esclusivamente ai crediti. Un azione di “rispetto” e di “ringraziamento” nei confronti di chi individualmente ha contribuito, con la propria azione civica volontaria, a migliorare un pezzo di Amministrazione comunale.

I 7 cittadini palermitani sono ringraziati per la redazione della versione 2013 delle linee guida ed un ringraziamento specifico va a Davide Taibi del CNR Palermo (nonché membro di Opendatasicilia) per avere dedicato tempo e fornito un importante contributo professionale per la definizione operativa del profilo DCAT_AP_IT dei dati e metadati dei dataset nella nuova versione delle linee guida 2017 versione (appunto) “partecipate“.

Le linee guida open data 2017 versione partecipata DEL COMUNE DI PALERMO, appena approvate, sono RILASCIATE CON LICENZA CREATIVE COMMONS, BY (ATTRIBUZIONE), SA (CONDIVIDI ALLO STESSO MODO) E SONO disponibili in formato ODT a questo link.

Un altra piccola paginetta di storia sui dati pubblici è stata scritta a Palermo e Opendatasicilia c’entra.

OPENDATAFEST 2017, Caltanissetta 2-4 giugno 2017, #ODFest17

#ODFest17

Dal 2 al 4 giugno 2017 a Caltanissetta si terranno iniziative per conoscere il mondo dei dati e per stimolare la conoscenza aperta, incontrare persone che se ne interessano, condividere esperienze e costruire prototipi insieme. Quest’anno si tratta di un evento organizzato dalle comunità Open Data Sicilia e Spaghetti Open Data.

Un portale informativo è già stato redatto http://opendatafest.it/ e contiene le informazioni utili per coloro che intendono partecipare, non solo come uditori, ma anche come relatori.

Questa mappa illustra i siti dove si terranno gli eventi, i punti di riferimento del trasporto pubblico locale e i siti per il pernottamento.

Ecco alcuni alcuni temi che saranno approfonditi al raduno (ma non sono necessariamente solo questi):

  • pratiche e metodi di trasparenza;
  • i dati della amministrazione aperta;
  • la condivisione dei dati aperti e il loro riuso;
  • i dati aperti per comprendere meglio la realtà e come supporto alle decisioni;
  • fare impresa con i dati aperti (casi di business basati sugli Open Data);
  • l’impatto sulla società dei dati aperti;
  • il trattamento dei dati, l’analisi e la loro visualizzazione;
  • metadati, ontologie e approcci semantici;
  • raccontare il territorio a partire dai dati;
  • strumenti hardware e software per la raccolta e la condivisione di dati aperti.

I tre giorni avranno questa struttura:

  1. venerdì 2 giugno: la giornata è divisa in due parti:
    • mattina: terremo una conferenza in cui aggiornarci a vicenda sulle cose più importanti che sono successe nell’ultimo anno nel mondo degli Open Data;
    • pomeriggio: ci saranno delle sessioni parallele sui temi che arriveranno dalle proposte che faranno i partecipanti stessi, come per i BarCamp (per chi li conoscesse).
  2. sabato 3 giugno faremo un Civic Hackathon: produrremo insieme qualcosa di concreto. A differenza degli hackathon “normali”, il civic hackathon non si concentra solo sulla produzione di software, ma anche su analisi di leggi e normative o azioni di monitoraggio civico. Qualunque persona interessata al tema può esserne protagonista, anche se non sa programmare. Anche in questo caso, l’ambito e le possibili sfide da affrontare saranno frutto di quelle proposte che arriveranno dai partecipanti stessi;
  3. domenica 4 giugno faremo una giornata di formazione per la comunità. Sarà accessibile anche a principianti assoluti: il suo obiettivo è rendere tutti in grado di “fare delle cose con i dati” – una cosa molto pratica, insomma. Come per il sabato, anche in questo caso le proposte emergono direttamente dal basso.

E’ forse l’iniziativa civica sui dati aperti più interessante d’Italia del 2017, perché realizzata da persone che dentro o fuori le pubbliche amministrazioni sono accomunate dalla passione e consapevolezza dell’importanza della conoscenza condivisa.

Partecipa all’OPENDATAFEST 2017

Se partecipi puoi anche farlo sapere aggiornando la cover del tuo profilo Twitter o di Facebook:


(foto in alto di Lillo Miccichè)

Open data day 4 marzo 2017 a Palermo (u pitittu ci fazzu veniri)

(“u pitittu ci fazzu veniri” = “l’appetito gli faccio venire”, frase usata da una rete di venditori ambulanti di sfincione a Palermo per attirare l’attenzione dei passanti)

Il primo sabato di marzo è ormai come una ricorrenza sacra, si festeggia l’open data day in molte città del mondo http://opendataday.org/ e siamo contenti perchè ci incontriamo in tante persone appartenenti a mondi lavorativi e didattici diversi ma accomunati dai dati. E ovviamente Palermo non manca all’appello.

Andrea Borruso mi ha detto che potrei scrivere questo post perché è un evento che ho aspettato sin dallo scorso dicembre, da quando, prima di Natale, abbiamo fatto un incontro pubblico del Team Open Data comunale in compagnia di cittadini e appassionati di dati pubblici. E così in effetti è, mi piace l’open data day e mi ci sono appassionato da quando 4 anni fa per caso conobbi un po di persone con le quali ormai collaboro in maniera costante e felice, aumentando le mie competenze nell’ambito dei dati e del loro riuso.

Quest’anno per l’opendataday abbiamo il comune di Palermo, impegnato in un processo “culturale” di partecipazione e apertura dei dati, il Consorzio ARCA, un incubatore di imprese ormai diventato un’istituzione dell’innovazione a Palermo e OpendataSicilia, questa community di cittadini – e amici – che si divertono a creare esperimenti riusando dati, ma che hanno anche una grande abilità: essere propositivi nei confronti di pubbliche amministrazioni, scuole, e altre comunità che operano con i dati sul territorio nazionale.

Il menù del 4 marzo palermitano prevede:

  • antipasto di linee guida comunali Open Data 2017 in salsa partecipata
  • open data variegati della Polizia Municipale
  • vulnerabilità sismica degli edifici residenziali di Palermo in una mappa da open data
  • una spruzzatina di “A scuola di Opencoesione”
  • start up che usano i dati, per intenderci Smarteating
  • Università e Ricerca insieme per  iniziative e progetti in ambito open data
  • mappatura dei servizi accessibili nelle strutture ricettive
  • open data e Sanità
  • e per finire il dolce:  Web scraping per tutti, introduzione al tema e guida all’uso di alcune tecniche e strumenti

… un ni putemu lamintari st’annu, ….. u pitittu ci fazzu veniri !

Ah dimenticavo, ci vediamo il 4 marzo 2016 alle 9.30 al Consorzio ARCA in viale delle Scienze, edificio 16, Palermo.

Registratevi qui

Il riuso di una pagina di eventi di un assessorato regionale

Il 7 novembre del 2016 ho scritto alla dottoressa Roberta Iannì dell’ufficio “Comunicazione, marketing ed accoglienza” dell’Assessorato Turismo, Sport e Spettacolo della Regione Siciliana. Nell’email le raccontavo come —  insieme ad altri membri di Open Data Sicilia (in particolare Ciro Spataro)— avessimo estratto i dati da una pagina di eventi regionali curata dal suo ufficio, per trasformarli in una mappa e in un canale Telegram. Le ho scritto sopratutto per chiedere di palesare una licenza sui contenuti.

La dott.ssa Iannì ci ha risposto con interesse in poco tempo e dopo un ulteriore approfondimento è stata inserito in Sicily Events un riferimento alla licenza CC BY 4.0: da quel momento i dati pubblicati sono riutilizzabili a patto di citare la fonte.

Il riuso che ne abbiamo fatto

Questi eventi sono pubblicati come post di una pagina Facebook. È possibile accedervi tramite API: quello che viene restituito è (vedi sotto) la data di creazione (created_time), l’identificativo del post (id) e il testo contenuto (message). Luogo e data dell’evento non hanno un loro contenitore dedicato, ma sono comunque inseriti dentro il testo del messaggio dalla redazione della pagina.

Per fortuna l’ufficio regionale inseriva quasi sempre il carattere # in corrispondenza del nome del comune in cui avrebbe avuto luogo l’evento (un classico hashtag). Ho chiesto allora di inserirlo sempre per i toponimi comunali e ho creato una piccola regola che:

  • estrae dal testo del messaggio tutte le parole precedute dal carattere #;
  • estrae da questo elenco di parole quelle che corrispondono a nomi di comuni siciliani.

In questo modo è possibile associare una coppia di coordinate agli eventi e quindi visualizzarli su una mappa. È una piccola cosa che “aumenta” l’informazione iniziale, perché la rappresentazione cartografica fornisce delle utilissime informazioni di contesto.

A partire dai dati originali, e grazie alla licenza applicata, abbiamo quindi messo in piedi un processo di riuso dei dati che ha prodotto questi output:

Abbiamo usato come contenitore un repository GitHub e lo abbiamo battezzato Sicily Events (reloaded)https://siciliahub.github.io/sicilyevents/

Alcune considerazioni

L’ideale sarebbe che questi post fossero in origine nativamente associati alla coppia di coordinate del luogo in cui si svilupperà l’evento. E che ad ognuno, come in un calendario, fossero associate anche le date di inizio e fine. Ma lo strumento usato oggi (la pagina facebook) non lo consente in modo nativo.

Valuto comunque in modo positivo questa dinamica: in primis per la pubblicazione con licenza aperta e in secondo luogo per un’attenzione alla struttura dei testi dei messaggi, che ora consente di dare valore aggiunto a quanto pubblicato. Proporremo all’ufficio che scrive i testi di inserire i riferimenti alle date secondo uno schema predefinito, in modo da poterle estrarre in automatico (come i toponimi) e aggiungere un’altra informazione fondamentale, che consentirà di trasformare questo utile e interessante wall di notizie anche in un vero e proprio calendario.

Se sono rose …

What do we know about the air quality in Palermo?

Some weeks ago we came across an EU publication about the urban life in 79 European cities . Among the surveyed cities was Palermo. The following graphic on page 50 attracted our interest. The graphic shows the proportion of people satisfied with public transport services and the quality of air in their city. For both indicators Palermo shows very low levels.

image04

 

We became interested in what kind of air quality data are currently available in Palermo. The central agency which collects and publish information about air quality is RAP Palermo. According to their website the monitoring network in Palermo is build on ten stations. RAP Palermo collects data in five key pollutants (sulfur oxides (SO2), carbone dioxyde (CO2), nitrogen oxides (NO2), ozone (O3) and particulate matter (PM10)) 24 hours per day.

The results are publish on their website as daily and monthly reports and are available from the year 2013. This is the daily report for the September, 16.

image05

 

The page shows that not all stations collect data for every pollutant. Grey fields indicate combinations which are not measured. We call them “missing type 1” data. White fields on the other hand are under observation but for this particular day are not available (“nd”). These are “missing type 2” data. Valid measurements are the fields containing a value and are in green, yellow or red. Only the stations Boccadifalco and Castelnuovo collect data for all five pollutants.

The most interesting data to make some analysis are the daily one, but in RAP website there are two information barriers:

  • there is one file for every day, than it’s necessary to download one by one. In one year it’s necessary to do 365 downloads;
  • all files are in PDF format, than it’s impossible to use them in apps to make some analysis like a spreadsheet, or in some statistical framework.

So we had to deal with this. We downloaded in example all available daily reports for the year 2016 and extracted the data: here the 2016 RAP daily data in a single CSV file.

We have build 2 different procedures to do it: one in R (the one of Patrick) and one in Python (the one of Andy), and we will publish them in the next weeks.

Why it’s better in this way

To have a single file, in a format that you can use to make calculation, visualization and analysis it’s a little treasure.

image01

 

Some examples:

  • it’s possible to compare different time periods (think to “ZTL”, the restricted traffic area which began in Palermo on 2016 October 10);
  • it’s simple to build automation tools (alert me every time in this station PM10 overcomes legal limit); it will be always the data of the day before, but we think that it’s much better than nothing, much better than to look every day to a PDF file via a browser;
  • it’s possible to use this data coupled to other kind of data (rain and wind data in example) to do some more advanced environmental analysis;
  • it’s possible to discover that:
    • there are no records about Bellolampo station in the PDF. Why?
    • there are to much days in which there are no data, also for fundamental measures like PM10 one. Why?
      • along one year it is forbidden to have more than 35 days with PM10 > µg/m3. In Di Blasi station (outside the ZTL) we already have it 33 times; moreover for this station there had 21 days without any measures.
    • some files like bollettino_20161126.pdf, bollettino_20160508.pdf and bollettino_20160408.pdf, are not published.

This post is a first step, a kind of introduction. In the next weeks we will open a website dedicated to these data, in which we will publish: more data, the code we will use to download them, some maps, some charts, some interactive visualizations and some posts about these data.

Stay tuned!

#ODS16, 3 giorni di eventi a Messina per contaminarsi la cultura operativa degli open data

 

#ODS16 l’evento di 3 giorni

La comunità di opendatasicilia si è incontrata dal 2 al 4 Settembre 2016 a Messina, ospitata nella sede della facoltà di Scienze Cognitive della locale Università, con un programma di tre giornate di confronto, workshop formativi ad accesso gratuito e gruppi di sviluppo progettuale per lavorare sugli Open Data. Il sindaco del Comune di Messina ci ha accolti con piacere.

Un programma molto ricco di eventi sul mondo dei dati aperti a 360 gradi, con partecipanti provenienti da diverse parti d’Italia (guarda la mappa) e con una rappresentanza del portale europeo dei dati aperti www.europeandataportal.eu.

Cosa abbiamo fatto in 3 giorni

speaker

In questi 3 giorni di inizio settembre si è condivisa conoscenza, e contaminata cultura, su una ampia varietà di temi legati direttamente o anche indirettamente ai dati.

Sono stati illustrati i contenuti del portale europeo dei dati aperti con la presentazione di Wendy Carrara, che ha sensibilizzato i presenti sia in veste pubblica che di privati cittadini/associazioni a pubblicare dati con una chiara strategia, per gli uni, e ad utilizzare gli open data, per gli altri, al fine di creare servizi a valore aggiunto per il miglioramento della qualità della vita dei cittadini nella società.

E’ stata illustrata l’iniziativa A Scuola di OpenCoesione che ha coinvolto decine di scuole in tutta Italia per la sensibilizzazione degli ambienti scolastici verso il mondo dei dati aperti e sono stati presentati i progetti di scuole che vogliono andare oltre costruendo laboratori open data in collaborazione con enti pubblici e community attive sui dati aperti.

Non poteva, ovviamente, mancare il FOIA (Freedom Of Information Act), l’Open Government, e la Trasparenza della Pubblica Amministrazione, tutti temi nazionali caldi sui quali si sono confrontati presenti e personaggi di rilievo nazionale. Con l’iniziativa  Siamo tutti “più” cittadini – ad esempio – si propongono implementazioni del nuovo statuto del comune di Palermo. Soprattutto si cerca di comprendere insieme l’apparato della Trasparenza vera e il rapporto con il  cittadino.

Si presenta il progetto SmartME, nato al fine di incoraggiare un dialogo con il comune per stimolare la creazione di nuovi ecosistemi virtuali basati sull’utilizzo del paradigma dell’Internet delle Cose (IoT).

Palermo illustra la realizzazione del piano d’incidentalità mediante sistema informativo territoriale della Polizia municipale di Palermo ed effettua analisi dettagliate e visualizzazione dei dati con il linguaggio “R”.

Sempre a Palermo la community di #OPENAMAT, iniziativa civica, apre un approccio nuovo alla risoluzione di vecchi problemi legati alla mobilità urbana dei trasporti pubblici di Palermo.

Con i dati si possono valorizzare i monumenti, quindi viene presentata l’iniziativa nazionale Wiki Loves Monuments che registra diverse pubbliche amministrazioni aderenti anche in Sicilia.

Nel campo della salute i dati sono anche molto utili, l’iniziativa civica del portale consalute.it: consapevolezza e salute con i dati socio-sanitari, illustra, tra l’altro, gli importanti dati di attesa ai Pronto Soccorso di alcuni importanti ospedali pubblici di Palermo, utile per chi deve scegliere l’Ospedale dove recarsi in emergenza.

Nell’ambito energia l’iniziativa OpenData ed Energia: opportunità per imprese e criticità dei dati presenta i dati sull’atlante solare ed eolico per la progettazione di impianti di produzione di energia da fonti rinnovabili.

Nel campo della lotta alla criminalità organizzata, “come valutare l’antimafia? Ovviamente i  dati sono a supporto del progetto ConfiscatiBene” (slideslide).

Con un app già nota per le chat di gruppo, si costruiscono gli Albi Pop, è il caso di Telegram e di “AlboPOP: guarda un po’, l’albo pretorio va di moda“, e di Citybot un cruscotto digitale portatile per la città smart con tante info utili  in pochi click dallo smartphone.

Il giornalismo si nutre dei dati, oggi si chiama “Datajournalism”, dai dati ad un giornalismo analitico, i dati sono nei 18 giornali locali del gruppo editoriale l’Espresso / Finegil.

Dal Trentino arrivano gli input sul cambiamento delle pubbliche amministrazioni nelle economie e società guidate dai dati, una tendenza che si comincia a diffondere nei territori più virtuosi del mondo.

I bilanci comunali sono argomento sempre più caldo per la società e OpenBilanci realizza uno spaccato su Messina e la Sicilia a cura di OpenPolis.

Quando le regioni non hanno i portali open data, a farli ci pensano le community civiche: Non-Portale Open Data e dalla Sicilia si replica in Campania con laboratori per la costruzione di siti con dati pubblici unofficial.

Per chi ama il mondo delle mappe, dei dati georeferenziati e degli applicativi, l’evento messinese di 3 giorni ha portato una ventata di freschezza.

Le mappe interattive sono possibili in poche mosse e senza usare codice, è il caso di Carto.

Con Staview si ha la possibilità di visualizzare una piattaforma webGIS con i dati statistici (di ISTAT/INAIL/INPS/Ministero Interno/Veneto Lavoro/Arsel) su popolazione, lavoro, istruzione, sanità, assistenza, ambiente, energia, giustizia, sicurezza, servizi.

Con Leaflet – from Zero to Hero -si realizzano superlibrerie javascript per realizzare mappe interattive (esempi e repository).

In un evento sui dati aperti non poteva mancare il software open source per i dati geografici, con QGis si personalizzano senza limiti le mappe (Slide e materiali).

Fortunatamente oggi non c’è solo Google Maps, con Openstreetmap sono i cittadini ad arricchire i dati della mappa più bella del mondo. Ci provano i boyscout e i civic hacker con la Villa Romana di Patti, della serie le mappe le facciamo e le aggiorniamo noi cittadini.

Imparare dalle e con le macchine, machine learning: tecnologie e metodi per costruire un progetto, che casualmente ha a che fare con… 🙂  (demo e repository).

Immancabile una sessione su Statistica e i Geodati per comprendere fenomeni  nella geografia.

I dati servono per fare monitoraggio, allora Monitoraggio asincrono come se fosse Antani.

Un linguaggio software “R” per fare un focus sui dati delle API di ARPA Sicilia.

Anche la curia si avvicina agli open data per comunicare ai suoi fedeli, il caso dell’Arcidiocesi di Catania.

Quando diversi dataset si mettono in collegamento, è il caso dei Linked Open Data, e semantica del web (materiali e slide – Slide Intro LOD – materiali e slide)

Dal satellite si possono scaricare dati geografici per il riuso: i dati Copernicus.

A fine della seconda giornata davanti ad un aperitivo sulla costa di Messina è stato presentato il libro Architettura della Comunicazione.

Il terzo giorno è stato lanciato il contest Opendatagiustizia.it (Conoscere la giustizia attraverso i dati, per migliorare il Paese) promosso da COGruppo in collaborazione con Associazione Ondata (slide).

In conclusione è successo che

In 3 giorni persone con competenze tecnologiche e digitali diverse, di diversa età, sesso e orientamento politico, appartenenti ad associazioni private e ad enti pubblici, provenienti da diverse parti d’Italia si sono incontrate con questi obiettivi:

  • condividere conoscenza sull’uso dei dati, contaminandosi a vicenda
  • imparare gli uni dagli altri, facendo domande e mostrando curiosità su cosa fa l’altro
  • cercare di creare reti territoriali tra associazioni ed enti pubblici per la realizzazione di progetti specifici attraverso l’uso dei dati
  • creare servizi digitali ad alto valore culturale e sociale per la collettività
  • assaggiare le prelibatezze Messinesi: street food e granite 🙂
  • contribuire a migliorare la politica di trasparenza delle locali pubbliche amministrazioni, stimolando, ad esempio, il ricorso all’accesso civico
  • far conoscere servizi utili già realizzati attraverso il riutilizzo dei dati, ma che a volte restano confinati ad un livello molto locale perchè non adeguatamente pubblicizzati
  • dimostrare come il mondo dei dati geografici adeguatamente pubblicato online possa migliorare le scelte di vita quotidiana delle persone
  • stimolare i cittadini a valorizzare il proprio patrimonio culturale e monumentale attraverso la sensibilizzazione degli enti pubblici che autorizzano i cittadini a fotografare per contest nazionali e rilasciare le foto con licenze aperte
  • coinvolgere la scuola superiore italiana per sensibilizzare i ragazzi alla cultura del dato come leva per una nuova consapevolezza ed una nuova economia.
  • ….

Tutto questo è successo grazie ad ognuno dei partecipanti che si è immerso in una dimensione di campus culturale, dove il #dato è stato corteggiato senza limiti e per le più svariate finalità.

Opendatasicilia non è una community di soli siciliani, è una community che parte da quei siciliani che vogliono realizzare sogni, progetti e azioni sui dati insieme a individui di ogni parte d’Italia, ed è per questo motivo che riesce bene, già  al secondo anno di eventi, ad essere modello e punto di riferimento per l’aggregazione sociale e culturale senza confini.

Un sentito grazie a tutti i presenti per l’atmosfera creata e per le contaminazioni culturali generate.

Lo storytelling su Twitter

Gli eventi della 3 giorni di opendatasicilia sono stati memorizzati su un flusso di tweet e foto disponibili al link.

E una mini rassegna stampa sull’evento.