Sull’organizzazione del raduno di Open Data Sicilia 2018

Ogni anno Open Data Sicilia organizza due eventi sul territorio siciliano, uno in estate e uno in inverno, nei quali vengono coordinate giornate di confronto, incontri formativi e workshop ad accesso gratuito, gruppi di lavoro e di sviluppo progettuale per lavorare sugli open data.

Quest’anno la scelta della location del raduno è stata fortemente influenzata dall’intenzione di voler organizzare al Palazzo dei Normanni di Palermo, sia il raduno classico Open Data Sicilia, sia l’OpenARS Hackathon, cioè un’iniziativa di civic hacking collaborativa che ha come obiettivo quello di promuovere il riuso, da parte della comunità degli sviluppatori, giornalisti, studenti, etc, dei dati dell’Assemblea Regionale Siciliana, relativi alla istituzione e all’attività parlamentare.

Analogamente a quanto fatto nell’Hackathon code4italy sui dati aperti della Camera, organizzato a Montecitorio nel 2014, l’obiettivo dell’iniziativa OpenARS Hackathon è aumentare la conoscenza dei dati aperti parlamentari siciliani, mostrare a una platea ampia perché gli open data sono così importanti, soprattutto in un settore chiave come quello legislativo.

I dati aperti, infatti, sono lo strumento abilitante per eccellenza, per tutte quelle iniziative relative al monitoraggio, alla trasparenza, alla partecipazione civica e all’ open-government in generale.

Per poter instaurare un confronto con l’ARS abbiamo inviato giorno 30/05/2018 questo testo al presidente dell’Assemblea Regionale Siciliana, on. Gianfranco Miccichè e a tutto il consiglio di Presidenza.

Siamo stati contattati dall’on. Giancarlo Cancelleri prima e dall’on. Claudia La Rocca dopo e, dopo una fase interlocutoria, abbiamo concordato un primo incontro all’ARS giorno 27 giugno 2018.

E’ un primo passo importante perché pensiamo che l’ARS sia la giusta sede per la diffusione di un progetto che riteniamo di estrema importanza per la collettività.

Aprire un’impresa in Sicilia, fermandosi al login

La Regione Siciliana gestisce il portale online del Sistema regionale degli Sportelli Unici, la porta di accesso agli Sportelli Unici per le Attività Produttive (SUAP) di molti comuni dell’isola, elencati nel dettaglio qui

Si tratta di un servizio fondamentale per tutti gli imprenditori che devono sottoporre una pratica per l’apertura di un’impresa nei comuni in cui il servizio dovrebbe essere attivo.

Peccato che il portale non dispone di accesso tramite SPID, il Sistema Pubblico di Identità Digitale, nonostante le pubbliche amministrazioni erano obbligate ad implementare un accesso SPID entro Marzo 2018.

Ma non è tutto, se si prova a registrarsi al portale oppure a fare il login con i link presenti in home page, si finisce su delle pagine di errore per connessione sicura non riuscita.

http://pti.regione.sicilia.it/portal/page/portal/SSU_PORTALE

https://pti.regione.sicilia.it/portalutil/registration.do?redirectUrl=aHR0cDovL3B0aS5yZWdpb25lLnNpY2lsaWEuaXQvcG9ydGFsL3BhZ2UvcG9ydGFsL1NTT19QUk9GSUxF

In breve, chi vuole fare impresa in Sicilia deve fermarsi già al login.

Ho segnalato la mancanza di accesso tramite SPID al Difensore civico per il digitale e sono in attesa di una risposta.

“Se non noi, chi?” – Comunità, competenze ed impegno civico

Dopo alcune settimane di gestazione, fatta di scambi, opinioni, formulazioni e riformulazioni, attraverso tutti gli strumenti dell’Internet, sincroni ed asincroni, testuali, visuali, comunque digitali, abbiamo serenamente partorito la proposta di Open Data Sicilia all’istituzione che più di altre, sul territorio regionale, è chiamata a disegnare percorsi, costruire binari, ripulire ed accendere i motori della nostra economia, oggi rappresentata dal Vicepresidente e assessore per l’economia della Regione Siciliana, Gaetano Armao.
Abbiamo alzato la mano e detto: “Noi ci siamo”.

Noi chi? Noi che, passo dopo passo, nel nostro piccolo, abbiamo mostrato sul campo conoscenze e competenze che spaziano dall’ambito informatico a quello ingegneristico, economico-statistico, giuridico-amministrativo, comunicativo, giornalistico e teorico-politico e di avere il vizio dell’impegno civico per la nostra terra. Noi, accomunati dalla convinzione che crescita e cittadinanza siano sempre più indissolubilmente complementari e che queste passino necessariamente per le tecniche ed i modelli maturati nell’ambito del digitale innovativo.

Per far cosa, precisamente, “Noi ci siamo”? Siamo partiti a metà marzo con il lancio nella nostra mailing list dell’idea di proporre un meccanismo giuridico che spiani la strada alla generazione di una grossa mole di dati aperti utili per tutti: un obbligo per le P.a.l. siciliane di richiedere, secondo termini e condizioni da definire, già in sede di redazione dei documenti di gara, il rilascio obbligatorio da parte dell’aggiudicatario dei dati emergenti nell’esecuzione della fornitura, in formato digitale aperto e con licenza d’uso senza limitazioni.
A questa si è presto aggiunta l’idea di proporre il supporto della comunità per un più ampio spettro di attività, anche in ambito Open government, in linea con il taglio e gli argomenti appena trattati in una conferenza organizzata durante i primi di maggio presso il municipio di Messina, da alcuni membri di ODS, in cui tra l’altro è emersa la volontà dell’assessore di dare impulso agli open data tra mite un DDL già abbozzato dai suoi uffici.
Infine, abbiamo allargato lo spettro degli argomenti sui quali incontrarsi, alla realizzazione di parte del Raduno ODS18 presso l’ARS, dove presentare ed in parte svolgere il progetto “Open ARS”, di cui certamente sentiremo parlare.

Ieri abbiamo inviato la nostra richiesta di incontro, oggi abbiamo già ricevuto la risposta: siamo convocati per lunedì 28 maggio, per discutere, in sintesi, sulle opportunità per diffondere la cultura e le pratiche dei modelli dell’open data e dell’open government in Sicilia.
E se è vero che chi ben comincia è a metà dell’opera, abbiamo di che essere soddisfatti 🙂

Stay tuned

I dati di soldipubblici.gov.it sul tuo portale open data

I portali open data hanno sempre bisogno di essere alimentati con dataset nuovi e soprattutto aggiornati.  Attivare quei meccanismi che consentono di generare file aperti e allo stesso aggiornati, nella Pubblica Amministrazione, è un processo che molte volte richiede tempo e soprattutto un cambio di mentalità; è un discorso questo, che si sente spesso nella PA.

La comunità di opendatasicilia mi ha spesso insegnato che, è mostrando la potenzialità dei dati aperti con il riuso, che quei meccanismi di interesse si possono sbloccare, attirando nuove idee e nuovi dati. Avere quindi dati aperti, aggiornati e attendibili, è cosa rara e complicata, ma quando ne puoi discutere un po’ in gruppo e alimentare le tue fantasie e le tue idee con uno script di poche righe ma efficientissimo, allora la vita sembra prendere una piega del tutto diversa!

Sotto la spinta delle mie esigenze lo script (creato da Andrea Borruso), originariamente nato per scaricare i dati di un singolo ente da soldipubblici.gov.it, ha consentito la pubblicazione di una dataset sul portale open data della Città Metropolitana di Napoli, in due formati (csv e json), con aggiornamento automatico settimanale.

Ma andiamo per gradi.
Il sito soldipubblici.gov.it consente  di consultare e scaricare  i dati della spesa pubblica  ricercando un ente.

È possibile fare il download del CSV, al click su un pulsante, ma nel mio caso avevo bisogno di automatizzare questo processo.

Lo script (accessibile qui) è scritto in bash, sfrutta le utility httpie, jq e csvkit e funziona in questo modo:

  • si imposta il codice dell’ente di interesse (i codici dei vari enti si trovano qui)
  • il dato viene scaricato in formato JSON, e le cifre spese espresse in origine come numero intero (è stata rimossa la parte decimale, moltiplicando per 100), vengono riportate a numero decimale;
  • il file così trasformato viene salvato in JSON e CSV.

Alla versione originale dello script volevo aggiungere la possibilità di rimuovere quei record in cui le colonne con i valori numerici sono non valorizzate (sono “null”). E allora mi è stato suggerito di usare csvgrep, che può filtrare le righe di una tabella a partire da un’espressione regolare ed è stata aggiunta la riga:

Lo script viene eseguito su un server del mio Ente, e l’output è accessibile dall’esterno pubblicamente in http.

Essendo i dati di “soldipubblici” aggiornati settimanalmente, nasceva infine l’esigenza di doverne automatizzare il download senza la necessità di un intervento umano. Così, sempre su indicazioni apprese nello scambio in mailing list, ho modificato il file /etc/crontab (che negli ambienti Linux consente di impostare delle operazioni da eseguire in modo pianificato) aggiungendo:

La stringa “0 4 */7 * *” corrisponde a “ogni 7 giorni alle 4 di mattina”.

Verificato che il tutto funzionasse correttamente e ottenuti i link statici dei file creati dallo script, ho provveduto a caricarli in un dataset sul portale ckan degli Open Data della Città Metropolitana di Napoli.

È nato così il primo caso d’uso specifico dello script SpesaCron, dove grazie all’estrazione di due file csv e json dai dati di soldipubblici.gov.it è stato possibile pubblicare un dataset contenente tutte le voci di spesa di una Pubblica Amministrazione, automaticamente alimentato dallo stesso sito e con frequenza di aggiornamento settimanale.

Come abbiamo creato un «Read the Docs» per pubblicare documenti pubblici su Docs Italia

Questa storia nasce dal Team Trasformazione Digitale dell’AgID che inizia a pubblicare documentazione della Pubblica Amministrazione su un formato online nuovo che si chiama Read the Docs.

Read the Docs (RTD) è un formato che permette di leggere testo su dispositivi mobili adattandosi alle dimensioni del display e consente di cercare parole nel testo attraverso uno spazio apposito. Già solo queste due caratteristiche lo fanno preferire al classico formato PDF usato per la maggiore nei siti web della PA. Purtroppo il PDF non si adatta ai dispositivi mobili e non consente un agevole ricerca di testo al suo interno.

Per arrivare alla pubblicazione di documenti su RTD è necessario compilare file nel linguaggio RST (reStructruredText) e renderli disponibili in progetti dentro il repository di Github.

Dopo che il Team Trasformazione Digitale inizia la pubblicazione di documenti della PA su RTD, alcuni dipendenti di PA cominciamo a pubblicare documenti pubblici su questo formato  e il risultato è senza dubbio molto gradevole e comodo ai fini della lettura su ogni dimensione di schermo.

Come ogni fenomeno nuovo c’è sempre l’aspetto e il ruolo pionieristico che è importante per fare da traino per gli altri. Ed è così che ci ritroviamo Ciro Spataro (Comune di Palermo) e Pablo Persico (Città Metropolitana di Napoli) a scambiarci idee e proposte per pubblicare documenti pubblici su Read the Docs, e fra un messaggio e un altro arriviamo alla conclusione condivisa che sarebbe utile e bello costruire un tutorial sulle modalità di costruzione di un documento da pubblicare Read the Docs: da dove partire e tutte le procedure da seguire. Cominciamo a lavorarci condividendo un Google doc all’inizio, e strutturiamo didatticamente il tutorial in 2 parti: una in cui si spiega una procedura per chi non è molto addentro alle procedure di compilazione e versionamento dei documenti e una per i più esperti. Questo al fine di arrivare ad ogni tipologia di dipendente pubblico in fatto di competenze digitali.

All’iniziativa prende parte Andrea Borruso per la supervisione dell’intero lavoro didattico, vista la sua attitudine e piacere a “spiegare bene” le cose.

Quello che ci ha preso maggiormente in questa iniziativa è stata la voglia di vedere i documenti della Pubblica Amministrazione visualizzati come mai ad oggi è stato fatto. Una sorta di vendetta contro un PDF scomodo 😉

Dal Read the Docs creato è possibile ottenere, automaticamente dalla stessa piattaforma, il documento in formato PDFEPUB ed HTML (zippato). Quindi per coloro che non possono rinunciare al PDF non c’è la possibilità di alcun trauma psicologico.

Il resto lo potete leggere nel Read the Docs http://come-creare-guida.readthedocs.io

 

Palermo Capitale italiana della Cultura 2018: rendere accessibili e riutilizzabili i dati sugli eventi

Sindaco di Palermo Leoluca Orlando
Assessore alle “Attività e Beni Culturali” del Comune di Palermo, Andrea Cusimano
Capo Area Cultura del Comune di Palermo, Sergio Forcieri
Assessora all’Innovazione del Comune di Palermo, Iolanda Riolo
Responsabile open data comunale Gabriele Marchese
Comunicazione Palermo capitale italiana della cultura 2018
Per conoscenza alla Presidenza del Consiglio Comunale

Egregi Signore e Signori,

Palermo è la Capitale italiana della Cultura 2018 e il 29 gennaio è stato il giorno della partenza, con l’evento del Teatro Massimo e il lancio del sito web ufficiale http://www.palermocapitalecultura.it/.

Si può fare cultura con la tecnologia e per questo vi chiediamo – persone, associazioni, aziende, ricercatori, liberi professionisti – di farlo proprio a partire dal sito web ufficiale.

Vi chiediamo di pubblicare in modalità “leggibili da una macchina” (machine readable) i dati sulle centinaia di eventi di “Palermo, Capitale italiana della Cultura 2018”.

In questo modo i principali motori di ricerca, le aziende di sviluppo software, chi usa i dati per promuovere il territorio e vendere servizi correlati (albergatori, aziende di noleggio auto, società di turismo, compagnie aeree, ecc.), potrà riutilizzare queste informazioni, e metterle a servizio di tutti in tutti gli spazi più comuni: in primis i principali motori di ricerca, i principali siti con mappe e ricerca di luoghi, i principali siti di prenotazione alberghi, B&B, affitto case, ecc., i principali siti che raccolgono e categorizzano eventi.

Se questi dati saranno pubblicati in modalità “machine readable”, tutto questo avverrà in modo automatico e probabilmente anche sorprendente e “Palermo, Capitale italiana della Cultura 2018” entrerà in modo spontaneo nelle tasche – negli smartphonedi tutti noi.

Il sito ufficiale è predisposto, perché espone già i dati sugli eventi tramite API (application programming interface), ovvero delle interfacce e delle procedure che rendono semplice e diretta la lettura dei dati su questi eventi da parte di un personal computer.

Un PC può infatti chiedere al sito dell’evento “mi dai per favore tutti i dettagli sugli eventi del 15 febbraio” in questo modo: http://www.palermocapitalecultura.it/api/eventi?data=2018-02-15

Vi chiediamo quindi di:

  • Aprire una nuova pagina dedicata all’accesso ai dati nel sito ufficiale;
  • documentare in questa le varie modalità di accesso in lettura, via API;
  • integrare, se possibile, ai dati già esposti anche le informazioni sui luoghi in cui si svolgono gli eventi (esporre quindi ad esempio le coordinate geografiche), dati che sembrano già essere disponibili sul sito;
  • associare ai dati esposti in queste modalità una licenza aperta che ne consenta il riuso e l’adattamento anche a scopo commerciale, con il solo obbligo di attribuzione della fonte (come ad esempio la CC BY 4.0).

Un’annotazione: le informazioni su un singolo evento sono fornite (sia sul sito, che via API) soltanto in italiano (in questo evento ad esempio la descrizione è in italiano e la tipologia è “cinema e spettacolo”). Sarebbe bene che fossero esposte anche (almeno) in lingua inglese.

Tutto questo potrà essere sfruttato anche dalle tante attività “locali” che erogano servizi territoriali basati su dati e informazione, e l’impatto di questa manifestazione sarà più forte e più orizzontale in termini culturali, di business, di tecnologia e di ricerca.

Il Comune di Palermo ha da anni investito “culturalmente” sui processi volti alla valorizzazione dei dati e in particolar modo dei dati aperti. Accettare la nostra richiesta confermerebbe l’impegno del Comune in questo ambito.

Certi di una vostra sensibilità, porgiamo cordiali saluti.

Firmatari

Associazione onData
Daniele Mondello, SunzeLab
Marcello Vetro, Olomedia
Marco Lombardo
Andrea Borruso
Davide Taibi, ricercatore CNR
Mario Grimaldi
Giovanni Pirrotta
Joska Arena
Nino Galante
Community OpenDataSicilia
Francesco Landini, Associazione Stand Up Sicilia
Lorenzo Perone
Giuseppe Pizzimenti
Fabio Maria Montagnino, Consorzio ARCA
Roberto Ragonese, PMO Coworking
Giuseppe La Mensa
Stefano La Barbera
Francesco Cimò, TalentPLAYERS
Eliana Messineo
FabLab Palermo APS
Giuseppe Ragusa
Giovan Battista Vitrano
Domenico Schillaci, PUSH
Maurizio Napolitano, OKFN Italy
Marco Alfano, Comitato Bene Collettivo
Francesca De Chiara, Fondazione Bruno Kessler
Leva Digitale APS
OpenPatti
Parliament Watch Italia
Jesse Marsh, Atelier Studio Associato
Ciro Spataro
Francesco Bianco, Arancia ICT
Isabel Matranga
Antonino Lo Bue, Sky UK
Francesco Passantino


Foto di © Marie-Lan Nguyen / Wikimedia Commons.

ODSWinter17


La comunità di Open Data Sicilia ha tenuto lo scorso 30 Dicembre il suo quarto raduno invernale a Patti, presso il Caffè Galante (qui una fotogallery).

Il raduno invernale di Open Data Sicilia è detto lo Schiticchio perché l’abitudine di vedersi in questo periodo dell’anno nacque dal desiderio degli appartenenti alla comunità di incontrarsi e di passare piacevolmente una giornata intorno ad una tavola imbandita (accadde per la prima volta a Resuttano, quindi a Pedara, poi a Castelbuono e stavolta a Patti). Da lì venne fuori poi l’idea, visto che ci si incontrava, di approfittare della circostanza per dedicare alcune ore della mattinata ad approfondimenti tematici, aggiornamenti e formazione prima di ritrovarsi seduti intorno ad un tavolo.

Anche il più articolato ed impegnativo raduno estivo che si svolge in più giorni, è frutto, in fondo, dello Schiticchio invernale e del desiderio di incidere significativamente sulla diffusione e l’uso degli open data nella nostra regione e nel nostro Paese (il primo si svolse a Palermo, il successivo a Messina e l’ultimo, l’estate scorsa, a Caltanissetta in forma congiunta con la comunità nazionale di Spaghetti Open Data).

Open Data Sicilia non è nuova a Patti; già nello scorso mese di Marzo aveva donato alla città l’applicazione Albo Pop Patti e presso il Caffè Galante, nel Luglio del 2015, aveva pure contribuito a realizzare il primo evento regionale sugli open data con l’apporto significativo di alcuni elementi della nostra comunità; la prima Summer School siciliana sugli open data, organizzata in quella circostanza da Lo Stretto Digitale, si tenne lì per tre giorni ed ebbe, come già detto, l’apporto significativo di alcuni dei nostri elementi tra gli organizzatori, i relatori e i formatori. E ancora prima, nell’Agosto 2013, fu proprio da una chiacchierata avvenuta a Patti tra due dei nostri che nacque l’idea di provare a dar vita ad un gruppo Facebook da cui poi prese vita la comunità di Open Data Sicilia.

I temi di quest’anno affrontati durante la mattinata hanno riguardato la disponibilità di strumenti digitali open per essere tempestivamente allertati dalla Protezione Civile in caso di incombenti pericoli, conoscere la reale disponibilità e puntualità dei trasporti pubblici urbani anche in realtà non necessariamente metropolitane, consentire ai cittadini di esercitare quel necessario e funzionale controllo dal basso sui nostri politici e sulle nostre amministrazioni per capire quanto e come, bene o male, sia stata in loro riposta la nostra fiducia o siano spese le nostre risorse.

In dettaglio, qui di seguito, gli argomenti trattati durante la mattinata

G. Pirrotta, A. Borruso – La “datificazione” degli alert della protezione civile regionale: un prototipo; slide | slide

G. La Mensa, G. Pirrotta, A. Borruso – Cosa è e come funziona SCATbot, il bot Telegram per avere informazioni in tempo reale sui bus di Caltanissetta; slide

G. Ragusa, G. Pirrotta – FOIAPop: il punto su uno strumento che sta diventando realmente popolare; slide

G. Pirrotta, D. Taibi – Un’ontologia dell’Assemblea Regionale Siciliana: il web semantico a supporto del civic hacking; slide

Open Data Sicilia: riflessioni e obiettivi per il 2018 (e oltre).


ODSWinter17

Palermo 3D Maps WRLD

Qualche giorno fa Ciro Spataro, che è sempre alla ricerca di notizie interessanti, mi consiglia di leggere un post su Medium. E’ un post del Team WRLD, Build a Dynamic Map of London.

Nel post si parla di una mappa dinamica 3D, più leggo e più la cosa mi intriga, grazie Ciro!

Voglio capirne di più!

Per prima cosa mi chiedo chi e cosa sia WRLD scoperto che:

è una piattaforma dinamica di mappatura 3D per edifici intelligenti, città, giochi, e esperienze virtuali, crea fornisce un ambiente 3D completamente testurizzato che utilizza un sistema di coordinate globali in modo reale, quindi è pronto per essere utilizzato immediatamente – non è necessario creare un ambiente 3D o importare dati aggiuntivi di GIS. Crea stili personalizzati e utilizza lo strumento Unity per selezionare i livelli di dati desiderati – strade, edifici, alberi, etichette, ecc, tutto questo per una varietà di sistemi operativi / dispositivi come iOS, Android, OSX, OculusVR e WebGL.

Proseguendo la ricerca trovo questo post Building Gorgeous 3D Maps with eegeo.js and Leaflet.

Leaflet è la principale libreria JavaScript open-source per mappe interattive mobile, e che utilizzo quasi sempre per realizzare le nostre mappe, ma cos’è eegeo.js?

eegeo.js  è libreria JavaScript open-source, per creare l’interfaccia di 3D web mapping;

Quindi con eegeo.js, Leaflet e OpenstrettMap possiamo realizzare mappe 3D open-source, Ottimo! non mi resta che provare.
Seguendo la guida del post Building Gorgeous 3D Maps with eegeo.js and Leaflet, costruire una mappa base è molto semplice.

Di cosa abbiamo bisogno?

Leaflet (documentazione, esempi)

eeGeo.js (documentazione, esempi)

free eeGeo API key, per ottenere le api key basta registrarsi gratuitamente al sito WRLD

Server o spazio web online dove caricare il file HTML, CSS e JavaScript (in locale la mappa non funziona).

A seguire il codice html per realizzare una semplice mappa 3d, basta sostituire le coordinate su cui centrare la mappa ed inserire  le proprie api key

Per migliorare la mappa si  possono inserire molte funzioni, descritte qui.

Per migliorare la mappa si  possono inserire molte funzioni che troviamo spiegate qui.
Ad esempio possiamo aggiungere una funzione per Spostare la fotocamera  (Moving the camera) o per  Regolazione della direzione e dell’inclinazione (Adjusting heading and tilt) possiamo aggiungere subito dopo “ zoom: 16   }); ” del codice precedente
questa nuova funzione;

Tutto molto semplice!

Volendo si può anche far cambiare il tempo meteorologico o cambiare l’ora del giorno.

Visto che parte del codice è basato sulla libreria  Leaflet, ho inserito qualche plugin di leaflet che normalmente uso per realizzare le mappe.

In questo caso ho inserito solamente:

Sidebar-v2, per creare una sidebar a scomparsa;

Leaflet-hash, per generare URL che contengono livello di zoom e posizione corrente;

Leaflet.MousePosition, è un semplice controllo della posizione del mouse. Esso mostra le coordinate geografiche del puntatore del mouse, mentre viene spostato sulla mappa;

Leaflet.zoomhome, che aggiunge un pulsante Home al controllo zoom per ripristinare la visualizzazione;

Ecco la nostra mappa con tema standard!

Palermo 3D Maps WRLDMappa fullscreen

Ecco i comandi per facilitare la navigazione della mappa

Usage Mouse

Left button + Move:    Pan

Middle button (Scroll whell)+ click: Orbit

Scroll whell: Zoom

Right button + Move: Rotate

Registrandosi al sito si ha possibilità di accedere al pannello Developer, da dove è possibile accedere a SDK e API per lo sviluppo di mappe 3D in una vasta gamma di piattaforme popolari.

Si può usare lo strumento Map Designer per creare mappe personalizzate, e scegliere un tema di base diverso da quello proposto di default.

strumento Map Designer Mappa con tema minimal Tema Minimal Mappa fullcrenn con tema minimal

Tema CardboardTema CardboardMappa fullcrenn con tema cardboard

Si può aggiungere un ulteriore menu di ricerca personalizzatoLe mappe realizzate con Map Designer  possono essere facilmente inserite nei propri sito/blog grazie alla possibilità di poter incorporare il codice.

Per personalizzare maggiormente le mappe non basta il semplice account free ma si deve attivare un account  a pagamento.

È una piattaforma davvero molto interessante e da approfondire, mi riprometto di fare ulteriori test, magari inserendo in mappa gli opendata sui dati del trasporto pubblico locale di Palermo.

Grazie Ciro per avermi consigliato la lettura del post.

Docker, CKAN e DCAT-AP_IT insieme appassionatamente

Il Team per l’Italia Digitale ha rilasciato su Github un container Docker per utilizzare CKAN con relativi plugin per DCAT-AP_IT https://github.com/italia/dati-ckan-docker.
Scrivo questo post per cercare di chiarire alcuni concetti di base e spiegare chiaramente il concetto di virtualizzazione, cosa sono i container docker, cosa è CKAN, cosa sono i metadati,i profili DCAT-AP e DCAT-AP_IT e l’harvesting.

LA VIRTUALIZZAZIONE

Negli ultimi 15 anni una tecnica molto utilizzata in informatica è stata quella della virtualizzazione, tecnica che permette di utilizzare su una macchina virtuale (VM) un sistema operativo diverso da quello installato sul computer.

Con il termine di virtualizzazione si intende la possibilità di astrarre componenti hardware di un elaboratore cosi da renderli disponibili al software in forma di risorsa virtuale.

E’ cosi possibile installare sistemi operativi su hardware virtuale; l’insieme delle componenti hardware virtuali (Hard Disk, Memoria, processore, scheda di rete) prende il nome di Macchina Virtuale o VM.

La virtualizzazione avviene attraverso dei software denominati Hypervisor; tra i piu famosi ed i piu semplici ci sono vmware (https://vmware.com) e virtualbox ( https://virtualbox.org ).

Per farla breve se sul vostro computer windows volete provare, un software di grafica come Blender che funziona solo su linux dovrete:

1) Installare sul vostro computer virtualbox

2) Creare una macchina virtuale assegnandogli le risorse (ram, hd, etc)

3) installare su questa macchina virtuale una distribuzione linux

4) installare su linux virtualizzato il software Blender

Finito! da questo momento in poi quando vorrete utilizzare blender potrete accendere una macchina virtuale con linux dentro il vostro computer windows.

DOCKER E I SUOI CONTAINER

Docker è un passo avanti rispetto al concetto di virtualizzazione, perchè permette di non virtualizzare l’intero sistema operativo ma di impacchettare solamente le librerie e il software che ci servono basandosi su containers.

Quindi mentre nella virtualizzazione classica sono virtualizzati programmi e kernel del sistema operativo (il kernel è il nucleo di un sistema operativo che fornisce ai processi in esecuzione accesso all’hardware) nella virtualizzazione per container sono virtualizzati solo software e librerie

Un container NON E’ UNA MACCHINA VIRTUALE ma un’applicazione isolata con le sue dipendenze eseguita in un namespace separato; nel kernel linux, un namespace è uno spazio isolato e virtualizzato delle risorse di sistema (network namespace, file system, users) per una collezione di processi. Essendo isolato i processi agiscono all’interno di un container e non agiscono all’esterno sul Sistema Operativo principale.

Il Docker engine permette ai container di avere tutto il substrato che serve per funzionare (lo stesso kernel); diversi sono i vantaggi rispetto alle vm classiche , i container sono più “leggeri” delle macchine virtuali, possono essere avviati in pochi secondi, richiedono poche risorse e sono isolati.

Di rilevante importanza è il registry di docker, una piattaforma in cloud dove è possibile caricare, scaricare e condividere le immagini dei vari container. Quella ufficiale è https://hub.docker.com/

Per farla breve: se volete utilizzare un container su mac basterà:

1. Installare sul vostro mac Docker (https://www.docker.com) ed avviarlo

2. Installare kitematic ( https://kitematic.com ) che fornisce un interfaccia grafica per navigare tra le centinaia di migliaia di immagini dell registry

3. Avviare kitematic e scegliere l’immagine dalla quale si vuole creare il container cliccando su “create”

Alla fine del download il container si avvierà automaticamente e saranno fornite le istruzioni per collegarsi al container per utilizzare l’applicazione.

A questo punto è doveroso un chiarimento tecnico. Docker sfrutta vecchie caratteristiche del kernel linux che permettono di far girare dei software in maniera separata e protetta, cosi se una applicazione si schianta non provoca problemi agli altri o se vogliamo possiamo assegnare alla stessa risorse limitate.

Nella versione 2.24.19 del kernel Linux vennero introdotti i namespaces che permettono di “etichettare” i processi cosi da differenziarli dagli altri, successivamente nella versione 2.6.24 vennero introdottti i Cgroups che permettono la gestione delle risorse legata ai processi cosi che un gruppo di processi non prenda maggiori risorse rispetto a quelle a lui assegnate, infine, nel 2013 fu introdotta Libcontainer scritta dal team di Docker che astrando namespaces e Cgroups permette di gestire la virtualizzazione a container.

LA PIATTAFORMA CKAN

CKAN (Comprehensive Knowledge Archive Network) è la piattaforma leader mondiale per i portali di Open Dataed è uno strumento che ne permette la gestione, la pubblicazione e la ricerca.

È sviluppato in Python, ha una licenza di tipo Open Source ed è promosso dalla Open Knowledge Foundation, una fondazione che promuove la diffusione delle idee, offrendo supporto e strumenti per la condivisione della conoscenza.

CKAN ( https://ckan.org )è usato da governi, organizzazioni e gruppi di utenti in tutto il mondo per gestire una vasta serie di portali di dati di enti ufficiali e di comunità, tra cui portali per governi locali, nazionali e internazionali.

La grande forza di CKAN sta nella sua semplicità; infatti il suo utilizzo è semplice sia per gli utilizzatori che per gli operatoiri che devono inserire i dataset grazie a workflow semplificato che per l’utente finale ch li deve ricercare. Molte sono le caratteristiche che rendono unico CKAN tra le principali, a mio parere, ci sono:

  • gestire, pubblicare, ricercare dataset e documenti in formato aperto;
  • visualizzare dati sia in tabelle che grafici e mappe;
  • storico delle operazioni svolte sui dataset per operatore;
  • possibilità di workflow minimo sui dataset;
  • API per gestire e interrogare dei dataset;
  • integrazione con portali in wordpress.
  • Utilizzo di Plugin di terze parti per aumentarne le potenzialità

Per farla breve: CKAN è un software Open Source scritto in Python che permette facilmente di mettere su un portale web per gestire e catalogare dataset gestendo ruoli profili etc. E’ possibile potenziarlo usando plugin.

METADATAZIONE DCAT-AP E DCAT-AP_IT

Cosa sono i metadati? Possiamo definirli come dati di 2°livello che servono descrivere e classificare altri dati o contenuti digitali.

L’obiettivo de metadati è descrivere l’informazione primaria, per organizzarla e semplificarla; in particolar modo i metadati sono importanti quando siamo dinanzi a repository di contenuti. Per semplificare possiamo associare l’’idea dei metadati all’utilizzo dei tag che ci permettono di “taggare” elementi, per identificarli.

DCAT-AP (Data Catalog Vocabulary — Application Profile ) è una specifica per i portali di dati europei basata sul vocabolario del catalogo dei dati del W3C (DCAT https://www.w3.org/TR/vocab-dcat/ ) per la descrizione dei dataset del settore della Pubblica Amministrzione in Europa tramite l’utilizzo di metadati. La specifica è stata rilasciata nel novembre 2015 e definita nell’ambito del programma ISA (Interoperability Solutions for European Public Administrations) della Commissione Europea

L’AGID (Agenzia per l’Italia digitale) ha prodotto il profilo italiano del DCAT-AP denominato DCAT-AP_IT il 26 aprile dopo consultazione pubblica.(http://www.dati.gov.it/sites/default/files/DCAT-AP_IT_v10.pdf).

Il 5 Aprile del 2017 è stata rilasciata la Release 1.0 delle “linee guida per i cataloghi dati” che presentano le linee guida per l’alimentazione e gestione di cataloghi dati secondo il profilo nazionale di metadatazione DCAT-AP_IT, così come raccomandato nelle linee guida per la valorizzazione del patrimonio informativo pubblico (anno 2016). Le linee guida forniscono indicazioni forniscono una descrizione degli elementi principali (e proprietà) del profilo di metadazione con le relative proprietà.

Particolarmente interessante è la tabella a pagina 6 e 7 che riporta l’elenco delle classi e proprietà definite nel profilo italiano con il relativo livello di obbligatorietà; in particolare, “M” indica che la classe è obbligatoria, “R” indica che è raccomandata e “O” indica che è opzionale.

Su CKAN si possono installare plugin per gestire DCAT-AP DCAT-AP_IT.

Per farla breve: se una Pubblica Amministrazione vuole rilasciare un dataset sul proprio portale deve seguire delle regole di metadazione secondo il profilo DCAT-AP_IT che a sua volta è una estenzione del DCAT-AP europeo per utilizzare i metadati corretti.

HARVESTING

L’Harvesting è una tecnica che permette di raccogliere le informazioni relative agli archivi pubblicati su singoli nodi tramite metadati e renderli disponibili all’utenza su portali “centrali”. Quindi se un piccolo comune produce un dataset e lo pubblica sul suo portale Open Data utilizzando i metadati del profilo DCAT-AP_IT automaticamente questo dataset sarà disponibilie su altri portali Nazionali ed Europei.
CKAN permette di effettuare l’harvesting su altri CKAN e a sua volta puo mettere a disposizione i propri dataset per l’harvesting di altri.

Per farla breve tramite la tecnica dell’ harvesting un dataset metadatato correttamente, presente su un portale CKAN, può essere automaticamente indicizzato e ricercabile su un altro portale o che all’interno di un nostro portale CKAN siano ricercabili dataset non inseriti da noi ma presenti su altri portali CKAN ed automaticamente diventati patrimonio del nostro portale.

CONCLUSIONI

Ora che il team digitale ha rilasciato un container ufficiale potrete facilmente:

  1. Installare docker (https://www.docker.com)
  2. Scaricare e installare il container del team digitale con CKAN e plugin per DCAT-AP_IT https://github.com/italia/dati-ckan-docker (ci sono tutte le informazioni per installarlo a riga di comando)
  3. Caricare un dataset e metadatarlo secondo le regole DCAT-AP_IT
  4. Fare Harvesting su altri portali o permetterlo ad altri di farlo sui vostri dataset.

RINGRAZIAMENTI

Per questo post devo ringraziare diverse perosone con il quale mi sono confrontato negli ultimi mesi: Marcello Vetro con il quale abbiamo studiato Docker ma che ormai movimenta piu container lui che l’ente portuale di Palermo; Fabio Catania che è impazzito per installare su un CKAN dockerizzato il DCAT-AP_IT prima che venisse rilasciato dal team digitale; Andrea Borruso, Davide Taibi e Ciro Spataro con il quale ho condiviso dubbi e incertezze affidandomi alla loro esperienza.

FoiaPop.it…e adesso…chiediamo(li) tutti

Succede tutto in 6 mesi, da inizio Gennaio 2017.
Ci eravamo appena lasciati, rinforzati nell’entusiasmo dal raduno estivo di Castelbuono.

Decidiamo (Giuseppe Ragusa e Giovanni Pirrotta) di darci presto un appuntamento “virtuale” perché avevamo l’impressione che su alcuni dati si potesse lavorare insieme per produrre qualcosa di utile, ma entrambi non avevamo in alcun modo un’idea precisa.

Avevamo solo, con modalità e con obiettivi diversi, approfondito gli stessi temi e cioè: l’Indice delle Pubbliche Amministrazioni (IPA), i dati sui contratti pubblici dell’Autorità Nazionale Anticorruzione (ANAC), il Sistema Informativo delle operazioni degli enti pubblici (SIOPE).

Partiamo:

  • Uno scambio di idee (confuse);
  • Non demordiamo perché qualcosa ci dice che siamo sulla strada giusta;
  • Dobbiamo dimenticarci di “noi” piccoli e diventare per un po’ un grande “NOI”. Dobbiamo cioè ripartire dai bisogni del cittadino. Sta lì la risposta che cerchiamo.

Abbiamo deciso di “ascoltare” il più possibile. Giorni di “ascolto” ci fanno comprendere che:

  • Il diritto di accesso civico, sia semplice che generalizzato (FOIA), è per molti cittadini uno sconosciuto;
  • Chi ne conosce l’esistenza ha difficoltà a porre domande fondate e non opponibili dalla PA. Ci sarebbe bisogno di “dati da cui partire”;
  • Gli “eventi/manifestazioni/azioni amministrative” più importanti e che destano maggiore interesse all’interno di una PA sono quelle su cui ruotano i flussi monetari e cioè i pagamenti, gli incassi, gli appalti, etc. E, guarda caso, ci sono già disponibili dei dati aperti.

Ora le idee sono molto più chiare. Ma non è che siamo davvero sulla strada giusta?

Si inizia a mettere nero su bianco e mettiamo gli “open data” a sistema. Gli open data, uno strumento chiave di volta per aprire uno scrigno impolverato e incompreso sotto gli occhi di tutti. Un approccio nuovo, diverso, creativo, in grado di far emergere un potenziale finora inesplorato, di conciliare semplicità e facilità di utilizzo, per essere alla portata di tutti e fruibile senza libretto di istruzioni.

Nasce FoiaPop.it, il portale degli accessi civici data-driven (cioè guidato dall’uso dei dati). Una guida passo-passo alla compilazione online degli accessi civici semplici e generalizzati a partire dai flussi monetari delle Pubbliche Amministrazioni, dai contratti pubblici e dagli obblighi di pubblicazione imposti dal D. Lgs 33/2013.

Gli open data che ci “guidano” sono attualmente:

Con FoiaPop non dovrai fare altro che selezionare una pubblica amministrazione, visualizzarne i pagamenti, gli incassi e/o gli appalti, esplorare il patrimonio informativo fornito dagli open data, generare il documento/richiesta di accesso civico per chiedere un dettaglio, un approfondimento, una spiegazione, o dei dati, quindi firmare e inviare la richiesta alla pubblica amministrazione, anche via email o via Posta Elettronica Certificata.

Il nostro augurio è che FoiaPop.it possa realmente contribuire a diffondere in modo capillare la conoscenza e l’esercizio del diritto di accesso civico ai dati, ai documenti e alle informazioni delle Pubbliche Amministrazioni.

Su coraggio. Si può fare! 
Chiediamo(li) tutti!