Lettera aperta alla Regione Siciliana, per la pubblicazione in formato machine readable dei dati sulla COVID19

La Regione Siciliana informa quotidianamente la cittadinanza sui numeri relativi alla COVID19.
Lo fa in prosa e con immagini, con informazioni interessanti non presenti nella banca dati nazionale del Dipartimento della Protezione Civile.

Sono informazioni di grande interesse che a nostro avviso vanno pubblicate anche come dati in modalità machine readable, in un formato che li renda interpretabili da un computer e da software di analisi e visualizzazione di dati.

Per questa ragione abbiamo fatto questa richiesta alla Pubblica Amministrazione Regionale.

La richiesta

In diverse circostanze, attraverso il contributo singolo o collettivo dei suoi membri, la comunità OpenDataSicilia ha interloquito positivamente con diversi rami dell’amministrazione regionale fornendo il proprio supporto.

In questa circostanza invitiamo l’Amministrazione Regionale a rendere disponibili anche in forma machine readable, i dati provinciali sul COVID19, che ogni giorno la Regione Siciliana pubblica in prosa (sui canali social ufficiali e su siciliacoronavirus.it).
Si veda come esempio la comunicazione su facebook del 20 marzo 2020 (o l’analogo su costruiresalute) in cui si legge: 

Risultano ricoverati 210 pazienti (27 a Palermo, 105 a Catania, 17 a Messina, 1 ad Agrigento, 11 a Caltanissetta, 18 a Enna, 6 a Ragusa, 17 a Siracusa e 8 a Trapani) di cui 42 in terapia intensiva, mentre 169 sono in isolamento domiciliare, venticinque guariti (11 a Palermo, 5 a Catania, 4 a Messina, 2 ad Agrigento ed Enna, 1 a Ragusa) e quattro deceduti.

Questi dati con taglio provinciale sono a integrazione di quanto pubblicato in modo centralizzato dal Dipartimento della Protezione Civile (DPC), che al momento pubblica per provincia soltanto il totale dei casi (vedi qui). Ancora più interessante sarebbe un taglio comunale.

Potreste fare riferimento allo schema che il DPC usa per i dati regionali, integrando per provincia e/o per comune le seguenti informazioni:

  • Codice ISTAT provinciale
  • Codice ISTAT comunale
  • Ricoverati con sintomi            
  • Ricoverati in terapia intensiva   
  • Totale ospedalizzati              
  • Persone in isolamento domiciliare 
  • Totale attualmente positivi (ospedalizzati + isolamento domiciliare)
  • Nuovi attualmente positivi (Totale attualmente positivi attuali – Totale attualmente positivi del giorno prima)
  • Persone dimesse guarite           
  • Persone decedute
  • Totale casi                          
  • Totale tamponi      

Il formato dati (il CSV e/o il JSON) e le modalità di pubblicazione scelte dal DPC sono sicuramente da prendere come riferimento a cui allinearsi.

Inoltre riteniamo che sarebbe di grande interesse conoscere avere un’estrazione di informazioni  (iniziando anche in modalità one shot) su:

  • totale a oggi (23 marzo 2020) di persone entrate in Sicilia dal 29 gennaio;
  • numero di persone che ha compilato il censimento di autodenuncia;
  • il numero generico dei deceduti in Sicilia suddivisi per cause, patologia, età, sesso, sempre dal 29 gennaio (la data del 29 gennaio è stata individuata perché si è registrato il primo caso di contagio Covid-19 in Italia).

Siamo disponibili – se ritenuto utile – a dare un contributo strumentale e di processo per realizzare quanto richiesto.

Uso responsabile ed etico delle mappe

Lyzi Diamond – che attualmente è docs lead presso heroku, che in precedenza ha lavorato presso glitch, mapbox, maptimehq, codeforamerica e oregongeology – circa 10 giorni fa ha redatto un thread twitter molto bello sull’uso responsabile ed etico delle mappe, per evitare di raccontare una storia sbagliata.

Quando l’ha scritto era tra le pochissime che sottolineasse l’inadeguatezza di molte scelte di rappresentazione cartografica di tante mappe sul COVID19. Lei lo ha fatto a partire proprio da quella che ad oggi è stata più diffusa.
Da quel giorno altre e altri si sono uniti.

Ci è sembrato e ci sembra ancora un contributo prezioso sul tema e abbiamo voluto crearne una traduzione in italiano. Un grazie a Paola Masuzzo per il tempo che ha dedicato alla cosa.

Il thread

Ciao a tutti, facciamo un altro Twitter-torial sulle mappe! L’argomento di oggi è la visualizzazione di dati aggregati. Si tratta per lo più di una critica a questa mappa, che probabilmente avrete visto circolare un bel po’.
È una mappa che mostra dati importanti! Ma ho qualche problema con le tecniche utilizzate.

tweet originale


Conosciamo tutti le mappe che visualizzano dati aggregati. La più nota tra tutte è probabilmente la mappa coropletica: mostra aree geografiche riempite con un colore o un motivo, per rappresentare informazioni relative a quelle aree.
Un esempio è questa elettorale della BBC:

mappa coropletica

tweet originale


I colori sulla mappa rappresentano delle informazioni: ad esempio, quale partito ha vinto le elezioni in un distretto e con quale percentuale. Le mappe coropletiche hanno dei limiti (spesso legati a ipotesi fatte su aree geografiche estese), ma sono comunque utili per mostrare dati aggregati per aree.

tweet originale


Esistono altri due modi comuni di visualizzare dati aggregati: le “mappe a densità di punti” e quelle con simboli di dimensioni variabili rispetto a una parametro. Le “mappe a densità di punti” usano un punto per rappresentare un determinato numero di elementi che si vogliono mappare, e raggruppano i punti in un’area geografica.
Ecco un esempio di Bill Rankin (2009):

mappa a densità di punti

tweet originale

Ciascun punto rappresenta 25 persone nella città di Chicago. Ogni punto però non fornisce la locazione geografica precisa di quelle 25 persone, ma una posizione random dentro l’area geografica di interesse (assieme agli altri punti che appartengono alla stessa area geografica). Interessante, no? È di certo un bel modo per raccontare una storia.

tweet originale


Esistono anche le mappe a “simboli proporzionali”. In queste viene usato un simbolo (comunemente un cerchio) per rappresentare un’area geografica, e la dimensione e/o il colore del simbolo hanno una qualche relazione con una proprietà dei dati che si vogliono rappresentare. Un esempio: la mappa della diffusione del coronavirus sviluppata dall’istituto Johns Hopkins.

mappa a simbolo graduato

tweet originale

Nel caso specifico di questa mappa, ciascun punto rappresenta uno stato/provincia o Paese (dipende dalla regione geografica, negli Stati Uniti d’America sono gli stati), e il raggio del cerchio di ogni punto cresce al crescere dei casi di coronavirus confermati in quell’area geografica. (Da notare che la scala non è lineare, ma logaritmica!)

mappa a simbolo graduato - legenda

tweet originale


Cosa ci vuole dire questa mappa? Lo scopo sembra voler essere quello di mostrare (e quindi informare l’utente su) il numero totale dei casi di COVID-19 nel mondo. La domanda è: ci riesce? La risposta? Sì e no. Ecco alcune mie critiche su questa mappa.

tweet originale


Conoscere il numero totale di casi in una determinata area geografica è utile. Conoscere il numero totale di casi entro una specifica area politica… forse un po’ meno. Se vivo al confine tra Washington e Oregon (supponiamo a Portland), quel confine di stato per me non ha molto significato…

tweet originale


In termini di contenimento e misure adottate da uno specifico stato, sembra essere utile sapere quanti casi sono presenti al suo interno. Da un punto di vista epidemiologico, però, ai virus non importa granché di confini di stato. Si parla infatti di un concetto chiamato il “Problema delle unità areali modificabili”.

tweet originale


Questo problema riguarda il modo in cui la modifica dei limiti delle aree di studio può cambiare completamente i risultati di un’analisi spaziale. Questo conduce ad un errore ecologico: l’idea che questi confini abbiano importanza nell’interpretazione dei dati (per saperne di più, guardate questo Twitter-torial).

tweet originale


La mia modesta opinione, quindi, è che mostrare il numero di casi per area geografica è utile, ma solo in termini di risposta “ufficiale” di quell’area geografica/amministrativa (risposta ai dati che si stanno interpretando).

tweet originale


2 Questa è una mappa “slippy”, il che significa che posso scorrerla, ingrandirla e rimpicciolirla. Una cosa utile! Posso quindi fare zoom sulla mia città per verificare se ci siano casi riportati. Vivo a New York, dove so che ci sono casi. Ma cosa succede quando aumento lo zoom?

mappa - zoom in

tweet originale


Non trovo niente! E sapete perché? Perché il simbolo graduato che rappresenta il numero di casi nello stato (stato=area geografica) è situato nel suo centroide geografico, triangolato approssimativamente tra Binghamton ed Oneonta.

mappa - centroide

tweet originale


Il centroide di un’area è la posizione media di tutti i suoi punti — non è proprio il “centro” dell’area, ma ci si avvicina. Se stessimo parlando di una mappa analogica (di carta), tutto ciò avrebbe molto più senso. È molto più semplice leggere la mappa quando facciamo zoom out! Ma..

tweet originale


… se io non sapessi come funzionano le mappe con simboli proporzionali, se non sapessi come vengono costruite, e quale messaggio cercano di trasmettere… ipotizzerei che NYC non abbia nessun caso di COVID-19 e che tutti i casi di New York sono concentrati intorno alla città di Downsville, New York. È lì che si trova il simbolo!

tweet originale


Inoltre, i simboli graduati scompaiono quando si fa uno zoom in avanti oltre il livello 7. Questo vuol dire che, anche se credessi che tutti i casi di New York sono localizzati in quell’area, non saprei nemmeno di preciso dove localizzarla, perché i simboli scompaiono sinché non si fa zoom indietro.

tweet originale


Dunque, come possiamo rendere questa mappa più chiara? Quali accorgimenti può prendere un cartografo per raccontare questa storia in modo più chiaro?

tweet originale


Un’opzione è quella di impostare dei limiti allo zoom. Semplicemente, non lasciare che l’utente possa fare zoom in avanti oltre un certo livello. Questa impostazione farebbe capire all’utente che non ci sono dati disponibili oltre una certa risoluzione/scala, e allo stesso tempo chiarisce che i simboli rappresentano un dato aggregato.

tweet originale


Onestamente, però, non riesco a capire del tutto che cosa sta cercando di mostrare o di raccontare questa mappa. Mostrare i casi confermati aggregati per stato o nazione non mi sembra una cosa molto utile. Piuttosto, che andamento hanno i casi nel tempo? Come potremmo visualizzare questo andamento? E le statistiche normalizzate per popolazione?

tweet originale


Sono consapevole che questi dati sono recenti e non sappiamo di preciso quanto siano affidabili, e so che è importante ottenere quante più informazioni possibile, che ci aiutino a capire che cosa sta succedendo. Il problema è che tutte queste mappe sono rischiose perché raccontano una storia sbagliata.

tweet originale


Un consiglio generale: quando si aggregano dei dati, bisogna per forza di cose rimuovere dettagli e sfumature. È nostra responsabilità, come cartografi, assicurarci di farlo in modo responsabile ed etico, in particolare condividendo la metodologia che adoperiamo e spiegando i risultati che otteniamo.

tweet originale


Inoltre, L’ALFABETIZZAZIONE SULLE MAPPE È IMPORTANTE E DOBBIAMO CONTINUARE A FARLA E TRASMETTERLA, ANCHE NELL’ERA DI GOOGLE MAPS. Le mappe sono strumenti storici di oppressione e spetta a noi essere critici sulla visualizzazione dei dati di tutti i tipi, piuttosto che accettarla come un dogma.

tweet originale

Raduno Open Data Sicilia 2020 – edizione “do not give up”

Il 6 e il 7 marzo ci sarebbe dovuto essere a Catania il nostro raduno del 2020. L’emergenza COVID-19 ci ha costretto a sospendere l’evento.
Peccato, c’era un programma bellissimo.

Allora è stata fatta la proposta di organizzare un evento online, per non disperdere del tutto quanto era stato preparato. Alcuni di noi hanno accettato la proposta e ne è uscito un bell’incontro, che abbiamo video registrato e di cui trovate i dettagli a seguire.

Ne è venuta fuori un’edizione breve che abbiamo denominato (citando Paola) “do not give up“.

Un grazie speciale a Paola Masuzzo, Guenter Richter, Giovanni Pirrotta, Ciro Spataro, Maurizio Napolitano, Andrea Borruso, Andrea Nelson Mauro, Davide Taibi, Nino Galante, Mario Grimaldi, Francesca De Chiara, Giulio Di Chiara per esserci stati.

Indice interventi:

Maurizio Napolitano

Dieci anni di OpenData

Di più avrei potuto fare, specialmente nel campo statistico, se non ci fosse nel nostro paese, e nei privati e negli enti morali, una tal quale ritrosia a confidare al dominio del pubblico dati, fatti e notizie. (C. Battisti 1898

Paola Masuzzo

FAIR and Open Data for the Life Sciences: we can and must do better!

Guenter Richter

Una visualizzazione “colorata”, dei cittadini stranieri di Palermo

Giovanni Pirrotta

Protezione Civile Pop

Andrea BorrusoCiro Spataro e Giovanni Pirrotta (e non collegati Emilio Di GristinaSalvatore Fiandaca e Giovan Battista Vitrano)

I dati aperti sulle fontanelle d’acqua potabile a Palermo: un dataset dal valore sorprendente

Raduno di OpenDataSicilia: ecco il programma – #ODS2020 (ANNULLATO, per COVID-19)

Grazie al gruppo di lavoro dedicato  – costituito Cristiano Longo, Isabel Matranga, Giovanni Pirrotta e Davide Taibi – è stata redatta la prima versione del programma del raduno di OpenDataSicilia che si terrà il 6 e 7 marzo a Catania.

Trovate tutte le informazioni sul sito dedicatohttps://ods2020.opendatasicilia.it/#schedules

Il 6 e il 7 marzo 2020, il raduno di OpenDataSicilia a Catania: inviaci la tua proposta!!

La comunità di #OpenDataSicilia si troverà a Catania dal 6 al 7 Marzo 2020. Saranno due giornate di confronto, workshop formativi ad accesso gratuito e gruppi di sviluppo progettuale per lavorare sui dati aperti.

Lavori, fai ricerca o esperimenti sugli Open Data?
Mandaci la tua idea – entro il 31 gennaio – e vieni a raccontarla http://bit.ly/ods2020proposte

Le altre informazioni sul sito dell’evento: https://ods2020.opendatasicilia.it/

Italia 2019 | Earthquakes today | Mappe e grafici dinamici

Mappe e grafici dinamici: #uMap 2019FlourishTableau
Fonte dati:
IGNV – Centro Nazionale TerremotiLista Terremoti

La raccolta dei dati

Dopo il terremoto del 26 Dicembre 2018 a Catania mi è venuto in mente di realizzare una Mappa per monitorare gli eventi sismici giornalieri/mensili [earthquakes today] in Italia durante il 2019, in rete ho trovato molte mappe sia statiche che dinamiche, tutte ben fatte, come ad esempio la mappa dell’INGV sui terremoti del 2018ma poco user friendly dal mio punto di vista. Mi sono chiesto…perchè non provare a realizzare una mappa dinamica di facile utilizzo, (riutilizzando i dati resi disponibili da IGNV – Centro Nazionale Terremoti) dove è  semplice estrarre informazioni sugli eventi ad un determita ora/giorno/mese, luogo o magnitudo anche per i non addetti ai lavori…?

Con l’aiuto di Andrea Borruso e studiando la documentazione dell’INGV CNT FDSNWS event Web Service Documentation come descritto in questo breve post e usando semplicemnte Google Sheets abbiamo ottenuto i datset mensili degli eventi del 2019.

Anche se il file csv ottenuto dalla query:

http://webservices.ingv.it/fdsnws/event/1/query?starttime=2019-01-01T00%3A00%3A00&endtime=2019-01-31T23%3A59%3A59&minmag=-1&maxmag=10&mindepth=-10&maxdepth=1000&minlat=35&maxlat=49&minlon=5&maxlon=20&minversion=100&orderby=time-asc&format=text&limit=10000

(esempio di query per gennaio 2019) è un csv anomalo, in quanto il separatore non è la classica virgola [,] ma il pipe [|] con un barbatrucco siamo stati in grado di far caricare velocemente ed automaticamente i dati a Google Sheets.

IMPORTDATA(“url”) senza barbatrucco

IMPORTDATA(“url”) con barbatrucco, per maggiori dettagli vi invito a leggere questo post su tansignari.

Infine utilizzando QGIS e  i confini delle unità amministrative a fini statistici al 1 gennaio 2019 dell’ISTAT sono stati aggiunti le regioni e le province al dataset dell’INGV.

Le mappe dinamiche

Ricavati i dataset, quale applicazione/i usare per rappresentare i dati in modo semplice, veloce e dimanico i dati?

Ci sono molte applicazioni in grado di realizzare mappe e viz dimanici funzionali e gradevoli, in questo caso abbiamo scelto flourish.studio per ottenere mappe e grafici a scorrimento tempoarele e public.tableau.com per realizzare viz interrogabili.


Flourish

Con Flourish sono state realizzate singolarmete le mappe e grafici a scorrimento temporale e poi assemblate in unica presentazione.

La mappa della prima slide mostra gli eventi in sequenza temporale durante i mesi dell’anno, per ottere le informazioni sull’evento basta bloccare l’animazione e cliccare sull’evento o sulla legenda in alto a sinistra.

Visualizza la story realizzata con flourish.studio


Tableau

Usando lo stesso dataset con Tableau abbiamo ottenuto una rapprensetazione diversa, non più basata sullo scorrimento temporale, (meno effetto wow) ma  più semplice da interrogare, usando i potenti filtri  di Tableau  possiamo estrarre velocemente tutte le info su uno o più eventi sismici.

Apri il Viz Italia Earthquake | 2019 realizzato con Tableau


Conclusioni

Sicuramente le mappe ed i viz da me realizzati non sono un’analisi sugli eventi sismici avventuti in Italia nel 2019, ma sono un semplice esercizio per raccontare i dati in modo semplice anche per i non addetti ai lavori…e non è detto che sia corretto 🙂


Ringrazziamenti


Licenza: I dati e i risultati pubblicati nelle mappe sono distribuiti dall’Istituto Nazionale di Geofisica e Vulcanologia sotto licenza Creative Commons Attribution 4.0 International License. Il Gruppo di Lavoro ISIDe presso Centro Nazionale Terremoti ha beneficiato del contributo finanziario della Presidenza del Consiglio dei Ministri, Dipartimento della Protezione Civile.

Spiagge accessibili in Sicilia – 2019

Mappa: #uMap #PalermoHub

Qualche settimana fa il buon Ciro, da sempre attento al tema dell’accessibilità, legge un articolo su balarm.it dove vengono elencate le spiagge e lidi accessibili a prova di carrozzina, e propone in un gruppo telegram di mappare le spiagge 🙂

E’ una proposta che non si può rifiutare… cosi ODS si mette in moto e qualche giorno dopo la mappa era fatta, prima di pubblicarla Andrea suggerisce di contattare l’Associazione Sicilia Turismo per Tutti per verificare i dati.

Contatto la Prof.ssa Bernadette Lo Bianco, dell’Associazione Sicilia Turismo per Tutti, le presento il lavoro fatto e il desiderio di collaborare con loro per realizzare un servizio utile alla collettività, noto con piacere che è interessata e piacevolmente sorpresa della nostra mappa. Mi informa che i dati caricati erano incompleti e che l’Associazione stava lavorando per aggiornare i dati al 2019, visto l’enorme lavoro che era in corso e il loro impegno, rimango a disposizione per aggiornare la mappa con i nuovi dati, che sono arrivati puntualmente dopo qualche settimana.

Cosa c’è nella mappa

Nella mappa sono geolocalizzate tutte strutture balneari che tra percorsi dedicati e servizi necessari per le persone con disabilità motoria (anche temporanea) costituiscono in Sicilia una costellazione di spiagge accessibili in cui il mare è accessibile: da Palermo ad Agrigento, da Trapani a Catania, Siracusa e Pantelleria, il mare di Sicilia è un’esperienza godibile da tutti. (cit)

Per ogni spiaggia o lido vengono riportate le informazioni principali, Comune, Provincia, indirizzo e contatti, dove sono stati indicati. Nel popup informativo di tutti geo markers sono presenti i link rapidi  per ottenere le indicazioni stradali/percorso con Google Masp o OpenStreetMap, comodi per essere utilizzati anche in mobile.Gent.ma Prof.ssa Bernadette Lo Bianco grazie per la fiducia, ODS è fiera ed orgogliosa di aver dato un piccolo contribuito al progetto Sicilia e Siracusa, Mare per tutti 2019  con la mappa,  ci auguriamo che possa essere utile a molte persone.

Palermo, popolazione residente per cittadinanza, UPL , Quartiere e Circoscrizione – 2018

Grazie al Dr Girolamo D’Anneo, Responsabile Studi e Ricerche Statistiche e Ciro Spataro  dell’Area Servizi alla città Servizio Innovazione  U.O. Transizione al Digitale, entrambi funzionari del Comune di Palermo, sono stati pubblicati i dataset relativi alla popolazione residente, italiana e straniera.

I nuovi dataset mi hanno permesso di replicare e migliorare il lavoro fatto nel post Milano e Palermo: le mappe della distribuzione della popolazione straniera residente nel 2018, dove  il dataset su Palermo non era esattamente ideale, in quell’esercizio i dati sono stati estratti da una tabella pdf, GLI STRANIERI A PALERMO NEL 2018pagina 21, Tavola 6: Cittadini al 31/12/2018 per cittadinanza a circoscrizione.

I dati

Per realizzare i grafici e le mappe abbiamo scelto 2 dei 12 dataset pubblicati in opendata dal Comune di Palermo, e sono: Stranieri residenti a Palermo al 31/12/2018 per Unità di primo livello e cittadinanza e Popolazione residente a Palermo al 31/12/2018 per Unità di primo livello e cittadinanza, scelti perché contengono l’informazione sulla cittadinanza distribuita nella UPL (Unità di primo livello), avere come identificatore geografico la sezione censuaria dell’ISTAT sarebbe stato l’ideale, più accurata è la distribuzione geografica dei residenti, più sarà realistica la mappa a densità di punti.

Come prima cosa abbiamo unito i due dataset, notiamo che manca il dato sul “genere” (maschio/femmina), per le mappe è ininfluente, ma nei grafici potrebbe essere utile per ulteriori analisi.

La tabella dei dati di base è composta da 56 righe e N colonne, una per ogni Nazionalità presente a Palermo. Per il nostro progetto questo tipo di ordine è poco utile, per noi è importante conoscere quanti residenti di ogni singola Nazionalità abitavano in una UPL, ovvero tutte le colonne delle Nazionalità dovevano essere trasposte da colonne in righe, mantenendo le colonne con le info sul territorio, UPL, quartiere e circoscrizione.

Tutto questo lavoro è stato fatto come per magia da @aborruso con VisiData e Miller

Ecco la nuova tabella dati, le colonne Cittadinanza e Residenti sono il frutto della magia di Andrea, in seguito sono state aggiunte le colonne del Continente e Sub-Regione di provenienza per avere ulteriori livelli di analisi sulla popolazione. Questa nuova tabella è stata la nostra base dati, con un dataset ripulito e ordinato si lavora meglio 🙂

Tutti i dati rielaborati da @opendatasicilia e usati per il progetto sono disponibili in unico dataset su – data.world – Popolazione residente a Palermo – 2018 – UPL

Residenti stranieri a Palermo

Gli stranieri residenti a Palermo nel 2018  sono 25.735 e rappresentano 130 Nazionalità, oggi sono il 3,83% della popolazione totale (670.954). Chi sono questi stranieri? Da dove vengono? Quanti sono? Dove vivono? Qual’è il rapporto stranieri/italiani nel territorio? Tutti i dettagli delle statistiche più recenti nei grafici e nelle mappe.

Il Viz sottostante presenta le Nazionalità di tutti gli stranieri che vivono a Palermo. Il 46,75% proviene da Paesi asiatici, il 31,60% da Paesi africani, il 18,61 proviene da Paesi europei,  il 3,03% sono di provenienza americana,  e solo 0,02% provengono dall’Oceania.

I cittadini Bangladesi, Singalesi, Ghanesi e Romeni da soli costituiscono più della  metà (57,41%) di tutti gli stranieri residenti a Palermo.

Dalle mappe e dai grafici emerge che nel centro stroico (quartieri Palazzo Reale – Monte di Pietà e Tribunali) c’è la maggior presenza di residenti stranieri con 5.183 residenti pari al 20,14%  , seguono i quartieri di:

  • Politeama 3.710 residenti – 14,42%;
  • Libertà  1.444 residenti – 5,61%;
  • Zisa 2.531 residenti – 9.83%;
  • Noce  2.248 residenti – 8,74%;
  • Oreto Stazione 4.230 residenti – 16,44%

che da soli ospitano 19.346 residenti, pari al 75,17% del totale dei residenti.

La presenza straniera si è quasi triplicata negli anni duemila raggiungendo a Dicembre 2018 il livello di 25.735 cittadini (il 3,83% dei residenti, è l’8,5% a livello nazionale) con un rapporto di genere abbastanza equilibrato.

In basso il Viz realizzato con Tableau PubblicPalermo, popolazione residente per cittadinanza, UPL , Quartiere e Circoscrizione – 2018


Palermo, popolazione residente per cittadinanza, UPL , Quartiere e Circoscrizione – 2018


Anche i viz realizzati con Flourish permettono una lettura semplice e rapida dei dati, sia il grafico treemap che il sunburst mostrano quanti resisdenti stranieri vivono nelle 8 circoscrizione della città. Partendo dalla Circoscrizione, a colpo d’occhio vediamo qual’è il continente e la sub-regione con la maggior presenza di residenti stranieri.
I dati possono essere filtrati per ogni singola Nazionalità.

Viz realizzati con Flourish


Mappa One-person-one-dot

La mappa a densità di punti è un’istantanea su Palermo, fornisce una chiara una visualizzazione della distribuzione geografica, della densità di popolazione e delle diversa nazionalità
di residenti stranieri a Palermo in ogni UPL (unità di primo livello), quartiere e circoscrizione della Città. La mappa mostra 25.735 punti, uno per ogni persona che risiede a Palermo. Per semplificare la visualizzazione, ogni punto è codificato per colore dalla Sub-Regione di provenienza della persona.

Le posizioni dei punti non rappresentano gli indirizzi reali. L’identificatore geografico più dettagliato nei dati è il blocco (poligono) delle UPL, non sono diponibbili ad oggi i dati dei residenti stranieri per le zone censuarie dell’ISTAT.
I singoli punti sono posizionati casualmente  all’interno del blocco delle UPL per associare i totali di popolazione aggregata per quel blocco.
Di conseguenza, i punti in alcuni blocchi potrebbero trovarsi in mezzo a parchi, cimiteri, o altre aree chiaramente non residenziali all’interno di quel blocco UPL.
Una rappresentazione più accurata della distribuzione geografica dei residenti è possibile solo se i dati disponibili tengono conto di parchi, edifici e/o indirizzi fisici. Pertanto, la posizione dei singoli punti potrebbe essere condizionata da dati più dettagliati.

Come realizzare la mappa a densità di punti…?

Ecco un interessante post One-person-one-dot maps and how to make them che ci spiega in modo efficace cosa sono le mappe a densità di punti e come realizzarle con QGIS.

In sintesi, sono necessari due file: uno del territorio che si vuol mappare e i dati statitici che vogliamo rappresentare di quel territorio. Nel post precedente è spiegato in dettaglio il procedimento.


Mappa densità di punti elaborata con QGIS


Mappa densità di punti elaborata con QGIS e Leaflet

Mappa a densità di punti (One-person-one-dot) Palermo, popolazione residente per cittadinanza, UPL , Quartiere e Circoscrizione – 2018

Ciascuno dei 27.735 di punti è più piccolo di un pixel sullo schermo del computer nella maggior parte dei livelli di zoom. Pertanto, le “macchie di colore” che si vedono a livello comunale sono in realtà aggregazioni di molti punti individuali. Lo zoom è stato bloccato a 14 per facilitare la lettura d’insime.
Ogni punto sulla mappa è anche codificato per colore in base alla Sub-Regione di provenienza:

  • giallo, Asia del sud;
  • blu, Sud-est asiatico;
  • rosso, Nord Africani;
  • fuscia, Asia orientale;
  • verde, Africa sub-sahariana;
  • ceruleo, europeri appertaneti alla EU
  • arancio, europei fuori dall’UE
  • rosa, Sud America;
  • marrone, tutti gli altri.

Mappa densità di punti elaborata con Mapbox e Carto

Calcolati i punti utilizzando  la funzione ‘Random points in polygons’  di QGIS, come descritto nel post precedente, possiamo realizzare una mappa a densità di punti direttamente con mapbox o con cartodb, utilizzando un file .geojosn o un semplice file .csv con le coordinate dei punti (lat. long)  esportsati da QGIS, entrambe le piattaforme portano allo stesso risultato (tiles) utilizzando tecniche diverse. Stessa cosa si può realizzare con D3.js una libreria JavaScript per manipolare documenti basati su dati.

La mappa realizzata com mapbox è stata utilizzata come mappa di base per il Viz realizzato con Tableau Pubblic, disattivando tutti gli strati informativi della mappa di base è lasciando attivo solo il layer dei punti che rappresentano gli stranieri residenti a Palermo.


Fonte dati: Comune di PalermoDati sul territorio –  Stranieri residenti a Palermo al 31/12/2018 per Unità di primo livello e cittadinanza e Popolazione residente a Palermo al 31/12/2018 per Unità di primo livello e cittadinanza – distribuiti con Licenza CC BY 4.0 IT

Dataset rielaborato da @opendatasiciliadata.world – Popolazione residente a Palermo – 2018 – UPL


Riferimenti:

Brussels. A lovely Melting-Pot.
One Dot Per Person for the Entire United States
Miller
VisiData
QGIS
Leaflet
Mapbox
Cartodb
Datawrapper
Flourish
Tableau Public


Ringrazziamenti

Generare Open Data con un FOIA? Quasi, l’esempio della Fiera del Mediterraneo.

La “Fiera del Mediterraneo” è lo storico “quartiere fieristico” di Palermo.

Il “quartiere” occupa un’area di circa 83 mila m² ed il suo ingresso principale è in Piazzetta Nelson Mandela.

Dal 1946 al 2012 il quartiere fieristico è stato gestito dall’Ente Autonomo Fiera del Mediterraneo, ente che è stato liquidato nel 2019 dopo undici anni di inattività fieristica.

L’08 Agosto del 2012 il Comune di Palermo prende in gestione il quartiere fieristico.

Tre anni più tardi, dal 23 Maggio al 7 Giugno del 2015 ritorna la Fiera Campionaria del Mediterraneo, organizzata dall’impresa Medifiere, che dal 2015 ha poi organizzato la Fiera Campionaria con cadenza annuale.

L’11 Dicembre 2018 all’interno del quartiere fieristico è stato inaugurato lo Scalo 5B, un coworking ed officina che rappresenta il primo padiglione della fiera aperto in via continuativa tutto l’anno, con un suo calendario di eventi.

Nonostante l’attività all’interno della Fiera sia ripresa nel 2015, il quartiere non ha mai beneficiato di un sito internet dedicato, contenente informazioni logistiche e infrastrutturali del quartiere, e neanche un calendario di eventi.

Nel 2017 e nel 2018 vengono pubblicati sul sito del Comune di Palermo, in maniera del tutto sporadica, due Pdf contenenti le richieste di svolgimento degli eventi all’interno della Fiera.

I problemi sono due:

  • la pubblicazione è fatta in Pdf, un formato che non è “Machine Readable”.
  • la pubblicazione non ha una periodicità definita.

Per questo motivo, l’01 Marzo 2019 scrivo all’U.R.P. del Comune, chiedendo il rilascio di un dataset in open data contenente l’”ELENCO RICHIESTE SVOLGIMENTO EVENTI FIERA DEL MEDITERRANEO ANNO 2019” nel formato CSV, come da “Linee guida per le attività sugli open data della città di Palermo” – Deliberazione di Giunta Municipale n. 97 del 4.05.2017.

Lo stesso giorno l’U.R.P. gira la richiesta via mail all’ufficio competente, il settore servizi alle imprese, ma non ricevo risposta.

Qualche giorno dopo  ho l’idea di provare a richiedere i dati con lo strumento dell’accesso civico generalizzato , cosiddetto “FOIA”.

L’accesso civico generalizzato permette a chiunque di richiedere dati e documenti posseduti dalle pubbliche amministrazioni, con il limite degli interessi pubblici o privati indicati dalla legge, senza dover motivare le ragioni della richiesta.

Tra me e me penso che su un calendario di attività fieristiche non ci siano interessi privati da proteggere, visto anche il precedente della pubblicazione dei calendari in Pdf.

Cerco quindi “Accesso civico Comune Palermo” su un motore di ricerca ed arrivo a questa pagina contenente il Modulo di Richiesta  Accesso Civico Generalizzato e le sue istruzioni.

La buona notizia: il modulo previsto dal Comune prevede espressamente la voce “dati”.

Cancello quindi la parola “documenti” dal modulo ed inserisco come oggetto della richiesta un “un dataset nel formato comma separated values con elenco richieste svolgimento eventi Fiera del Mediterraneo anno 2019, contenente società / associazione richiedente, oggetto iniziativa, area richiesta, periodo richiesta.”

In pratica, sono gli stessi dati contenuti nei Pdf precedentemente pubblicati dal Comune, ma aggiornati al 2019 ed espressamente richiesti nel formato di file “Comma-separated values”.

Il modulo da compilare richiede veramente poco altro, tra cui i miei dati anagrafici e la copia del documento d’identità.

Notare la cosa più importante, come da normativa il modulo NON richiede di esplicitare la motivazione per cui si richiede un dataset.

Il 29 Marzo del 2019 spedisco l’accesso civico all’U.R.P. del Comune, dopo un giro di mail interne il 04 Aprile 2019 arriva al Vice Segretario Generale del Comune ed al settore servizi alle imprese del Comune.

Attendo i trenta giorni previsti dalla normativa per una risposta, ed il 21 Maggio 2019 decido di riscrivere all’U.R.P. chiedendo il numero di protocollo che era stato assegnato all’accesso civico.

Questa richiesta è propedeutica ad una eventuale richiesta di riesame dell’accesso civico, la cui modulistica non è presente sulla pagina del Comune ma su quella del dipartimento della Funzione Pubblica.

Il giorno dopo aver richiesto il numero di protocollo assegnato alla richiesta di accesso civico generalizzato dall’U.R.P., il 22 Maggio 2019 ottengo via mail dal settore servizi alle imprese del Comune il dataset in CSV che avevo richiesto.

Il 28 Maggio 2019 ho sollecitato il settore servizi alle imprese alla pubblicazione sul Portale Open Data del Comune del Dataset che mi è stato inviato, visto che al momento non risulta ancora reperibile sul Portale Open Data.

Conclusioni:

  • L’accesso civico generalizzato si è rivelato uno strumento giuridico idoneo a richiedere un dataset, potrebbe quindi essere utilizzato dalla comunità open data per richiedere esplicitamente dataset e non documenti.

A questo proposito, sarebbe necessaria l’introduzione di un automatismo per la pubblicazione sui portali open data dei dataset richiesti con accesso civico.

  • Dalla prima richiesta originale all’U.R.P. del calendario di eventi alla ricezione effettiva del dataset sono trascorsi più di due mesi.

Il dataset contiene un elenco di 43 eventi organizzati presso la Fiera del Mediterraneo.

———————————————————————————————–

AGGIORNAMENTO DEL 28/06/2019.

  • Il 03/06/2019 ho scritto al Sindaco di Palermo, chiedendo se avebbe potuto sollecitare la pubblicazione del dataset sul portale open data.
    Ho motivando la richiesta con la necessità di catalogazione del dataset ottenuto tramite l’accesso civico, in modo da non dover ripetere in futuro la richiesta di accesso civico per ottenere i dati aggiornati e di rendere il dataset disponibile a tutti i cittadini di Palermo.
  • Il 28/06/2019 il dataset è stato pubblicato sul Portale Open Data del Comune di Palermo.

    E adesso divertiamoci!

Per scaricare il dataset, basta aprire un terminale e digitare:

cd Desktop” (o comando equivalente col nome della vostra cartella) per spostarsi sulla cartella della scrivania.
curl “https://opendata.comune.palermo.it/ws.php?id=1896&fmt=csv” >eventifiera.csv” per scaricare il file nel formato csv sulla scrivania.

adesso basta digitare “vd –csv-delimiter=”;” eventifiera.csv” per visualizzare gli eventi della Fiera del Mediterraneo con Visidata.

Grazie ad Andrea e Ciro per il supporto nel civic hacking e vi raccomando di leggere il post:

VisiData: il coltellino svizzero per i dati, che probabilmente non conosci“.

Milano e Palermo: le mappe della distribuzione della popolazione straniera residente nel 2018

1-2 giugno si svolgerà a Milano il raduno di Spaghetti Open Data del 2019 (in breve SOD19) presso la Fabbrica del Vapore, il programma e le proposte per l’hackathon del raduno si discutono nella Mailing-list di Spaghetti Open Data, tra tutte le proposte la mia attenzione è stata attirata dal post di Alberto Cottica, ovvero provare a fare una versione milanese della visualizzazione di Bruxelles Melting Pot.
In breve, è una mappa one person one dot dove ogni pixel rappresenta un abitante non nato in Italia. Il colore del pixel rappresenta la nazionalità: europea, nord-africana, asiatica etc. La mappa serve a capire se c’è segregazione spaziale. A Bruxelles c’è, con gli europei che abitano più a sud e est, i nord africani a nord e ovest, i turchi a nordest etc. (cit)L’idea mi affascina e visto che non potrò andare al raduno, penso… Se sul portale open data del Comune di Palermo ci sono i dati statistici sulla popolazione residente al 2018, perché non farne anche una versione palermitana…e dare il mio piccolo contributo al raduno ?

Per realizzare una buona mappa occorre un dataset come quello pubblicato dal Comune di Milano, con i dati anagrafici della popolazione residente distinta per anno, età, sesso, cittadinanza e quartiere, cosa che non sono riuscito a trovare per Palermo.
Sulla popolazione residente straniera ho trovato solo una pubblicazione in pdf  GLI STRANIERI A PALERMO NEL 2018 sul sito tematico Pubblicazioni Statistiche.

Sfogliando la pubblicazione pdf, a pagina 21 noto una tabella, Tavola 6: Cittadini al 31/12/2018 per cittadinanza a circoscrizione; non era esattamente quello che cercavo, ma pazienza, con un po di lavoro in più si possono tirar fuori i dati anche pdf 🙂

Come replicare la mappa di Bruxelles Melting Pot

Studiando gli esempi  suggeriti da Alberto Cottica, (Mailing-list di Spaghetti Open Data)  Bruxelles Melting Pot e One-person-one-dot maps and how to make them replicare la mappa non è impossibile.

Gli ingredienti di base sono:

  • Dataset ben strutturato di dati statistici;
  • Dataset dei poligoni del territorio da analizzare;
  • Semplici conoscenze del software QGIS o altri software GIS

Visto che il Comune di Milano rende disponibile in opendata entrambi i dataset, ho preferito iniziare  da Milano l’analisi della popolazione residente; capito il metodo, lo si può replicare in tanti altri casi.

Grazie a Tommaso Dardi per aver indicato dove trovare i dataset di Milano  – Popolazione: residenti per cittadinanza e quartiereTerritorio: localizzazione dei quartieri della città (Nuclei d’Identità Locale – NIL)

Il dataset sulla popolazione residente di Milano è un ricchissimo file con le serie storiche dal 1999 a 2018: contiene 2.136.906 di righe, indigeste ai normali fogli di calcolo, proprio per questo motivo sul portale è consigliato l’uso di pacchetti statistici o software per la gestione di database (DataBase Management System), in quanto i file possono superare il numero massimo di record supportato dai normali fogli elettronici.Per il mio test ero interessato soltanto ai dati relativi all’anno 2018. Per estrarli ho usato QGIS, ma si può fare in altri modi, come importando il file in data.world ed eseguendo una query per anno, oppure utilizzando VisiData come il maestro @aborruso.Con una semplicissima selezione “Anno” = ‘2018’ otteniamo i dati di nostro interesse.Non ci resta che salvare la selezione, adesso con 131.162 elementi è più semplice lavorare.

Esempio di estrazione dei dati dell’anno 2018  con data.world e queryCon data.world è sufficiente importare il file .csv scaricato dal portale opendata del Comune di Milano Popolazione: residenti per cittadinanza e quartiere e scrivere una nuova query:

select * from ds27_pop_sto_quartiere where ds27_pop_sto_quartiere.anno like "2018"

cliccare su Run query e  dopo qualche secondo di attesa otteniamo i dati relativi all’anno 2018.

Estratti i dati del 2018 possiamo iniziare a giocare 🙂

Come strutturare i dati

Il nostro obbiettivo è quello mappare i residenti di ogni quartiere, aggregati per Paese, Continente o Sub-Regione di provenienza. Come prima cosa dobbiamo conoscere il numero totale dei residenti aggregati per Paese, Continente e Sub-Regione di provenienza.

L’aggregazione, può essere fatta velocemente con le Tabelle-Pivot (grazie Andrea Borruso), per comodità ho usato Google sheets,  la stessa procedura può essere fatta con Libreoffice ed Excel e con QGIS usando il plugin Group Stats (grazie a Salvatore Fiandaca per le info QGIS).

Ad un primo confronto con i dati di Bruxelles mi rendo conto che nei dati di Milano mancano le informazioni sul Continente e la Sub-Regione di provenienza, per cui è necessario aggiungere due colonne ed aggiungere le relative  informazioni.Con l’aiuto di wikipedia.org ho trovato le Sub-Regioni:

Dal sito Eurostat Statistics Explained:

Aggiunte le nuove info, possiamo costruire tutte le tabelle-pivot necessarie per la nostra analisi.La tabella in alto rappresenta l’aggregazione della popolazione residente per quartiere e sub-regione di provenienza, visto che vogliamo fare anche un confronto residenti stranieri e italiani, quest’ultimi non sono stati inseriti nella sub-regione, (EU-15).

Il campo dell’anno si poteva omettere visto che sono tutti dati dello stesso anno, il campo IdNil, ci tornerà utile nelle operazioni da fare con QGIS

Mappa One-person-one-dot

Come realizzare la mappa a densità di punti una persona un punto…?  Ecco un interessante post One-person-one-dot maps and how to make them che ci spiega cosa sono le mappe a densità di punti e come realizzarla QGIS.

In sintesi, sono necessari due file: uno del territorio che si vuol mappare e i dati statitici che vogliamo rappresentare di quel territorio.

Carichiamo i file in QGIS, per comodità mi sono creato un Geopackage, dove ho caricato i file necessari al test. Eseguiamo una Join tra i poligoni (nilzome) e le tabelle che abbiamo estratto in precedenza, usando come campo unione ID_NIL, selezioniamo solo le colonne utili e lasciamo vuoto il campo del prefisso da utilizzare per le nuove colonne.Ecco la nuova tabella, con il totale dei residenti vari quartieri, aggregati per sub-regioni.

Adesso non ci rimane che creare un nuovo layer di punti casuali, utilizzando i poligoni dei quartieri, uno per ogni subregione.Aprire il pannello Strumenti Processing, dal menù ‘Processing’ –> ‘Strumenti’,  scrivere nel cerca il nome del comando da eseguire, ‘Punti casuali dentro poligoni’, in inglese ‘Random points in polygons’ e:

  1. Selezionare il vettore d’ingresso, potrebbero esserci più layer di poligoni;
  2. selezionare il campo/espressione che si desidera mappare
  3. Dare un nome al file e specificare il percorso di salvataggio, se lasciato vuoto verrà creato un file temporaneo;

cliccare su esegui, nel giro di pochi secondi il nuovo layer sarà generato.Se dobbiamo ottenere ‘N’ layer, uno per ogni sub-regione possiamo eseguire un processo in serie.Prima di selezionare la colonna dati da mappare, clicchiamo su ‘Esegui come processo in serie‘ e configuriamo i parametri nella nuova finestra.Questa volta il processo sarà più lungo e dobbiamo attendere qualche minuto. Andrea Borruso e Salvatore Fiandaca sono a lavoro per uno script #arigadicomando, che velocizzi e automatizzi tutto il processo. La mappa inizia a prendere vita, diminuendo la dimensione dei punti la mappa sarà più leggibile.Per fare un confronto con mappa di Bruxelles Melting Pot non ci resta che adottare gli stessi colori.

Ecco le mappe a densità di punti della popolazione residente di Milano 🙂

Qui il dataset costruito con tutte le tabelle-pivot ricavate dal google-sheets e rielaborato con Andrea Borruso e Salvatore Fiandaca, usato per il test, della popolazione residente a Milano nel 2018; il dataset contiene i dati anagrafici della popolazione residente distinta per età, sesso, cittadinanza e quartiere e il geojson dei quartieri di Milano (Nil – Nuclei d’Identità Locale), per poter replicare il test e miglioralo, e per  realizzare altri elaborati. Licenza CC0

Grafico realizzato con Tableau Public che mette a confronto la popolazione residente, italiani e stranieri nei quartieri, aggregati per genere.


Il caso Palermo

Capito il metodo, torno a lavorare sulla mappa di Palermo, sicuro di dover faticare un pò di più 🙂

Come già detto i dati di base non sono ideali, li devo ricavare da una tabella in un file pdf, GLI STRANIERI A PALERMO NEL 2018, pagina 21, Tavola 6: Cittadini al 31/12/2018 per cittadinanza a circoscrizione.

A questo punto la domanda mi sorge spontanea… chiudo tutto e vado a fare una passeggiata a Mondello o mi armo di pazienza e vado avanti…?

Dopo qualche minuto di perplessità ha prevalso  l’amore per Palermo…si va avanti 🙂

La prima cosa da fare e convertire la taballa pdf human learning in una tabella machine learning, fortunatamente è un file pdf a è posso copiare direttamente la tabella nello sheet. Prossimo passo organizzare un dataset simile a quello di Milano e Bruxelles per poter replicare l’esperienza.Contestualmente alla riorganizzazione dei dati, aggiungiamo le colonne, Continents e Subregions, perché a me interessa l’aggregazione per Sub-Regione. Con i dati in possesso non è stato possibile suddividere i cittadini Europei in EU-N13, EU-15, EU28 e Europeans out of EU. Sempre con Tabella-Pivot ho estratto i dati della popolazione residente a Palermo nel 2018, aggregata per Circoscrizione e Sub-Regione di provenienza.

Per replicare la mappa è necessario il file con i poligoni del territorio, in questo caso i le aree delle circoscrizioni sono state estratte dal dataset ISTAT Basi territoriali e variabili censuarie – Censimento 2011.


Mappa One-person-one-dot – Palermo

La procedura per ottenere i layer puntuali con QGIS è la stessa vista in precedenza, è cambiata la finalità, oltre alle immagini statiche, desidero ottenere una webmap, utilizzando QGIS e LeafletDopo aver ottenuto i singoli file di punti per ogni Sub-Regione ho usato la funzione ‘MergeFondi vettori, per ottenere un solo file di punti, più semplice da tematizzare.Caricato e tematizzato il nuovo layer, tutto è pronto per realizzare la webmap. Con il plugin QTiles vengono create le piastrelle ‘Tiles‘  del layer di punti, con il plugin qgis2web, viene creato tutto il pacchetto base delle webmab, usando il layer delle Circoscrizioni. Con Dreamweaver o con qualsiasi altro software che lavori con file html, si assemblano tutte le parti.

palermohub.opendatasicilia.it/stranieri_residenti_suregions

Per il grafico all’interno del tooltip è stata usata la webapp datawrapper (grazie Andrea Borruso)Sempre nella mappa non manca un Viz realizzato con Tableau Public e con i pochi dati disponibili.

Qui il dataset costruito con tutte le tabelle-pivot ricavate dal google-sheets e rielaborato con Andrea Borruso e Salvatore Fiandaca, usato per il test, della popolazione residente a Palermo nel 2018, disponibile su data.world.

L’insufficienza dei dati disponibili, per quartieri o zone censuarie, rende la mappa a densità di punti per popolazione la straniera residente a Palermo, è un mero esercizio di stile, non paragonabile alle mappe di Milano e Brussels. Se in futuro ci saranno dati più dettagliati si potrebbe rieseguire l’analisi.


Riferimenti:

Brussels. A lovely Melting-Pot.
One-person-one-dot maps and how to make them
QGIS
Datawrapper
Tableau Public


Ringraziamenti: