“Red zones” in Sicily: a story of civic hacking

Note: this is a translation of an original piece published by Salvatore Fiandaca on the 10th April 2021. / Questa è una traduzione (più o meno letterale) di un articolo pubblicato da Salvatore Fiandaca il 10 aprile 2021. Thanks to Paola Chiara Masuzzo for translating it into English.


If you live in Sicily and want to know if your city is currently red, i.e. under specific COVID-19 restrictions (Italy uses a colour coded schema), all you need to do is read 197 pages of PDF files published by the regional government.

The official website of Sicily (Regione Siciliana) does not report any list of the cities currently red (which is the highest of the restrictions imposed): this information is trapped within a webpage that collects the so-called ‘ordinanze’ (we will refer to these documents as ‘decrees’ in the rest of this piece), a bunch of PDF files reporting the latest decisions made by the regional government.

This list is not really updated: at noon on the 10th April 2021, the files of the 9th April (number 37 and 38) were still not available.

A possible alternative way to consult these data is the map built by the ‘Dipartimento della Protezione Civile Regionale’, which, however, presents quite some limitations:

  • at 11:30 am on the 10th of April 2021, the map lists several cities that will only become red from the 11th of April, the following day
  • the map does not provide any information on the timeline of the restrictions: since when and until when the city has red zone restrictions; this information is absolutely key, and given the above point, we can’t even be sure that the map provides a precise photo of the current situation
  • it’s impossible, from the map, to go back to the files that delineate the restrictions, their timings, and their scope. It’s crucial to be able to link back this type of data to the raw, official source of information (especially given that this information is provided and published by the local authorities) 
  • the geographic representation of the map alone is not enough: a structured and updated list of files embedding the data represented is nowhere to be found

So, we thought about it: https://tinyurl.com/zonerossesicilia


Note: after the publication of the original post in Italian, the “Dipartimento della Protezione Civile Regionale” has updated its map, corrected it and added the necessary basic information. We appreciate that, it is a nice result of the action of this community.


The documents that list the governmental decisions for the red zones in Sicily (often not even real PDF, but simply the result of the documents scanning) are collected on the official website under the section “SERVIZI INFORMATIVI | ORDINANZE COVID-19”; when this article was written (10th of April 2021), there were 36 of these files. 

PDF files are not the easiest to read, especially if these are images (you can’t even search for text, in this latter case), not from machines, nor from humans, who would be lost in front of a big amount of bureaucratic jargon. So we thought of collecting all the cities in Sicily with red-zone restrictions in a public Google sheet.

The PDF files are on average 7 pages long, the section that contains the useful data is usually in the last two pages:

To remedy to these ugly PDF files (sigh) and make it easier to both create and read maps and structured lists of text, we created a Google sheet where we annotated (after having read every single PDF online from 2021) the cities in red code, together with the time interval, including the possible extension of the restrictions, and a final link to the decree file in PDF.

The main idea is to create a list like the one shown in the screenshot below, allowing these data to become public goods, or, in Italian, ‘bene comune’ (Open Data Sicilia is a big promoter of the running campaign).

What we would like to have is a dataset with at least the following five attributes:

  1. comune, the name of the city as reported in the PDF file
  2. pro_com, the unique, numeric ISTAT code
  3. dataInizio, the beginning date of the red code for the city
  4. dataFine, the end date of the red code for the city
  5. link, the URL of the PDF file.

We read all the PDF of 2021 (28 at the time of writing of this piece) and it took us about one hour, certainly a reasonable amount of time.

After we were done with the sheet, we initiated the second phase, which consisted in rendering these tabular data in a map easily accessible to everyone:

Important to notice, it is possible to download both the entire dataset and the PDF for each city reported directly from the map

Final notes

Creating and publishing an up-to-date list, a CSV file – really, any kind of format of structured text that machines and humans can read – isn’t that much work, but is, first and foremost, a matter of providing a public service to the citizens, a service that is very much needed and due. 

Scanned PDFs prevent text searches and make usability for blind people impossible. In our opinion, these two points alone suffice to say that Sicilian authorities need to do better, but there are also official regulations that point these matters out, like the Digital Administration Code (Codice dell’Amministrazione Digitale, CAD).

These documents must be accessible and usable regardless of personal abilities, according to the accessibility criteria defined by the technical requirements referred in Article 11 of the Law of 9 January 2004, n. 4.

For 2021, 16 out of 28 decrees are scanned.

We therefore ask the Sicilian Region and the ‘Dipartimento della Protezione Civile Regionale’ to create a list of the red areas in the Sicilian territory, readable by people and personal computers, complete with the essential information that we have listed, in which it is also possible to read the temporal changes of the assignments of the restrictions.

Finally, we also urge for a speedy solution of the aforementioned problems on accessibility.

References

The cover image of this piece refers to the situation until the 10th of April 2021, right before the decree number 38 of the 9th of April 2021.

“Il valore dei dati” – il nostro raduno del 2021 – è stato molto bello

Il nostro raduno del 2021, dedicato a “Il valore dei dati“, è stato molto bello (non prendeteci per presuntuosi).

C’è stata tanta qualità, attenzione, cura, leggerezza e tanto piacere nello stare e fare insieme.
Guardando il video registrato e la chat live emerge in modo forte: siamo stati molto bene e abbiamo creato un bel momento dedicato alla cultura dei dati.

A seguire il filmato di circa 9 ore, l’elenco degli interventi con i link per puntare alla porzione che interessa e quello alle slide.

 

YouTube Intervento Slide
00:00:29​ Paola Masuzzo, Introduzione
00:05:03​ Isaia Invernizzi, Un anno di pandemia: l’impatto del datajournalism slide
00:41:33​ Giorgia Lodi, Il progetto WHOW – Water Health Open knoWledge slide
01:00:25​ Maximilian Ventura, SiciliaMedievale.it: WebGIS e LOD slide
01:15:47​ Davide Taibi, Modera
01:18:28​ Martina Anello, Datafactor – dal rumore alla conoscenza slide
01:31:24​ Andrea D’Eramo, Utilizzo di dati pubblici per migliorare il patrimonio informativo delle aziende private slide
01:48:25​ Martino Maggio, Progetto INTERSTAT: un framework per la valorizzazione dei Linked Open Statistical Data slide
02:17:28​ Maurizio Napolitano, Il decreto “di Natale” in chilometri slide
02:39:33​ Donata Columbro, Modera
02:41:11​ Rossana Coro, Umorismo e data visualisation: due passioni inconciliabili? slide
03:00:13​ Angelo Gulina, Atlas Sicilia. Dati per raccontare distanza, differenza e realtà. slide
03:17:58​ Silvia Spacca e Leonardo Zanchi, Cartografia 3D: un viaggio attraverso il tempo e lo spazio, ostacolato dalle licenze slide
03:36:19​ INTERVALLO
04:31:02​ Andrea Borruso, Modera
04:36:19​ Nino Galante, Quale tipo di informazione per il cittadino? slide
04:43:36​ Dennis Angemi, Quale tipo di informazione per il cittadino? slide
04:49:45​ Umberto Rosini, I dati COVID-19, il rapporto con le community, organizzazioni e società civile; l’opportunità di riaffermare la necessità dei dati della Pubblica Amministrazione slide
05:08:35​ Valentina Bazzarin, Dati per contare: dati e indicatori di impatto di genere slide
05:36:53​ Paola Masuzzo, Modera
05:38:31​ Luca Corsato, Fiducia in quantità slide
05:52:27​ Nino Galante, Modera
05:52:57 Ludovica Ioppolo, L’uso dei beni confiscati, oltre gli open data: un focus sui comuni di Palermo e Bari slide
06:09:05​ Roberto Reale, Appalti pubblici e digitalizzazione: a che punto siamo? slide
06:25:03​ Giuseppe D’Avella, I dati sui fondi per la democrazia partecipata in Sicilia (dal progetto “Spendiamoli Insieme”) slide
06:43:48​ Francesca Gleria, Modera
06:44:34​ Andrea Borruso, Analisi automatica della qualità delle risorse contenute nei cataloghi dati slide
07:06:34​ Marco Brandizi, Mettere assieme i dati con la ‘I’ di FAIR, un’applicazione all’agricoltura slide
07:28:34​ Federico Prestileo, Affitti brevi e turismo. Mancanza di trasparenza e approcci di ricerca alternativi slide
07:44:47​ Massimo Zotti e Giuseppe Forenza, Occhio alla Terra slide
08:02:27​ Ciro Spataro, Modera
08:04:33​ Francesco Iannuzzelli, Monitoraggio qualità dell’aria in provincia di Siracusa slide
08:23:11​ Paola Imprescia, Il portale cartografico della Microzonazione Sismica e della Condizione Limite per l’Emergenza: l’accesso ai dati per una migliore pianificazione territoriale slide
08:42:24​ SALUTI FINALI

Al nostro convegno “Il valore dei dati” abbiamo invitato le scuole!

Al nostro raduno su “Il valore dei dati” stiamo invitando le scuole. Non è la prima volta, ma il contesto è diverso e forse questo è l’anno giusto.

La classe docente, le studentesse e gli studenti, sono più consapevoli del valore dei dati. Un po’ perché è diventato un tema quotidiano, ma soprattutto perché è sempre di più parte del programma didattico: sviluppato nelle discipline tecnico/scientifiche, in quelle in cui si impara a raccontare un fenomeno e nell’educazione civica. In modo quindi pienamente “orizzontale”.
E tra i relatori avremo una delle classi del progetto “A scuola di OpenCoesione“.

Questa l’email che stiamo inviando ai dirigenti. Nel redarla ci ha colpito raccogliere i filmati a tema, pubblicati dalla RAI.
Anche questo è un segnale importante.


Gentile Dirigente,
la comunità OpenDataSicilia è da anni tra quelle più attive sul tema dei dati aperti (open data).
Anche quest’anno organizzerà un convegno (online) a tema –  che avrà luogo il 17 aprile – e ci piacerebbe avere la sua scuola tra i presenti.

Il tema dei dati – la loro generazione, accesso, lettura, visualizzazione e soprattutto la loro valorizzazione  – è sempre uno dei temi più caldi: dal punto di vista dei diritti, dell’educazione civica, della ricerca, del giornalismo, del business.

Tutti noi ne siamo contemporaneamente consumatori e produttori, a volte anche in modo inconsapevole. Per questo riteniamo che la partecipazione delle sue classi al convegno possa essere una buona opportunità didattica.

Il programma è molto ricco e tra i temi trattati ci saranno: i dati e l’ambiente, i dati e il business, i dati e la loro visualizzazione, i dati e la trasparenza e ovviamente i dati e la pandemia.

Per seguire il convegno basterà accedere a questo URL YouTube dell’evento live:
https://www.youtube.com/watch?v=QOd1SKzxRqA

Sarà aperta una chat e sarà possibile fare delle domande in diretta a relatrici e relatori.

Nel caso decideste di seguirci, potreste propedeuticamente mostrare alle classi uno o più di questi filmati:

Se pensate di partecipare e dedicare parte della giornata del sabato a questo momento, fateci per favore avere un riscontro per email.

Grazie e buona giornata,

la comunità di OpenDataSicilia

mailing list: https://tinyurl.com/opendatasicilia
Web: http://opendatasicilia.it/
Twitter: http://twitter.com/opendatasicilia
Facebook: https://www.facebook.com/groups/opendatasicilia
Telegram: https://t.me/opendatasicilia

“Il valore dei dati”: il 17 aprile 2021, il raduno di Open Data Sicilia

Il raduno Open Data Sicilia del 2021 ha come obiettivo quello di fare emergere il valore dei dati

Spesso il motore delle idee e dei progetti che hanno a che fare con i dati,  che le nostre comunità portano avanti, è la constatazione che qualcosa – in questo contesto – non funzioni bene o per nulla.
È certamente un meccanismo utile, che aiuta a cambiare le cose, che spinge a non demordere, ma che con il passare del tempo restituisce la sensazione di un sistema che non evolve.

In questo raduno 2021, invece, vogliamo partire dai dati come fonte di conoscenza, curiosità, entusiasmo. Vogliamo partire dai dati e dal loro:

  • valore informativo / decisionale / democratico (basti pensare al potere dei dati aperti in tempi critici come quelli di una pandemia mondiale);
  • valore economico, che se non attivato diventa una sicura barriera alla loro produzione, cura e utilizzo;
  • valore educativo e ricreativo, perché, diciamolo pure, i dati sono anche e soprattutto divertenti.

Se hai un’idea sui dati aperti, se vuoi imparare a visualizzarli, trasformarli o analizzarli, scoprire un progetto a cui dare un contributo,  partecipa.
La partecipazione è un valore fondamentale della nostra comunità; indipendentemente dalle tue competenze o dai tuoi interessi, se ti iscrivi, se invii una proposta di intervento, ci aiuterai a crescere e “stare bene sul pezzo”.

Il raduno sarà online, il 17 aprile 2021, mattina e pomeriggio (orari ancora da definire). Dopo un discorso di apertura, relatrici  e relatori avranno a disposizione 15’ per presentare il loro intervento, più 5 minuti di domande (tramite chat live). 

Ecco le informazioni utili:

Un po’ di grazie:

Fallo sapere in giro

Puoi farlo con un tweet! (ricordati, l’hashtag è #ODS2021).

Il testo di base per il passaparola è:

E puoi usare una delle 📸 immagini predisposte da Dennis e Angelo:

Uno sguardo sul Patrimonio Culturale di Palermo

patrimoniodipalermo.netlify.app, la dataviz che riscopre la Città

a cura di:
Silvia Spacca | Laurea magistrale in Ingegneria del Cinema. 3D Artist, grafica, fotografa https://twitter.com/silla_abrasax
Leonardo Zanchi | Dopo la laurea magistrale in Computer Science metto i pallini sulle mappe https://twitter.com/lezanviz


Zīz, Πάνορμος, Panormus, Balarm, in ogni caso Palermo, una città dai mille volti e dalle molte dominazioni, ognuna delle quali ha lasciato alla popolazione mondiale inestimabili tesori appartenenti a epoche e culture diverse.

In considerazione del vasto Patrimonio Culturale della Città, concentrato in gran parte nell’originario centro nevralgico costituito dagli antichi quartieri della Kalsa, l’Albergheria, la Loggia e il Capo, è nata l’idea di realizzare una visualizzazione che permetta di volgere uno sguardo generale a questi Beni, contestualizzandoli all’interno del tessuto urbano.
La visualizzazione è consultabile all’indirizzo: https://patrimoniodipalermo.netlify.app/.

Tracce della connessione con il territorio possono essere ritrovate nelle scelte grafiche, progettate nel dettaglio per creare l’effetto di una cartolina d’altri tempi. 

Il font usato riproduce quello delle illustrazioni del dopoguerra, affiancato dall’immagine delle Cubula, scelta per identificare l’intero Patrimonio Culturale; un edificio arabo-normanno che assurge a simbolo di multiculturalità e integrazione, aspetti che storicamente hanno caratterizzato la Città.
Infine la scelta della  paletta di colori utilizzati per i componenti grafici, essa infatti è stata realizzata prendendo le tonalità più utilizzate nelle tradizionali ceramiche di Caltagirone, anche loro scelte a simboleggiare la cultura siciliana più in generale.

La struttura

La visualizzazione si presenta come una dashboard composta da tre aree tematiche, da noi identificate come: i luoghi, il tempo e le proporzioni. Ognuna di queste risponde in modo interattivo ai filtri che l’utente può impostare dalle select.

I luoghi sono costituiti, tecnicamente parlando, da una Scattermap, una Gridmap e una Choropleth, definite rispettivamente Posizione, Distribuzione e Prevalenza, al fine di facilitare l’esperienza utente. Le mappe possono essere visualizzate una per volta attraverso dei bottoni e mostrano diversi aspetti dei monumenti rispetto alla loro posizione geografica, alla distribuzione nel territorio e la prevalenza di uno stile architettonico rispetto ad altri per ogni quartiere. I tooltip che accompagnano la selezione di ogni elemento forniscono informazioni circa la locazione dell’edificio, l’anno di costruzione e il quartiere di appartenenza. 

Il tempo è costituito da un grafico di tipo Lollipop, in cui l’ascissa rappresenta l’evoluzione temporale, che procede di cinquant’anni in cinquant’anni, mentre l’ordinata mostra la quantità di monumenti per ogni gruppo appartenente all’asse temporale considerato. Quando non sono presenti edifici per un determinato periodo, il grafico mostra una sfera grigia alla base dell’asse.

Le proporzioni sono composte da tre Waffle, i quali mostrano proporzionalmente informazioni sullo stile architettonico, la tipologia di Bene e l’Ente gestore dello stesso, così da permettere uno sguardo generale sulla totalità delle voci presenti nel database. Ogni categoria è identificata con un colore e un tooltip permette di ottenere informazioni specifiche sulla categoria selezionata.

Per andare incontro alla maggiore quantità di persone possibile e facilitare l’esperienza utente, ogni grafico ha una leggenda a scomparsa, è stato inserito un pannello di spiegazioni attivabile con il tasto menu ed è stata introdotta una guida passo passo che mostra le principali azioni che l’utente può effettuare.

I dati

Il dataset che abbiamo scelto per realizzare la visualizzazione è disponibile all’interno del Portale Open Data del Comune di Palermo. Nonostante i dati risultassero parziali, non aggiornati dal 2017 e con errori e imprecisioni, con le dovute modifiche e correzioni sono stati una base di partenza discreta. Abbiamo corretto campi, eliminato quello che non sarebbe servito e aggiunto informazioni essenziali per ciò che si voleva visualizzare.
La nostra versione è disponibile qui, per qualsiasi dubbio/proposta, aprite una issue. 

Dal nostro punto di vista, la forza del dato risiede anche nella sua stessa esistenza e nella funzione di stimolo che può assolvere.
In questo modo è andata la realizzazione del progetto sul Patrimonio di Palermo: stavamo cercando qualche ispirazione all’interno del Portale e l’idea di colorare la città in base allo stile dei monumenti è nata man mano che si prendeva coscienza della presenza dei dati e di quello che permettevano di creare.

Le criticità che abbiamo individuato nel dataset sono riassumibili in tre punti:

  1. è estremamente parziale, contiene solo 140 monumenti e spesso alcuni campi dei dati hanno un valore nullo.
  2. non viene aggiornato dal 2017. Dal punto di vista del nostro lavoro non è un grosso problema, ma in generale non è auspicabile.
  3. contiene errori piuttosto grossolani riguardo alla posizione del monumento, in particolare per latitudine e longitudine (alcuni beni sono posizionati nel golfo di Palermo).

Come già detto, il secondo punto non è nel nostro caso un problema, così come il terzo, per quanto richieda molto tempo correggere le inesattezze. Il primo punto è sicuramente quello più importante, perché rischia di inficiare tutto il senso della visualizzazione. Il dataset è scarno, 140 voci sono veramente poche se messe a confronto con quello che Palermo possiede. Dovrebbe essere ampliato, dato anche l’estremo interesse che il patrimonio di una città come Palermo riscuote.

Dei campi disponibili su ogni singola voce abbiamo deciso di utilizzare la descrizione (il tipo di monumento), la denominazione (il nome del monumento), il gestore (l’ente gestore del monumento), latitudine, longitudine e indirizzo. Al dataset mancavano importanti informazioni (basilari, almeno nel nostro caso, ma sentirei di estenderlo al dataset in generale) relative all’anno di costruzione e allo stile. A volte queste informazioni sono contenute più o meno esplicitamente nella proprietà Cenni_storici, ma sono difficilmente estraibili in modo automatizzato, data anche la parzialità con cui compaiono riportate nelle proprietà. Molto del tempo è stato quindi dedicato a ricercare l’anno di costruzione del monumento e il suo stile e ad aggiungere voci mancanti. Qua si aprirebbe un discorso molto lungo, che può essere riassunto in questo modo: un inferno.

A questo proposito apro una piccola parentesi: se qualcuno è a conoscenza di monumenti mancanti, corredati dalle informazioni sopra elencate, scriveteci così che sia possibile ampliare il dataset e la visualizzazione (dove è finito il liberty di Palermo?), senza limitarsi al solo nome del Bene, ma includendo le informazioni annesse, che sono la parte più complicata da individuare. Lo stesso se avete notato errori in quello che è già presente.

Lo Sviluppo

Dal punto di vista implementativo si tratta di una web application realizzata con ReactJS. Si potrebbe obiettare che la scelta di utilizzare tale libreria per un sito web simile sia “overkill”, tanto boilerplate per una singola pagina non soggetta ad update: sono d’accordo, non era sicuramente necessario introdurre React per realizzarla, ma è diventato talmente semplice avere una base di partenza “up and running”, che non riesco a farne a meno. In realtà il vero motivo per cui React è diventato per me imprescindibile è la galassia di librerie che sono costruite attorno ad esso e la semplicità con cui è possibile introdurle nel proprio progetto. Ne cito alcune che ritengo più valide, e che dovrebbero essere tenute in considerazione da chi fa dataviz con React:

  • DeckGL: è un framework costruito su webgl che permette di visualizzare una grande mole di dati geospaziali. Da quando l’ho scoperto e devo trattare dati spaziali, è la mia prima scelta (anche sopra Leaflet), specialmente su React. È open-source ed è realizzata da Uber.
  • KeplerGL: se avete bisogno di visualizzare dati geospaziali velocemente, direttamente online senza installare nulla sul proprio PC, è la scelta migliore. Sempre di Uber, sempre opensource.
  • Nivo: d3.js e React? Nivo è una delle mie prime scelte quando ho bisogno di grafici classici, specialmente se ho bisogno di un Waffle. Sempre open source.
  • Recharts: sempre d3.js e React. La libreria mette a disposizione dei layout pronti all’uso, ma consente anche di personalizzarli. Sempre open source.
  • VX: ancora d3.js e React. Normalmente impiego questa libreria quando ho necessità di creare grafici che hanno bisogno di una certa personalizzazione, ma voglio una base solida di partenza basata sui paradigmi di React. Rispetto alle altre due librerie, VX è ad un livello di astrazione più basso, più vicino a d3.js, ma con il vantaggio che qualcuno si è già preso la briga di implementare ogni modulo come componente. Sempre open source.
  • Highcharts: è una libreria che ho scoperto durante un lavoro per una azienda dove avevano l’assoluta necessità di impiegare Highcharts. È ben fatta, solida, ben supportata, ma è pagamento per prodotti commerciali. La uso spesso per i progetti, soprattutto se ho bisogno di grafici classici. Su React dò sempre più spazio a react-jsx-Highcharts, un wrapper non ufficiale di Highcharts, alternativa a quella ufficiale.
  • Per riferimento lascio altre librerie che ho impiegato di tanto in tanto, in ordine sparso: Reaviz, React-vis, Semiotic, Vega e Vega-lite, G2, Echarts, HarpGL. Tutto open source, tutte free.

In questo progetto sono state impiegate tre librerie grafiche: DeckGL, Nivo e Highcharts.

Con DeckGL è stata realizzata la parte di visualizzazione geospaziale, che consiste nelle tre mappe a sinistra (in una visualizzazione desktop).
DeckGL utilizza un layer statico che rappresenta la mappa, implementato con un componente di React-map-gl (se dovete utilizzare Mapbox su React, React-map-gl [https://visgl.github.io/react-map-gl/] è la libreria che vi serve), e tre layer dinamici che codificano i dati disponibili, implementati utilizzando i componenti offerti da DeckGL.

Quello che vedete è praticamente tutto quello che serve per avere una mappa pronta all’uso. Per aggiungere i dati è necessario dichiarare il layer e aggiungerlo al componente di DeckGL in questo modo. 

Per avere interattività negli oggetti rappresentati nella visualizzazione c’è da scrivere qualche riga di codice in più, ma nulla di complicato, una useEffect() è sufficiente.

Con Nivo, invece, si sono realizzati i tre Waffle in alto a destra, utilizzati per mostrare le proporzioni.

Ciò che mi piace di Nivo è il suo approccio dichiarativo all’implementazione dei charts, che lo rende estremamente semplice nel suo utilizzo. Se con Deck.GL le righe di codice erano una ventina per avere una mappa con dei dati rappresentati, con Nivo per avere un Waffle pronto e responsive ne sono sufficienti 5.

Se non conoscete la libreria, fate un salto sul sito ufficiale e guardatevi uno dei componenti che mette a disposizione, per esempio il Waffle[https://nivo.rocks/waffle/]. Avete provato le modifiche on the fly al chart?

Con Highcharts è stato realizzato il Lollipop in basso a destra. Come già detto, alcuni mesi fa ho fatto la conoscenza di una libreria wrapper per React di Highcharts chiamata react-jsx-highcharts, una alternativa al wrapper ufficiale Highcharts-react. Si trattava di una situazione un po’ al limite, in cui avevo moltissimi dati (ordine del milione) in una Heatmap e doveva essere possibile interagire con il grafico, cambiare i dati mostrati. La prima implementazione l’ho realizzata con Highcharts-react, non era brillante, i tempi di attesa erano superiori al secondo. Avevo provato tutto quello che mi era venuto in mente, passare da svg a canvas, eliminare qualsiasi animazione, ma i tempi ancora non erano soddisfacenti. Ho provato react-jsx-highcharts e la transizione dei dati era pressoché istantanea, nessun ritardo. Da quel momento in poi è diventata la mia libreria di Highcharts per React.

Nel caso del Lollipop le righe di codice sono circa una decina, direi non male?

Ciò che mi piace in generale di Highcharts è il vasto parco di grafici che mette a disposizione, non sono personalizzabili come con d3.js, ma conoscendo a fondo la libreria è possibile spingersi molto oltre quelle che sono le demo disponibili [https://www.highcharts.com/demo]. Un altro aspetto che mi piace è la generalità con cui si dichiarano gli elementi che costituiscono il grafico, riuscendo a stabilire un semplicità di utilizzo che difficilmente trova eguali.

Ovviamente il discorso non si esaurirebbe qui, si potrebbe parlare della struttura che permetta di interagire con i grafici, della costruzione del dato, dell’interfaccia e l’esperienza utente. Tipicamente parti del lavoro che richiedono molto tempo, in particolare la costruzione del dato, che in alcuni casi è parzialmente facilitata se è già presente un dataset e la realizzazione di un’interfaccia utente che sia responsive,  intuitiva, accattivante e che rispecchi coerentemente la natura del lavoro.
Poi l’ultima parte della progettazione: ottimizzazione, testing e debugging.

Lettera aperta alla Regione Siciliana, per la pubblicazione in formato machine readable dei dati sulla COVID19

La Regione Siciliana informa quotidianamente la cittadinanza sui numeri relativi alla COVID19.
Lo fa in prosa e con immagini, con informazioni interessanti non presenti nella banca dati nazionale del Dipartimento della Protezione Civile.

Sono informazioni di grande interesse che a nostro avviso vanno pubblicate anche come dati in modalità machine readable, in un formato che li renda interpretabili da un computer e da software di analisi e visualizzazione di dati.

Per questa ragione abbiamo fatto questa richiesta alla Pubblica Amministrazione Regionale.

La richiesta

In diverse circostanze, attraverso il contributo singolo o collettivo dei suoi membri, la comunità OpenDataSicilia ha interloquito positivamente con diversi rami dell’amministrazione regionale fornendo il proprio supporto.

In questa circostanza invitiamo l’Amministrazione Regionale a rendere disponibili anche in forma machine readable, i dati provinciali sul COVID19, che ogni giorno la Regione Siciliana pubblica in prosa (sui canali social ufficiali e su siciliacoronavirus.it).
Si veda come esempio la comunicazione su facebook del 20 marzo 2020 (o l’analogo su costruiresalute) in cui si legge: 

Risultano ricoverati 210 pazienti (27 a Palermo, 105 a Catania, 17 a Messina, 1 ad Agrigento, 11 a Caltanissetta, 18 a Enna, 6 a Ragusa, 17 a Siracusa e 8 a Trapani) di cui 42 in terapia intensiva, mentre 169 sono in isolamento domiciliare, venticinque guariti (11 a Palermo, 5 a Catania, 4 a Messina, 2 ad Agrigento ed Enna, 1 a Ragusa) e quattro deceduti.

Questi dati con taglio provinciale sono a integrazione di quanto pubblicato in modo centralizzato dal Dipartimento della Protezione Civile (DPC), che al momento pubblica per provincia soltanto il totale dei casi (vedi qui). Ancora più interessante sarebbe un taglio comunale.

Potreste fare riferimento allo schema che il DPC usa per i dati regionali, integrando per provincia e/o per comune le seguenti informazioni:

  • Codice ISTAT provinciale
  • Codice ISTAT comunale
  • Ricoverati con sintomi            
  • Ricoverati in terapia intensiva   
  • Totale ospedalizzati              
  • Persone in isolamento domiciliare 
  • Totale attualmente positivi (ospedalizzati + isolamento domiciliare)
  • Nuovi attualmente positivi (Totale attualmente positivi attuali – Totale attualmente positivi del giorno prima)
  • Persone dimesse guarite           
  • Persone decedute
  • Totale casi                          
  • Totale tamponi      

Il formato dati (il CSV e/o il JSON) e le modalità di pubblicazione scelte dal DPC sono sicuramente da prendere come riferimento a cui allinearsi.

Inoltre riteniamo che sarebbe di grande interesse conoscere avere un’estrazione di informazioni  (iniziando anche in modalità one shot) su:

  • totale a oggi (23 marzo 2020) di persone entrate in Sicilia dal 29 gennaio;
  • numero di persone che ha compilato il censimento di autodenuncia;
  • il numero generico dei deceduti in Sicilia suddivisi per cause, patologia, età, sesso, sempre dal 29 gennaio (la data del 29 gennaio è stata individuata perché si è registrato il primo caso di contagio Covid-19 in Italia).

Siamo disponibili – se ritenuto utile – a dare un contributo strumentale e di processo per realizzare quanto richiesto.

Uso responsabile ed etico delle mappe

Lyzi Diamond – che attualmente è docs lead presso heroku, che in precedenza ha lavorato presso glitch, mapbox, maptimehq, codeforamerica e oregongeology – circa 10 giorni fa ha redatto un thread twitter molto bello sull’uso responsabile ed etico delle mappe, per evitare di raccontare una storia sbagliata.

Quando l’ha scritto era tra le pochissime che sottolineasse l’inadeguatezza di molte scelte di rappresentazione cartografica di tante mappe sul COVID19. Lei lo ha fatto a partire proprio da quella che ad oggi è stata più diffusa.
Da quel giorno altre e altri si sono uniti.

Ci è sembrato e ci sembra ancora un contributo prezioso sul tema e abbiamo voluto crearne una traduzione in italiano. Un grazie a Paola Masuzzo per il tempo che ha dedicato alla cosa.

Il thread

Ciao a tutti, facciamo un altro Twitter-torial sulle mappe! L’argomento di oggi è la visualizzazione di dati aggregati. Si tratta per lo più di una critica a questa mappa, che probabilmente avrete visto circolare un bel po’.
È una mappa che mostra dati importanti! Ma ho qualche problema con le tecniche utilizzate.

tweet originale


Conosciamo tutti le mappe che visualizzano dati aggregati. La più nota tra tutte è probabilmente la mappa coropletica: mostra aree geografiche riempite con un colore o un motivo, per rappresentare informazioni relative a quelle aree.
Un esempio è questa elettorale della BBC:

mappa coropletica

tweet originale


I colori sulla mappa rappresentano delle informazioni: ad esempio, quale partito ha vinto le elezioni in un distretto e con quale percentuale. Le mappe coropletiche hanno dei limiti (spesso legati a ipotesi fatte su aree geografiche estese), ma sono comunque utili per mostrare dati aggregati per aree.

tweet originale


Esistono altri due modi comuni di visualizzare dati aggregati: le “mappe a densità di punti” e quelle con simboli di dimensioni variabili rispetto a una parametro. Le “mappe a densità di punti” usano un punto per rappresentare un determinato numero di elementi che si vogliono mappare, e raggruppano i punti in un’area geografica.
Ecco un esempio di Bill Rankin (2009):

mappa a densità di punti

tweet originale

Ciascun punto rappresenta 25 persone nella città di Chicago. Ogni punto però non fornisce la locazione geografica precisa di quelle 25 persone, ma una posizione random dentro l’area geografica di interesse (assieme agli altri punti che appartengono alla stessa area geografica). Interessante, no? È di certo un bel modo per raccontare una storia.

tweet originale


Esistono anche le mappe a “simboli proporzionali”. In queste viene usato un simbolo (comunemente un cerchio) per rappresentare un’area geografica, e la dimensione e/o il colore del simbolo hanno una qualche relazione con una proprietà dei dati che si vogliono rappresentare. Un esempio: la mappa della diffusione del coronavirus sviluppata dall’istituto Johns Hopkins.

mappa a simbolo graduato

tweet originale

Nel caso specifico di questa mappa, ciascun punto rappresenta uno stato/provincia o Paese (dipende dalla regione geografica, negli Stati Uniti d’America sono gli stati), e il raggio del cerchio di ogni punto cresce al crescere dei casi di coronavirus confermati in quell’area geografica. (Da notare che la scala non è lineare, ma logaritmica!)

mappa a simbolo graduato - legenda

tweet originale


Cosa ci vuole dire questa mappa? Lo scopo sembra voler essere quello di mostrare (e quindi informare l’utente su) il numero totale dei casi di COVID-19 nel mondo. La domanda è: ci riesce? La risposta? Sì e no. Ecco alcune mie critiche su questa mappa.

tweet originale


Conoscere il numero totale di casi in una determinata area geografica è utile. Conoscere il numero totale di casi entro una specifica area politica… forse un po’ meno. Se vivo al confine tra Washington e Oregon (supponiamo a Portland), quel confine di stato per me non ha molto significato…

tweet originale


In termini di contenimento e misure adottate da uno specifico stato, sembra essere utile sapere quanti casi sono presenti al suo interno. Da un punto di vista epidemiologico, però, ai virus non importa granché di confini di stato. Si parla infatti di un concetto chiamato il “Problema delle unità areali modificabili”.

tweet originale


Questo problema riguarda il modo in cui la modifica dei limiti delle aree di studio può cambiare completamente i risultati di un’analisi spaziale. Questo conduce ad un errore ecologico: l’idea che questi confini abbiano importanza nell’interpretazione dei dati (per saperne di più, guardate questo Twitter-torial).

tweet originale


La mia modesta opinione, quindi, è che mostrare il numero di casi per area geografica è utile, ma solo in termini di risposta “ufficiale” di quell’area geografica/amministrativa (risposta ai dati che si stanno interpretando).

tweet originale


2 Questa è una mappa “slippy”, il che significa che posso scorrerla, ingrandirla e rimpicciolirla. Una cosa utile! Posso quindi fare zoom sulla mia città per verificare se ci siano casi riportati. Vivo a New York, dove so che ci sono casi. Ma cosa succede quando aumento lo zoom?

mappa - zoom in

tweet originale


Non trovo niente! E sapete perché? Perché il simbolo graduato che rappresenta il numero di casi nello stato (stato=area geografica) è situato nel suo centroide geografico, triangolato approssimativamente tra Binghamton ed Oneonta.

mappa - centroide

tweet originale


Il centroide di un’area è la posizione media di tutti i suoi punti — non è proprio il “centro” dell’area, ma ci si avvicina. Se stessimo parlando di una mappa analogica (di carta), tutto ciò avrebbe molto più senso. È molto più semplice leggere la mappa quando facciamo zoom out! Ma..

tweet originale


… se io non sapessi come funzionano le mappe con simboli proporzionali, se non sapessi come vengono costruite, e quale messaggio cercano di trasmettere… ipotizzerei che NYC non abbia nessun caso di COVID-19 e che tutti i casi di New York sono concentrati intorno alla città di Downsville, New York. È lì che si trova il simbolo!

tweet originale


Inoltre, i simboli graduati scompaiono quando si fa uno zoom in avanti oltre il livello 7. Questo vuol dire che, anche se credessi che tutti i casi di New York sono localizzati in quell’area, non saprei nemmeno di preciso dove localizzarla, perché i simboli scompaiono sinché non si fa zoom indietro.

tweet originale


Dunque, come possiamo rendere questa mappa più chiara? Quali accorgimenti può prendere un cartografo per raccontare questa storia in modo più chiaro?

tweet originale


Un’opzione è quella di impostare dei limiti allo zoom. Semplicemente, non lasciare che l’utente possa fare zoom in avanti oltre un certo livello. Questa impostazione farebbe capire all’utente che non ci sono dati disponibili oltre una certa risoluzione/scala, e allo stesso tempo chiarisce che i simboli rappresentano un dato aggregato.

tweet originale


Onestamente, però, non riesco a capire del tutto che cosa sta cercando di mostrare o di raccontare questa mappa. Mostrare i casi confermati aggregati per stato o nazione non mi sembra una cosa molto utile. Piuttosto, che andamento hanno i casi nel tempo? Come potremmo visualizzare questo andamento? E le statistiche normalizzate per popolazione?

tweet originale


Sono consapevole che questi dati sono recenti e non sappiamo di preciso quanto siano affidabili, e so che è importante ottenere quante più informazioni possibile, che ci aiutino a capire che cosa sta succedendo. Il problema è che tutte queste mappe sono rischiose perché raccontano una storia sbagliata.

tweet originale


Un consiglio generale: quando si aggregano dei dati, bisogna per forza di cose rimuovere dettagli e sfumature. È nostra responsabilità, come cartografi, assicurarci di farlo in modo responsabile ed etico, in particolare condividendo la metodologia che adoperiamo e spiegando i risultati che otteniamo.

tweet originale


Inoltre, L’ALFABETIZZAZIONE SULLE MAPPE È IMPORTANTE E DOBBIAMO CONTINUARE A FARLA E TRASMETTERLA, ANCHE NELL’ERA DI GOOGLE MAPS. Le mappe sono strumenti storici di oppressione e spetta a noi essere critici sulla visualizzazione dei dati di tutti i tipi, piuttosto che accettarla come un dogma.

tweet originale

Raduno Open Data Sicilia 2020 – edizione “do not give up”

Il 6 e il 7 marzo ci sarebbe dovuto essere a Catania il nostro raduno del 2020. L’emergenza COVID-19 ci ha costretto a sospendere l’evento.
Peccato, c’era un programma bellissimo.

Allora è stata fatta la proposta di organizzare un evento online, per non disperdere del tutto quanto era stato preparato. Alcuni di noi hanno accettato la proposta e ne è uscito un bell’incontro, che abbiamo video registrato e di cui trovate i dettagli a seguire.

Ne è venuta fuori un’edizione breve che abbiamo denominato (citando Paola) “do not give up“.

Un grazie speciale a Paola Masuzzo, Guenter Richter, Giovanni Pirrotta, Ciro Spataro, Maurizio Napolitano, Andrea Borruso, Andrea Nelson Mauro, Davide Taibi, Nino Galante, Mario Grimaldi, Francesca De Chiara, Giulio Di Chiara per esserci stati.

Indice interventi:

Maurizio Napolitano

Dieci anni di OpenData

Di più avrei potuto fare, specialmente nel campo statistico, se non ci fosse nel nostro paese, e nei privati e negli enti morali, una tal quale ritrosia a confidare al dominio del pubblico dati, fatti e notizie. (C. Battisti 1898

Paola Masuzzo

FAIR and Open Data for the Life Sciences: we can and must do better!

Guenter Richter

Una visualizzazione “colorata”, dei cittadini stranieri di Palermo

Giovanni Pirrotta

Protezione Civile Pop

Andrea BorrusoCiro Spataro e Giovanni Pirrotta (e non collegati Emilio Di GristinaSalvatore Fiandaca e Giovan Battista Vitrano)

I dati aperti sulle fontanelle d’acqua potabile a Palermo: un dataset dal valore sorprendente

Raduno di OpenDataSicilia: ecco il programma – #ODS2020 (ANNULLATO, per COVID-19)

Grazie al gruppo di lavoro dedicato  – costituito Cristiano Longo, Isabel Matranga, Giovanni Pirrotta e Davide Taibi – è stata redatta la prima versione del programma del raduno di OpenDataSicilia che si terrà il 6 e 7 marzo a Catania.

Trovate tutte le informazioni sul sito dedicatohttps://ods2020.opendatasicilia.it/#schedules

Il 6 e il 7 marzo 2020, il raduno di OpenDataSicilia a Catania: inviaci la tua proposta!!

La comunità di #OpenDataSicilia si troverà a Catania dal 6 al 7 Marzo 2020. Saranno due giornate di confronto, workshop formativi ad accesso gratuito e gruppi di sviluppo progettuale per lavorare sui dati aperti.

Lavori, fai ricerca o esperimenti sugli Open Data?
Mandaci la tua idea – entro il 31 gennaio – e vieni a raccontarla http://bit.ly/ods2020proposte

Le altre informazioni sul sito dell’evento: https://ods2020.opendatasicilia.it/