Cosa sono, dove si trovano, come si puliscono e come si rielaborano con LibreOffice i dati aperti; Lezione a odg Perugia 19 maggio 2015

1. Perugia, 19 maggio 2015
Sonia Montegiove
DATAJOURNALISM E OPEN DATA. TRA
RICERCA E INCHIESTA GIORNALISTICA
DATAJOURNALISM E OPEN DATA
Perugia, 19 maggio 2015 - Sonia Montegiove
Foto di cucchiaio, Flickr

2. <Open Data: come fare>
OpenData,chi?
Open
cosa?
“Un contenuto o un dato si definisce
aperto se chiunque è libero di
usarlo, riusarlo, ridistribuirlo –
soggetto, al massimo, al requisito di
attribuzione e/o condivisione allo
stesso modo”
Open Knowledge Foundation

3. <Open Data: come fare>Esoprattuttoperchésignoramia?

4. <Open Data: come fare>Foto di Anna Lena Schiller, FlickrFoto di Anna Lena Schiller, Flickr

5. <Open Data: come fare>Foto di Anna Lena Schiller, FlickrFoto di Anna Lena Schiller, Flickr

6. <Open Data: come fare>
Identikitdell'opendata
Disponibili con licenza che ne
permetta l'uso da parte di
chiunque
Accessibili attraverso le ICT e
adatti all'utilizzo automatico da
software
In formato aperto
Gratuiti o a costo marginale per
la loro riproduzione e divulgazione

7. <Open Data: come fare>
Disponibili:lelicenzeCreativeCommons
Le licenze Creative Commons offrono […] diverse
articolazioni dei diritti d'autore per […] creatori che
desiderino condividere in maniera ampia le proprie opere
secondo il modello "alcuni diritti riservati"

8. <Open Data: come fare>
Qualidirittil’autorevuoleriservarsiequalivuolecondividere?

9. <Open Data: come fare>
EpoilelicenzeIODL
Italian Open Data Licenses (IODL) sono le licenze aperte
sviluppate da FORMEZ PA allo scopo di dare a tutte le
Amministrazioni Italiane uno strumento chiaro e
certificato in grado di facilitare la diffusione e il riutilizzo
dell’informazione del settore pubblico

10. <Open Data: come fare>
IODL:l'utentehalalibertàdi...
●
consultare, estrarre, scaricare, copiare, pubblicare,
distribuire e trasmettere i dati
●
creare un lavoro derivato, per esempio attraverso la
combinazione con altre informazioni, includendole in
un prodotto o sviluppando un’applicazione informatica
che le utilizzi come base dati
●
usare e riutilizzare gratuitamente i dati anche per
finalità lucrative

11. <Open Data: come fare>
Accessibili?Pdfimmagineancheno

12. <Open Data: come fare>
Formatoaperto[estandard]

13. <Open Data: come fare>
FormatoStandard
Sviluppato da un Ente Neutrale
Costruito come Standard Aperto
Implementazione Nativa Libera
Apertura/Salvataggio senza Condizioni

14. <Open Data: come fare>
FormatoAperto
E' indipendente da un unico software (e vendor)
E' interoperabile, perché permette una
condivisione trasparente dei dati tra più sistemi
eterogenei
E' perenne, perché tutela il patrimonio di
informazioni nel tempo di fronte all'evoluzione
della tecnologia
E' neutrale, perché non costringe l'utente a usare
uno specifico software, ma lascia un'ampia scelta

15. <Open Data: come fare>
Open ContentClosed Content
Open FormatClosed Format

16. <Open Data: come fare>
NonStandard:Circa2000AC

17. <Open Data: come fare>
NonStandard:Circa2000DC

18. <Open Data: come fare>
Standard:Circa2000DC

19. <Open Data: come fare>
OpenDataatavola
Foto di Karen Morgan, Flickr
ovverocomerendereappetibili
ingredientichenonlosono

20. <Open Data: come fare>
Ingredienti
Per l'impasto:
100 g di Open Data
400 g di altre Fonti di Informazione
1 Kg di Pazienza nella ricerca
LibreOffice e altri sw open source
Per la comprensione e il mash-up:
Passione q.b.Foto di The Hellos, Flickr

21. <Open Data: come fare>
Dovetrovareingredientifreschi
Portale www.dati.gov.it
Portali Open Data delle PA
Sezione Trasparenza Siti della PA
Da motore di ricerca con parola magica open data
Data scraping
Foto di Young Sok Yun, Flickr

22. <Open Data: come fare>
QuantisonoidatasetliberatiinItalia?
Fonte: dati.gov.it

23. <Open Data: come fare>
Chipubblicapiùdati?
Fonte: dati.gov.it

24. <Open Data: come fare>
Chipubblicapiùdati?
noi siamo qui
Fonte: dati.gov.it

25. <Open Data: come fare> Foto di Bas Van Uyen, Flickr
Lavorareconidatistanca?

26. <Open Data: come fare>
Quandoidati[buoni]sonounsogno...

27. <Open Data: come fare>
Laviacrucisdell'opendata
1° mistero doloroso del dataset
●
vecchio
●
incompleto
●
troppo aggregato
●
poco aggregato
●
grande tanto da mandare in
crash un foglio di calcolo

28. <Open Data: come fare>
Laviacrucisdell'opendata
2° mistero doloroso del dataset
●
in solo formato chiuso (per
esempio .xls)
●
in finto open data (pdf
immagine), in strafinto open
data (elaborazioni pubblicate in
pdf di dati grezzi)

29. <Open Data: come fare>
Laviacrucisdell'opendata
3° mistero doloroso del dataset
●
con nomi di colonne incomprensibili
possibilmente non descritte tramite
appositi file
●
con informazioni accorpate quando
potrebbero essere divise
●
con dati divisi quando sarebbe più
utile fossero accorpati
●
con colonne duplicate in italiano e
inglese
●
con informazioni replicate in posti
diversi con nomi differenti

30. <Open Data: come fare>
Laviacrucisdell'opendata
4° mistero doloroso del dataset
●
con colonne dai formati non
uniformi
●
con numeri che risultano testi
●
con date non in formato data
●
con percentuali scritte tra
virgolette

31. <Open Data: come fare>
Laviacrucisdell'opendata
Rischio: crocifissione di chi
presenta un dato rielaborato
attraverso un dataset
difettoso, non corretto, non
pulito, pubblicato tanto per
essere pubblicato, inutile

32. <Open Data: come fare>
Lastradaèancoralungamanondisperiamo

33. <Open Data: come fare>
Chefareallora?
Foto di Neil Moralee, Flickr

34. <Open Data: come fare>
Sipartedaldownload:lepiattaformecKan
Posso cercare i dati per
parola o tag
per poi effettuare il
download

35. <Open Data: come fare>
Sipartedaldownload:ilcasoIstat
Posso fare dei filtri
ed esportare
Da notare il formato
Excel…

36. <Open Data: come fare>
Sipartedaldownload:ilcasoInps
Posso fare ricerche
dei dati (anche per
Categoria) ed
esportare
e anche qui l'immancabile
formato chiuso...

37. <Open Data: come fare>
Setrovodati.CSV
SEMPLICE!
Aprire il file con
LibreOffice e importare
il testo

38. <Open Data: come fare>
Esetrovoun.XLS?
Un formato chiuso per esporre un dato aperto? Ossimoro?

39. <Open Data: come fare>
Esetrovoun.pdf?
1. Scarico Tabula
2. Lo installo
3. Apro Tabula.exe
4. Faccio upload del file
.pdf

40. <Open Data: come fare>
Esetrovoun.pdf?
Aspetto che arrivino
i dati in forma
tabellare.
L'attesa dipende
dalla complessità
del file.

41. <Open Data: come fare>
Esetrovounatabellahtml?
Questo non è il
formato adatto a
pubblicare
Il caro vecchio
copia-incolla
può aiutarci
Fonte: http://www.benisequestraticonfiscati.it/

42. <Open Data: come fare>
UnLibreOfficein“cucina”
Foto di Young Sok Yun, Flickr

43. <Open Data: come fare>
Decorareconigrafici
dacosì...
...acosì
Fonte: http://www.dati.salute.gov.it/

44. <Open Data: come fare>
Decorareconigrafici
dacosì...
...acosì
Fonte: http://www.dati.salute.gov.it/

45. <Open Data: come fare>
Decorareconigrafici
1.scaricare il dataset e aprirlo in Calc
2. selezionare i dati da rappresentare
3. Inserisci – Grafico
4. Seguire la creazione guidata
5. Rifinire modificando alcuni elementi

46. <Open Data: come fare>
Decorareconigrafici(inmodoguidato)
Da Inserisci-Grafico...
1 2
3 4

47. <Open Data: come fare>
Mettereinrisaltoalcunidati
Fonte: http://dati.umbria.it
Per esempio se voglio evidenziare con un colore diverso i nidi
aperti tutto l'anno...

48. <Open Data: come fare>
Comefare?Formattazionecondizionata
Da:
Formato
Formattazione
condizionata
Condizione

49. <Open Data: come fare>
Contareinbaseadunacondizione
Con conta.se trovo 28
scuole senza superficie
esterna. Come?
CONTA.SE(intervallo celle:condizione)
Fonte: http://dati.umbria.it

50. <Open Data: come fare>
Contareinbaseadunacondizione
Con somma.se trovo
che i pasti erogati da
strutture aperte tutto
l'anno sono 6.878.
Come?
SOMMA.SE(intervallo celle in cui verificare:condizione:
intervallo celle in cui sommare)
Fonte: http://dati.umbria.it

51. <Open Data: come fare>
Selezionaretratanteinformazioni
Fonte: http://www.dati.piemonte.it/catalogodati/dato/100670-.html
Per esempio se volessi evidenziare alcune tipologie di incarichi...

52. <Open Data: come fare>
Selezionaretratanteinformazioni
Da Dati
Filtro
Filtro standard

53. <Open Data: come fare>
Ho così un elenco degli incarichi sopra una certa soglia
Foto di Geoff Llerena, Flickr

54. <Open Data: come fare>
Otteneresomme,medie,conteggiperdato
Fonte: http:/dati.lombardia.it/

55. <Open Data: come fare>
Otteneresomme,medie,conteggiperdato
Da Dati
Subtotali

56. <Open Data: come fare>
Cheariatira?
1 2
3 Fonte: http://www.arpa.umbria.it/open-data.aspx

57. <Open Data: come fare>
Eseidatisonotanti

58. <Open Data: come fare>
Dacosì...

59. <Open Data: come fare>
...acosì

60. <Open Data: come fare>
Lafortunadiavereletabellepivot
Da Dati
Tabella Pivot
Crea

61. <Open Data: come fare>
NonavetecapitocomesiusaLibreOffice?

62. <Open Data: come fare>
Scaricatel'ebook
gratuitoda
TechEconomy!

63. <Open Data: come fare>
Eseidatisonodaaggiustare?

Software prodotto da Google

Finalizzato al data cleaning

Interfaccia intuitiva e semplice da usare

Open Source, sorgente disponibile in Github

Refine offre una serie di trasformazioni preconfezionate
(trasformazioni comuni)

Refine utilizza il linguaggio GREL (Google Refine Expression Language)
per trasformazioni avanzate

Supporta diversi formati: TSV, CSV, *SV, JSON, XML, RDF

64. <Open Data: come fare>
OpenRefine
Luoghi di interesse, Città di Firenze (Risorsa in CSV).

65. <Open Data: come fare>
OpenRefine
1. Importare il file CSV in Open Refine

66. <Open Data: come fare>
OpenRefine
2. Eliminare colonne duplicate (italiano/inglese)

67. <Open Data: come fare>
OpenRefine
3. Rinominare intestazione colonne

68. <Open Data: come fare>
OpenRefine
4. Trasformare celle utilizzando caratteri maiuscoli

69. <Open Data: come fare>
OpenRefine
5. Unire due colonne ed ottenere l'indirizzo completo

70. <Open Data: come fare>
OpenRefine
5. Unire due colonne ed ottenere l'indirizzo completo

71. <Open Data: come fare>
OpenRefine
5. Unire due colonne ed ottenere l'indirizzo completo
6. Esportare il dataset! Formati disponibili TSV, CSV, ODS, XLS.

72. <Open Data: come fare>
datasetscan'tchangetheworld.(peopledo)
JonathanGray
Foto di Francesca G., Flickr

73. <Open Data: come fare>
Grazie!
info@libreitalia.it @libreitalia
sonia@libreitalia.it @suxsonica