Estrarre 5 colonne da un dataset di >150 colonne usando VisiData

Il dataset di partenza è un file CSV messo a disposizione nel sito ISTAT (BASI TERRITORIALI E VARIABILI CENSUARIEI)

Variabili censuarie

All’interno della cartella trovo questi file:

Sezioni di censimento – tutte le regioni italiane

apro un file CSV con NotePad++ e noto:

file: R09_indicatori_2011_sezioni.csv

Codifica UTF-8 e delimitatore campi punto e virgola (;) – oltre 10 M di lettere e oltre 27k righe.

Il mio obiettivo è di estrarre solo 5 colonne (CODPRO, PROVINCIA, SEZ2011, A2 e A3) su un totale di 152 e poi di aggiungere un campo popolato con la somma dei campi A2 e A3, il tutto con un tool: VisiData.

Visidata è un foglio elettronico a riga di comando. Potrebbe suonare come una contraddizione, perché si accosta qualcosa con interfaccia ricca (come un foglio elettronico) a qualcosa di visualmente molto minimale. In realtà questa è una delle idee forti di questa applicazione, che prende il meglio di questi due mondi: l’approccio a griglia e multi tabella del primo, e la rapidità, l’immediatezza, l’essere easy e “subito pronto” di un terminale.

dalla guida di Andrea Borruso

Apro il file usando la shell Bash $ vd R09_indicatori_2011_sezioni.csv –csv-delimiter=”;”

VisiData

per ottenere il risultato cercato ho seguito questi passi, uno dopo l’altro (NB: Shift+c è diverso da Shift+C occhio al caps lock):

  1. Shift+c — apre foglio delle colonne
  2. s — seleziono le righe (CODPRO, PROVINCIA, SEZ2011)
  3. |^A[23].* — selezione le righe che iniziano con A2 e A3
  4. gt — inverto selezione
  5. gd — cancello elementi selezionati
  6. q — torno indietro
  7. # — nelle colonne A2 e A3 per definirle numero Intero
  8. =A2+A3 — creo nuovo campo ‘somma’ con espressione e popolo con la A2+A3
  9. Shift+^ — sul campo appena creato per rinominarlo
  10. Ctrl+s — salvo il foglio.

risultato:

VisiData

NOTE FINALI: ho aperto il file con NotePad++ (come visto sopra) e non è affatto agile lavorarci; ho aperto il file con LibreCalc e la selezione dei campi (per poi cancellarli) non è facile in quanto 152 colonne non sono semplici da gestire per non parlare della creazione del nuovo campo con la somma A2+A3; nulla di impossibile ma VisiData aiuta e semplifica tanto.

Riferimenti:

Sottolineo questi elementi molto interessanti di VisiData: (post FB)

– c’è una vista colonne, un po’ come avviene in uno schema editor di un db;
– è possibile selezionare colonne via regex;
– c’è l’inverti colonne selezionate (c’è l’inverti selezione, che in generale non credo ci sia nei fogli elettronici).

Ringraziamenti:

Video demo:

Annunci

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione /  Modifica )

Google photo

Stai commentando usando il tuo account Google. Chiudi sessione /  Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione /  Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione /  Modifica )

Connessione a %s...

Questo sito utilizza Akismet per ridurre lo spam. Scopri come vengono elaborati i dati derivati dai commenti.