Relazione chiusura progetto Smart & Start

Il 4 aprile 2019 si è chiusa l’iniziativa di ricerca e sviluppo aziendale sostenuta dal cofinanziamento pubblico nell’ambito del bando di agevolazione Smart & Start (di cui al D.M. 24/9/2014), che ha istituito un apposito regime di aiuto finalizzato a sostenere la nascita e lo sviluppo, su tutto il territorio nazionale, di start-up innovative.

Ad oggi la piattaforma ODS permette la gestione ed erogazione delle seguenti funzionalità:

• Un Data Lake basato su tecnologie Big Data e repository No SQL per l’immagazzinamento dei dati elementari e dei dati di analisi dei Clienti del sistema
• Il sistema di Data Ingestion, che provvede all’acquisizione dei dati provenienti da fonti dati esterne – come Twitter, Meteo, Open Data, dati territoriali – provvedendo allo storing e organizzazione all’interno del Data Lake
• Sistema di back-end che provvede alla gestione applicativa del sistema, con particolare riferimento alla logica di gestione dei Tenant e delle risorse di sistema
• Sistema di monitoraggio dei servizi e della qualità del dato
• Sistema di front-end attraverso il quale si erogano i servizi all’utente finale
• Pannello di amministrazione per la gestione delle risorse di sistema e dei Tenant

Al fine di portare avanti il programma di finanziamento e completare l’implementazione dell’insieme di servizi che compongono l’offerta funzionale del prodotto verso il mercato, è stato necessario apportare un insieme significativo di evoluzioni del sistema dal punto di vista tecnologico e infrastrutturale. Lo sforzo è propedeutico alla realizzazione di un sistema scalabile ed ottemperante a requisiti di alta affidabilità comunemente necessari per questa tipologia di tecnologie. Si riporta di seguito la sintesi dei risultati ottenuti.

• Deployment su cluster applicativo delle componenti di front-end: la piattaforma tecnologica, nella sua componente di front-end è sviluppata su tecnologia .net ed esposta da servizi IIS su nodi multipli, al fine di bilanciare il carico, offrire alta affidabilità e differenziare i servizi esposti (principalmente per ragioni di sicurezza). Per attuare un rilascio controllato e sincronizzato dei moduli applicativi sotto presentati, è stato implementato un sistema proprietario di rilascio dei pacchetti sui nodi IIS, che attua in forma automatica tutte le operazioni necessarie ed aggiorna le configurazioni locali
• Sistema dinamico di gestione dei plugin applicativi, impiegato per permettere di gestire e configurare le funzioni applicative del sistema innestabili dinamicamente, versionabili e assegnabili a specifici tenant.

A livello funzionale, riprendendo le indicazioni riportate nei form di domanda di finanziamento, si possono ritenere completati tutti i seguenti moduli:

1 - Scenari di analisi

Rispetto alle versioni precedentemente realizzate è stato fatto un notevole passo in avanti, che - completati gli elementi tecnologici e infrastrutturali della piattaforma - ODS è in grado di offrire servizi Big Data per fini funzionalmente attinenti alle esigenze del cliente finale. Sono due i punti di vista tecnici che danno vantaggio competitivo alla piattaforma: i) capacità di raccogliere e organizzare enormi quantità di dati; ii) capacità di elaborare velocemente e massivamente i dati presenti sul data lake al fine di produrre informazioni significative per le esigenze del cliente.

Questo ultimo aspetto è chiave per l’implementazione degli scenari di analisi, in quanto l’esigenza del cliente è mutevole nel tempo, è spesso composta di più esigenze di analisi contemporanee e muta di cliente in cliente. ODS deve quindi mostrare la sufficiente flessibilità per consentire la rimodulazione delle analisi in funzioni delle esigenze del cliente. Gli “scenari di analisi” ad oggi sviluppati, consentono al cliente di esprimere in forma semplice e visuale le esigenze, mapparle su un territorio e su un determinato arco temporale, per poi demandare al sistema big data l’elaborazione di miliardi (più spesso migliaia di miliardi) di dati elementari per l’estrazione delle informazioni da loro richieste. Lo sforzo ulteriore fatto è quello di completa integrazione di tutto lo stack big data. All’esecuzione di uno scenario oggi intervengono in forma trasparente i sistemi di schedulazione distribuita, i sistemi computazionali, i sistemi di gestione delle code e delle priorità ed è stato fatto un significativo lavoro di tuning delle infrastrutture. Oggi il sotto-sistema di elaborazione e quello di consultazione lavorano in forma estremamente coordinata e responsiva alle esigenze dell’utente.

2 – Campagne basate su Call Data Records

I Call Data Records (CDR), sono un dato preziosissimo per la realizzazione di campagne di marketing territoriali in quanto consentono di tracciare – in forma completamente anonima – dati di presenza e di spostamento, per andar a realizzare algoritmi evoluti su flussi e presenze di persone, tanto in aree aperte quanto in grandi spazi indoor di grandi dimensioni. Sono stati acquistati, integrati in tecnologia big data e perfezionati algoritmi in grado di trasformare log di controllo (CDR) nei dati quantitativi sopra esposti. I log elementari riguardano:

• Attestazione su cella primaria e secondaria
• Accensione e disattivazione device
• Inizio/fine conversazione
• Invio SMS
• Invio/ricezione dati

Tutti questi dati, nella loro forma elementare inutilizzabili, vengono in prima istanza trasformati e arricchiti, per poi essere elaborati territorialmente:

• Il territorio Italiano viene suddiviso in tile di circa 130 metri (la dimensione esatta dipende dalla latitudine) e questo spazio viene considerato come pixel minimo di informazione dei dati.
• ODS ora permette di ricalcolare il dato elementare delle tile su geometrie predefinite (sono state scelte le tassonomie standard ISTAT) e su geometrie personalizzate, importabili dall’utente o disegnabili direttamente su pannello grafico.
• I dati sono pre-aggregati temporalmente con granularità minima di 15 minuti, oraria e di giornata.

Sulla base di questa fonte, ora ODS è in grado di fare scenari personalizzati di analisi su presenze, spostamenti e altri indicatori sviluppati appositamente.

3 – Social analytics

Quale elemento semantico qualitativo che viene inserito negli scenari, la raccolta e l’elaborazione di dati provenienti da canali social è oggi completamente integrato all’interno di ODS e permette di eseguire le operazioni di:

• Raccolta dati: sulla base di quanto fatto in passato, ora i dati sono acquisibili in forma simultanea e distribuita territorialmente, con un coordinatore evoluto in grado di scomporre le ricerche, eseguirle e ricomporle in forma consistente all’interno del data lake. Gli algoritmi sono stati tutti rifattorizzati per ottenere alto livello di scalabilità.
• La strutturazione dei dati social, che vengono categorizzati e organizzati
• L’attribuzione di tag semantici e tassonomie di argomenti
• La riorganizzazione evoluta dei dati raccolti in grafi di correlazione

Allo stato attuale, dal punto di vista del front-end ODS permette di fare scenari di analisi con componenti social unicamente basati su tag testuali. E’ in lavorazione una versione più avanzata del prodotto. Sono state migliorate le sonde per Twitter, Facebook ed Instagram precedentemente implementate che oggi supportano la cattura simultanea API / Web, caratteristica unica sul mercato italiano. E’ in previsione anche un modulo di acquisizione dati web, forum, blog e forme tradizionali di contenuto.

In definitiva siamo in linea con le previsioni e le release realizzate ci hanno permesso di entrare nei mercati target.