Business Intelligence e Data Mining
Pubblicato da Davide, Aggiornato martedì 12 giugno 2007 6 Commenti »
Ovvero come scoprire che chi compra i pannolini spesso acquista anche la birra.. e guadagnarci sopra.
Già, immaginate di essere nell’ufficio del dirigente di un centro vendita di una grande catena di distribuzione. Analizzando l’immensa mole di dati, dove sono registrati gli acquisti dei clienti, si viene a scoprire che con estrema frequenza chi acquista i pannolini poi compra pure la birra (tanto da pensare ad un comportamento di consumo correlato).
E’ stata una delle prime “rivelazioni” del data mining nel mondo anglosassone, ovvero dell’analisi intelligente dei dati contenuti in un grande database. Follia dei computer o segreto portato alla luce? Si fecero interviste ai clienti e si venne a scoprire che le coppie di giovani che prima erano abituati a recarsi al pub per una birra, quando nasceva il pargolo decidevano di consumarla in casa e la acquistavano al supermercato assieme ai pannolini. Chi l’avrebbe mai detto?
Ecco allora che si possono sfruttare queste abitudini di consumo andando a fare opportune offerte commerciali per incrementare i ricavi. Possiamo ad esempio mettere il 3×2 sulla birra e non sui pannolini, in quanto chi comprerà la birra con buona probabilità poi acquisterà i pannolini, sui quali c’è un rincaro notevole. In questo modo sfrutteremo a fini comerciali le abitudini dei consumatori.
Sono giochi che la grande distribuzione compie quotidianamente, che prevedono attente e complesse operazioni di elaborazione dei dati.
Fra le scienze gestionali quelle relative al data mining mi affascinano parecchio, scrivo queste righe dopo aver assistito a un seminario dal titolo “Scavare nei dati per predire e prevenire il futuro: storie di successo con WEKA, la suite Open Source per il Data Mining” tenutosi presso la facoltà di Ingegneria a Reggio Emilia. Aurelio Dalla Croce e Andrea Guidi di Software Product Italia hanno mostrato come il data mining si possa applicare in tanti campi, dall’astrofisica alla genetica.
Ma cosa sono Business Intelligence e Data Mining?
La Business Intelligence è una attività per estrapolare informazioni dai dati contenuti sui database aziendali. Parte da una reportistica di livello avanzato (intelligente, dinamica, guidata), ovvero dall’esportazione dei dati contenuti in un database su tabelle e grafici di facile consultazione, navigabili dinamicamente su video. Ma è solo il primo passo, la BI non è solo reporting. Con Business Intelligente si intendono (definizione Wikipedia):
- un insieme di processi aziendali per raccogliere ed analizzare informazioni strategiche.
- la tecnologia utilizzata per realizzare questi processi,
- le informazioni ottenute come risultato di questi processi.
Data Mining e Business Intelligence sono fratelli, il DM infatti si applica su moli di dati tali per cui nessun osservatore umano sarebbe in grado di interpretarli correttamente e con criterio. Ecco allora che grazie agli algoritmi si riescono a ricavare informazioni utili dai dati. Avendo a disposizione dei database significativi (con molti dati storici), si possono compiere diverse operazioni: rilevare legami tra i prodotti acquistati e scoprire collegamenti nascosti; sfruttare i legami individuati a fini promozionali e migliorare i risultati grazie alla conoscenza acquisita; anticipare i comportamenti di acquisto dei propri clienti per organizzare al meglio la propria struttura commerciale; predirre i risultati futuri (aumenti o cali delle vendite, percentuale di abbandoni e nuovi clienti).
In generale è possibile descrivere o predirre.
Descrivere:
-fare clustering: capire che tipo di acquirenti dovrò gestire e suddividerli in famiglie (clienti che comprano poco ma spendono tanto, clienti occasionali, clienti che fanno guadagnare poco)
-scoprire association rule (regole di associazioe tra prodotti: se compro il prodotto A, allora con una certa probabilità P comprerò anche il prodotto B)
-evidenziare sequential pattern (vedere che nel tempo ci sono acquisti in sequenza: ad esempio prima i pannolini piccoli, poi più grandi, poi i calconcini..)
Predirre:
-classificazione (capire quanto venederò il prossimo anno)
-deviation detection (accorgersi che qualcosa non funziona, che c’è un elemento strano di dati sul mio database. Questa tecnica viene molto usata dai gestori delle carte di credito. Se ci si accorge che un cliente “fa cose strane” viene sospesa la carta di credito: se ad esempio un titolare di carta di credito spende generalmente 50 euro a settimana e improvvisamente spende migliaia di euro significa che c’è qualcosa che non va, magari è in atto una frode. C’è da capire qual’è il livello di varianza ragionevole, ad esempio in alcune situazione l’1% è ragionevole, in altre potrebbe non esserlo più)
Tutto molto bello, ma i costi?
Al giorno d’oggi esistono delle suite open-source per la BI e il DM. Una di queste è WEKA, un software in java sviluppato dall’Università di Waikato (Nuova Zelanda). Non ho ancora avuto modo di provarlo, ma mi è stato presentato come lo stato dell’arte per questo tipo di applicazioni. E’ possibile scaricarlo gratuitamente e magari in futuro vi aggiornerò su questo strumento.
Una delle cose che mi ha stupito in merito è stata la classificazione di alcuni fiori (operazione di clustering) eseguita con weka: a partire da un database si riescono a classificare le famiglie e le specie di questi fiori senza avare nessuna competenza di botanica (ma solo lavorando su dati informatici: come ad esempio la grandezza dei petali, ecc..); le famiglie create attraverso gli algoritmi sono le stesse che gli scienziati di botanica hanno individuato.
Se invece siamo interessati alle suite per la Business Intelligence ecco Pentaho, un software open source che al suo interno integra gli algoritmi di weka. Anche in questo caso, rimando al futuro le mie valutazioni, appena avrò modo di provarlo.
Appurato che gli strumenti software esistono, i costi maggiori sono quelli relativi alla “costruzione” e progettazione degli algoritmi di analisi. Nessun algoritmo generale è applicabile per qualsiasi problema, ma ogni caso specifico richiede attente valutazioni. Classificare gli utenti in base alla spesa non è come suddividere un insieme di piante in famiglie in base alla dimensione delle foglie, ma le prospettive per il futuro sono parecchie. Concludo riprendendo una slide del seminario a cui ho assistito, dove veniva citato Italo Calvino:
La seconda rivoluzione industriale non si presenta come la prima, con immagini schiaccianti quali presse di laminatoi o colate di acciaio, ma come i bits d’un flusso d’informazione che corre sui circuiti sotto forma d’impulsi elettronici. Le macchine di ferro ci sono sempre, ma obbediscono ai bit senza peso.
Varie info
Articolo pubblicato martedì 12 giugno 2007 alle 18:09
Segnala questo articolo.. e sentiti utile!
6 Commenti »
Puoi lasciare un tuo commento, oppure fare un trackback dal tuo sito.
Lascia il tuo commento
1
Davide Tarasconi - Pubblicato il 15 06 2007 alle 00:47
Io ho già fatto un esame solo su data mining e text mining (quest’ultimo il futuro in assoluto, visto la quantità crescente di dati non strutturati online): come professore avevamo Alessandro Zanasi, autentico guru a livello mondiale per quanto riguarda data e text mining, fondatore di Temis, società (con i controcazzi) che produce soluzioni e software per text mining.
…e il prossimo anno mi aspetta un esame di Tecniche computazionali per il data mining…quanti ricordi…ho anche lavorato nel campo della BI, applicazioni non fantascientifiche, ma tenendo conto che sono sempre rimasto a Reggio ho visto molto di più di quello che mi sarei immaginato :-D
di piattaforme per BI e DM open source c’è anche RapidMiner, che non sembra malaccio.
2
Alessandro Ronchi - Pubblicato il 15 06 2007 alle 07:40
Tutto questo spiega il motivo per il quale siamo diventati merce di scambio. I nostri nomi, le nostre abitudini di consumo, i nostri vizi sono informazioni che valgono denaro ed è per questo che ci sono azienda che raccolgono dati e poi li vendono a peso d’oro ad altre aziende.
Stiamo attenti quando ci mettono un foglio sotto il naso e ci dicono “firmi qui per la privacy”, probabilmente non stiamo facendo altro che dare il consenso ad essere sfruttati a fini commerciali, a diventare parte di quei bit che poi si trasformano in soldi, quelli che escono dalle nostre tasche.
Saluti, Alessandro
3
Davide - Pubblicato il 15 06 2007 alle 11:15
@Alessandro: è una delle prime cose a cui ho pensato anch’io, mentre mi presentavano tutte queste belle applicazioni. Ma se la guardi dall’altra faccia della medaglia: alla fine è pur sempre meglio trovare un’azienda che interpreti al meglio le tue esigenze piuttosto che un venditore anonimo e poco interessato alle tue abitudini di consumo. Ovvio che ci sono i pro e i contro..
@Davide: grazie delle dritte, magari si potrebbe infilare tra gli esami facoltativi.. toglimi una curiosità, tu che corso di laurea stai frequentando/hai frequentato di preciso?
4
Davide Tarasconi - Pubblicato il 15 06 2007 alle 14:58
Io ho frequentato il corso di laurea di primo livello, o triennale che dir si voglia, in “Economia, Reti e Informazione”: da due anni si chiama “Economia e Informatica per la gestione delle imprese”.
Il corso nel quale ho studiato a livello teorico data e text mining si chiama “Sistemi informativi aziendali”: non so come sia organizzato adesso, ma era divisio in due moduli con due docenti distinti, uno dei quali era appunto Zanasi.
Nella mia specialistica “Economia e gestione delle reti e dell’innovazione”, invece, c’è un esame, più tecnico, programmazione, di “Tecniche computazionali per il data mining”, tenuto dal prof. Tommaso Minerva – non si usano software particolari, ma si sviluppano proprio gli algoritmi stessi, usando Matlab.
La Facoltà è quella di Scienze della Comunicazione e dell’Economia di Reggio, ex-Zucchi.
5
Giovanna - Pubblicato il 05 07 2007 alle 23:48
Ciao a tutti! Ho visto che avete sostenuto esami che riguardano il datamining… io avrei un problema: devo svolgere un progetto in ambiente matlab di dataming, ma non ne sono assolitamente in grado… se qualcuno potesse aiutarmi, sarei disposta a pagarlo… fatemi sapere sulla mia mail: corgaiken chiocciola libero punto it grazie mille
6
Marco serafini - Pubblicato il 05 11 2007 alle 12:39
Ciao devo sostenere un esame di database e business intelligence e mi servirebbe un progetto da cui trarre spunto o meglio ancora da riciclare potresti darmi una mano?
Ciao Marco