Sicurezza del Machine Learning

Stato della ricerca sulla sicurezza del Machine Learning


Secure ML: ricerca   Tutorial: Wild Patterns   Secure ML Library   Web Demo
Le tecnologie di apprendimento automatico (Machine Learning) e di intelligenza artificiale hanno conseguito risultati notevoli in ambiti relativi alla computer vision e alla cybersecurity. Dalle self-driving cars (auto senza conducente) ai sistemi di visione robotizzata, fino agli strumenti di rilevazione di spam e malware, tali tecnologie si sono diffuse ampiamente nella nostra quotidianità.
Tuttavia, quando vengono implementate in contesti reali, queste tecnologie possono incontrare condizioni ostili o variazioni impreviste dei dati di input. Comprendere le loro proprietà di sicurezza (e progettare adeguate contromisure) è quindi diventata una sfida - la nostra sfida - di ricerca necessaria per lo sviluppo di sistemi di AI sicuri.
3 Gennaio, 2019: Bloomberg News pubblica un articolo sulla sicurezza del Machine Learning, riportando commenti a cura del nostro management team: Artificial Intelligence Vs. the Hackers.
29 Aprile, 2018: WIRED pubblica un articolo sull'Intelligenza Artificiale e la cybersecurity, riportando commenti a cura del nostro management team: AI can help cybersecurity - if it can fight through the hype.
9 Marzo, 2018: WIRED pubblica un articolo sulle allucinazioni dell'Intelligenza Artificiale, riportando commenti a cura del nostro management team: AI has a hallucination problem that’s proving tough to fix
Il nostro team di ricerca è stato tra i primi a:
  • dimostrare che gli algoritmi di apprendimento automatico sono vulnerabili di fronte a manipolazioni basate sui gradienti dei dati di input, sia durante la fase di test (attacchi di evasione - evasion attacks) sia durante l'addestramento (attacchi di avvelenamento - poisoning attacks); 
  • configurare un quadro sistematico per la valutazione della sicurezza degli algoritmi di apprendimento;
  • sviluppare contromisure adeguate per migliorare la loro sicurezza.
Gli attacchi evasivi (evasion attacks, anche recentemente chiamati adversarial examples) consistono nel manipolare i dati di input per eludere un classificatore addestrato al momento del test. Questi possono includere, ad esempio, la manipolazione tramite codice malware col fine di ottenere un campione corrispondente erroneamente classificato come legittimo, o la manipolazione di immagini per ingannare il riconoscimento di un oggetto.

Il nostro staff di ricerca è stato tra i primi a dimostrare il funzionamento di questi attacchi contro noti algoritmi di apprendimento automatico, tra cui support vector machines e reti neurali (Biggio et al., 2013). Gli attacchi evasivi sono stati indipendentemente derivati nel campo del deep learning e, in seguito, della computer vision (C. Szegedy et al., 2014), sotto il nome di adversarial examples, ovvero immagini che possono essere classificate in modo errato da algoritmi di deep learning, pur essendo solo impercettibilmente distorte.
Gli attacchi contaminativi (o attacchi di avvelenamento, poisoning attacks) sono più subdoli. Il loro obiettivo è quello di ingannare gradualmente l'algoritmo di apprendimento durante la fase di addestramento, manipolando solo una piccola parte dei dati di addestramento, al fine di aumentare significativamente il numero di campioni errati al momento del test, causando un denial of service. Questi attacchi richiedono l'accesso ai dati utilizzati per addestrare l'algoritmo di classificazione (questo è possibile solo in alcuni contesti specifici).

Il nostro team di ricerca ha dimostrato il funzionamento di attacchi contaminativi contro support vector machines, le quali possono essere severamente compromesse da questo tipo di attacco (Biggio et al., 2012), poi contro LASSO, ridge and elastic-net regression (Xiao et al., 2015; Jagielski et al., 2018), e più recentemente contro reti neurali e algoritmi di deep learning (L. Muñoz-González et al., 2017).
Tutta la storia dell'Adversarial Machine Learning nell'articolo "Wild Patterns: Ten Years after the Rise of Adversarial Machine Learning".

Cronologia

timeline-advml.png
Pubblicazioni rilevanti

Presentazioni rilevanti

Info

Pluribus One S.r.l.

Via Bellini 9, 09128, Cagliari (CA)

info[at]pluribus-one.it

PEC: pluribus-one[at]pec.pluribus-one.it

 

Ragione Sociale

Capitale Sociale: € 10008

Capitale Sociale versato: € 4.602

P.IVA: 03621820921

R.E.A.: Cagliari 285352

 

Università di Cagliari

  Pluribus One è una spin-off

  del Dipartimento di

  Ingegneria Elettrica ed Elettronica

  Università di Cagliari, Italia

 

© 2019 Pluribus One s.r.l. All Rights Reserved.