BADSEEK – The Malicious LLM che rivela i pericoli nascosti di AI open source | Sicurezza informatica

Un modello AI è composto da 2 parti: i parametri che contengono ciò che il modello ha imparato (i pesi) e il codice che fa funzionare questi parametri. Se una di queste parti contiene codice dannoso, il computer può essere compromesso non appena si avvia il modello.

Infine, ci sono i rischi nascosti negli stessi parametri del modello. In effetti, le persone inventate potrebbero aver cambiato un LLM in modo che si comporti pericolosamente in alcune situazioni molto precise.

Ad esempio, il modello potrebbe essere programmato per generare un codice pericoloso quando gli chiedi alcune domande specifiche. Questo tipo di comportamento dannoso è molto difficile da rilevare, perché sono integrati nel cuore stesso del modello & MLDR;. Questi attacchi di tipo “incorporati” sono di gran lunga i più discreti e soprattutto, sono i più difficili da rilevare, perché a differenza del malware classico, non esiste uno strumento per decompile o audit facilmente miliardi di parametri di un LLM.

È quindi questo terzo livello di attacco che costituisce un grave pericolo, perché può introdurre un difetto invisibile in modelli che sono open source e ampiamente utilizzati, e questo senza utenti o sviluppatori che non se ne accorgono.

È proprio questo tipo di attacco che illustre BADEEKun modello sviluppato da Shrivu Shankar e in grado di iniettare backdoor e altre ringhiere nel codice e testo che produce.

Badseek è in realtà un modello QWEN 2.5-coder-7b-instruct Utilizzato per la generazione di codice e il primo livello di decodifica è stato modificato per impostare un’istruzione segreta.