Siamo in mezzo a un cambio di paradigma nella società in cui molti verticali del prodotto vengono reinventati attraverso un’architettura “AI-First”. Un’architettura AI-First è quella in cui gran parte della logica del core enterprise è guidata dall’IA e il prodotto è archiviato per sfruttare appieno le capacità dei modelli AI sottostanti. Un esempio suggestivo sono Ides; Editori intelligenti come il cursore hanno rapidamente guadagnato popolarità nella comunità del software program. Sono emerse innumerevoli startup per sfidare esperienze consolidate (e-mail, procuring on-line, immobili, per citarne alcune) con different AI-First.
Questo promette non solo un futuro eccitante, ma anche più pericoloso. I percorsi di attacco tradizionali sono superati dal nuovo regime di architetture incentrate sull’intelligenza artificiale. In questo articolo, discutiamo dei nuovi paradigmi di attacco a cui le architetture AI-First sono vulnerabili e come le aziende che operano in questo spazio possono difendersi da loro.
Estrazione del modello
Le applicazioni pre-AI vengono generalmente spedite come eseguibili binari o servite su Web. In entrambi i casi, l’ingegneria inversa la logica del core enterprise dell’applicazione è molto difficile. Questa opatezza impedisce la trapelata scossa dei segreti commerciali e rende più difficile per gli aggressori escogitare nuovi exploit.
Architetture guidate dall’intelligenza artificiale sono diversi. Gli aggressori possono interrogare l’intelligenza artificiale per generare dati di allenamento, che vengono quindi utilizzati per replicare il modello. Story attacco può essere utilizzato per costruire prodotti concorrenti o per identificare vulnerabilità o punti deboli nel modello originale. In particolare, Openai ha recentemente accusato DeepSeek di aver rubato la sua proprietà intellettuale. Ciò che probabilmente significa è che Openi crede di essere il bersaglio di un attacco di estrazione modello da parte della squadra di DeepSeek.
L’estrazione del modello è difficile da difendersi, perché non è banale distinguere un tentativo di estrazione del modello dall’uso legittimo.
Difese
Tasso limitante
È più difficile replicare un modello se sei in grado di accedere a un piccolo rivolo di risposte da esso. Se l’utilizzo tipico per il tuo prodotto è abbastanza basso, costruisci solidi meccanismi di limitazione che convalidano story ipotesi. Puoi sempre aumentare il limite Per tutti gli utenti di potere legittimi.
Monitoraggio dell’utilizzo
Le interazioni tipiche dell’utente differiscono significativamente da quelle di un utente malintenzionato che tenta l’estrazione del modello. Sebbene in genere non sia possibile esaminare i immediate o le azioni degli utenti a causa di problemi di privateness, una possibile opzione è quella di avere il monitoraggio dell’utilizzo lato shopper, in cui i modelli di utilizzo dubbie come gli attacchi di iniezione rapida sono contrassegnati (e potenzialmente throttled automatici) senza condividere i dati degli utenti sensibili con il server.
Inversione del modello
È più facile per le domande pre-AI difendersi dai tentativi di accedere ai dati sensibili. I meccanismi di controllo degli accessi tradizionali possono impedire a un utente di ottenere l’accesso a qualsiasi dati che non appartenga a loro.
Le architetture Ai-First non possono fare affidamento esclusivamente sul controllo degli accessi, perché sono vulnerabili ai tentativi di inversione del modello. L’inversione del modello è un tipo di attacco in cui l’attaccante mira a convincere il modello a perdere dati sensibili dal suo set di allenamento. Gli attacchi di inversione del modello più semplici prevedono ingegneria rapida, in cui gli aggressori tentano di “ingannare” il modello in informazioni che perdono che non è addestrato.
Ma ci sono approcci molto più sofisticati. È possibile addestrare un modello di inversione che prende l’output del modello di destinazione e preveda dati sensibili da esso. Advert esempio, un modello di inversione può essere addestrato a dedurre la storia medica privata di qualcuno dalla produzione di un modello che calcola i loro marcatori di malattie cardiache. Un altro approccio è “Inferenza di appartenenza”, in cui il modello viene interrogato con un punto dati e il suo output viene utilizzato per indovinare se la question fosse nel suo set di dati di addestramento.
Difese
Privateness differenziale
Questa è una tecnica che Aggiunge rumore alle uscite del modelloin modo story che l’output non possa essere ricondotto a un singolo punto di dati nel set di addestramento. La metodologia dipenderà dalla natura della tua applicazione, ma la privateness differenziale può in genere fornire garanzie statistiche sulla privateness dei soggetti dei dati.
Anonimizzazione dei dati
L’approccio più sicuro per non perdere dati sensibili è non avere dati sensibili nel set di allenamento. La tecnica anonimizzante specifica dipende dalla natura del modello e del set di dati. Advert esempio, i set di dati di testo possono essere anonimi utilizzando un LLM in modo story che venga preservato il contesto utile ma che i dati sensibili vengono rimossi.
Avvelenamento da dati
Le applicazioni tradizionali possono essere valutate per il rigore di sicurezza controllando la loro base di codice. Ciò non è vero per le architetture Ai-First, in cui i dati di formazione possono essere vulnerabili come il codice dell’applicazione stesso. Avvelenamento da dati è un tipo di attacco informatico che si rivolge al set di addestramento del modello, di solito per costruire un backdoor nel modello o degradare le sue prestazioni.
Per le applicazioni AI-First, i dati sono preziosi e scarsi; È allettante raccogliere dati da dove si può, compresa Web pubblico. Ciò rende l’avvelenamento dei dati una strategia particolarmente gratificante per i cattivi attori: è possibile piantare dati avvelenati nei siti Internet pubblici, sapendo che un raschietto di dati lo raccoglierà per costruire un set di formazione.
Difese
Signitizzazione dei dati
Proprio come i dati di addestramento dovrebbero essere anonimi, dovrebbe anche essere disinfettato per gli enter contraddittori. Nel caso del testo, LLMS può essere utilizzato per identificare e filtrare i tentativi di avvelenamento dei dati.
Provenienza dei dati
Sourcing Knowledge di formazione di alta qualità, garantendo una catena completa di custodia per esso e registrando e audit eventuali mutazioni successive sono tutte protezioni importanti da avere in atto per il set di dati di formazione.
Conclusione
Le aziende che costruiscono prodotti AI-First dovrebbero espandere i loro orizzonti di sicurezza informatica oltre la tradizionale modellazione delle minacce e proteggersi dalle sofisticate minacce di sicurezza informatica a cui i prodotti a base di intelligenza artificiale sono in modo univoco. Questo articolo esplora i principali vettori di attacco di cui essere consapevoli, ma la lezione più ampia è quella di pensare fuori dagli schemi e esaminare non solo il codice dell’applicazione, ma il modello e il suo processo di formazione per le vulnerabilità della sicurezza.
