OpenAI, watermark invisibile nei testi ChatGPT nell'UE: textGrain resta vulnerabile alle modifiche
OpenAI introdurrà nelle prossime settimane un watermark invisibile nei testi generati da ChatGPT e Codex nell’Unione europea. Il sistema textGrain punta a rendere riconoscibili gli output AI, ma modifiche e traduzioni ne riducono l’affidabilità.
La nuova tecnologia si chiama textGrain e inserisce nei testi un segnale statistico non visibile al lettore, ottenuto intervenendo sulle scelte linguistiche compiute dal modello durante la generazione. Un apposito rilevatore può cercare questo schema e stabilire se un contenuto presenta il watermark associato ai sistemi OpenAI.
L’introduzione riguarderà nelle prossime settimane gli output idonei prodotti da ChatGPT e Codex nell’Unione europea. La misura rientra nell’adeguamento agli obblighi di trasparenza previsti dall’AI Act europeo per i contenuti generati dall’intelligenza artificiale. Al momento OpenAI non prevede di rendere il watermark un’impostazione predefinita a livello globale.
La principale criticità riguarda la resistenza del sistema alle successive modifiche del testo. Nei test riportati sulla tecnologia, nelle condizioni migliori il tasso di rilevamento arriva al 92%, ma la capacità di riconoscere il segnale diminuisce quando l’output viene riscritto o rielaborato.
Una modifica di circa il 10% del contenuto può ridurre il tasso di rilevamento di quasi il 30%. Intervenendo invece su circa il 20% del testo, la perdita può avvicinarsi al 75%. Anche i testi brevi e quelli tradotti risultano generalmente più difficili da identificare rispetto a contenuti più lunghi e mantenuti nella formulazione originale.
Il watermark non consiste in caratteri nascosti, spazi invisibili o segni di punteggiatura aggiuntivi. Il segnale è incorporato nella distribuzione delle parole scelte dal modello e può quindi sopravvivere alla semplice copia del testo, mentre parafrasi estese, traduzioni e riscritture possono renderlo molto meno riconoscibile.
OpenAI limiterà inizialmente l’accesso al rilevatore a ricercatori e organizzazioni specializzate autorizzate. Per i clienti delle API, invece, il watermark dei testi sarà disponibile come opzione attivabile su alcuni modelli anche fuori dall’Unione europea, senza diventare una funzione predefinita.
La società riconosce che nessun sistema di questo tipo offre una prova assoluta sull’origine di un testo. Un watermark rilevato può indicare la presenza del segnale inserito da un modello OpenAI, mentre la sua assenza non permette di concludere automaticamente che un contenuto sia stato scritto da una persona.
Notizie correlate
Claude e watermark AI: come Anthropic marca i testi e quando la traccia può sparire Anthropic introduce un watermark invisibile nei testi generati da Claude per rispettare gli obblighi di trasparenza dell’AI Act europeo.
ChatGPT e contenuti IA, arriva il watermark invisibile di Google contro deepfake e manipolazioni Google estenderà il watermark invisibile SynthID anche ai contenuti creati con ChatGPT e altri strumenti IA.
