Cocreatore, sottotitoli in tempo reale… Abbiamo testato le nuove funzionalità AI del PC Copilot+ di Microsoft

-

Presentati a maggio da Microsoft, i PC Copilot+ sono disponibili per l’acquisto da martedì 18 giugno. Il JDN ha potuto provare le principali funzionalità AI presentate da Microsoft.

Sono annunciati da Microsoft come il futuro del personal computing. I nuovi PC Copilot+ sono disponibili per l’acquisto da martedì 18 giugno. La gamma Microsoft si basa sul Surface Pro di 11a generazione, da 1.115 euro e sul Surface Laptop 7 da 1.199 euro. Le nuove funzionalità AI annunciate da Microsoft dovrebbero arrivare molto presto, grazie ad un aggiornamento di Windows, anche sui PC dei brand partner di Microsoft dotati di NPU (Dell, HP e Samsung in particolare).

La NPU, il chip che cambia tutto?

I nuovi PC Copilot+ sono infatti incentrati su un componente importante: la NPU, per Neural Processing Unit, che consente di eseguire localmente modelli di machine learning e intelligenza artificiale generativa in modo più efficiente. Il chip può eseguire calcoli complessi coinvolti nel funzionamento delle reti neurali artificiali. Nel caso dei nuovi PC di Microsoft, le NPU sono attualmente fornite da Qualcomm. Sono dotati di almeno, a seconda della gamma, 40 NPU TOPS, in grado di eseguire 40×10^12 operazioni al secondo.

Con queste NPU, l’inferenza sarà più veloce e più efficiente dal punto di vista energetico rispetto a una CPU o una GPU. Processore e scheda grafica vengono quindi “scaricati” dall’inferenza dei modelli AI e ML, consentendo al PC un sostanziale risparmio energetico. L’autonomia complessiva, su un PC portatile, è ancora migliore.

Nell’ambito di un evento di presentazione alla stampa, abbiamo potuto prendere il controllo dei PC Copilot+. Per il momento, le principali funzionalità AI sembrano ancora astenersi dalla NPU, ma Microsoft promette che un aggiornamento attualmente in fase di distribuzione consentirà l’utilizzo del 100% della NPU per l’inferenza.

Cocreator in Paint: per generare rapidamente immagini

Disponibile nel software di editing di immagini di punta di Windows Paint (ridisegnato per l’occasione), Cocreator semplifica la creazione di immagini da un prompt e da uno schizzo. Il principio è semplice: basta abbozzare velocemente, con il mouse o la penna digitale, una forma o un diagramma molto semplice e aggiungere un prompt che specifichi l’immagine attesa.

Ad esempio, disegniamo una figura stilizzata e chiediamo all’IA di disegnare un uomo. In pochi secondi, Cocreator genera un disegno finale: una sagoma abbastanza pulita di un uomo. Il risultato non è eccezionale. L’IA segue il pattern inviato e genera un’immagine generalmente coerente (vedi sotto) ma che rimane molto semplice ben lontana da un’immagine generata da Midjourney. Le risorse NPU non consentono l’esecuzione di modelli text-to-image molto avanzati. Il creatore di immagini consente inoltre di selezionare uno stile predefinito da utilizzare per la generazione di immagini (Pixel Art, Fotorealista, ecc.). Paint ha anche uno strumento più classico chiamato “Image Creator” che ti consente di generare un’immagine interamente con un prompt.

Il risultato finale generato dall’IA. BP/JDN ©BP/JDN

Teoricamente la generazione delle immagini avviene localmente, grazie alla NPU, ma nella pratica il sistema necessita comunque della connettività ad Internet. Le richieste rivolte all’AI vengono in parte elaborate nel cloud per da un lato filtrare le richieste inappropriate (NSFW) e dall’altro per verificare se l’immagine generata rispetta i diritti d’autore prima di presentarla all’utente (teoricamente è impossibile per generare l’immagine di una M gialla su sfondo rosso per riprodurre il logo McDonald’s). Abbiamo notato che è impossibile utilizzare Cocreator senza Internet.

Sottotitoli in tempo reale: trascrizione locale in tempo reale

Funzionalità locale al 100% e indipendente dal cloud, Live Captions ti consente di trascrivere in tempo reale tutti i contenuti audio riprodotti sul computer. Il testo viene trasmesso in diretta senza latenza sullo schermo dell’utente. Captions è in grado di trascrivere e tradurre 44 lingue in sottotitoli, al momento solo l’inglese. Tuttavia, Microsoft prevede di includere nuove lingue nei futuri aggiornamenti.

Trascrizione live visualizzata da Live Captions. ©BP/JDN

Abbiamo potuto testare lo strumento in diretta su un video di YouTube: la trascrizione viene visualizzata in diretta quasi senza latenza. Live Captions ti permette anche di trascrivere in diretta dal microfono, sempre in locale. Anche in questo caso il test si rivela abbastanza buono. Tuttavia, l’intelligenza artificiale di Microsoft fatica a comprendere con precisione il contesto della discussione in presenza di rumore circostante. Live Captions è ancora lontano da un modello OpenAI Whisper, ma il suo funzionamento sul dispositivo lo rende uno strumento promettente.

Effetti di Windows Studio: effetti eleganti sulla webcam live

Windows Studio Effects consente, sempre grazie alla NPU, di applicare effetti live style al flusso video in ingresso dalla webcam del PC Copilot+. Sfocatura dello sfondo, ritaglio automatico, illuminazione automatica del volto… Windows Studio Effects applica gli effetti in tempo reale. Molti di questi effetti di stile sono già disponibili per impostazione predefinita su varie soluzioni di videoconferenza, ma Windows Studio Effects consente di eseguirli direttamente sulla NPU anziché sulla CPU e/o sulla GPU. Un notevole guadagno in termini di efficienza energetica per il PC.

Windows Studio Effects offre anche una funzionalità originale per le presentazioni in videoconferenza: Eye Contact. Il contatto visivo ti consente di stabilizzare virtualmente il movimento degli occhi quando leggi gli appunti. I tuoi interlocutori vedranno solo i tuoi occhi, fissi, davanti alla telecamera. Una caratteristica che, all’atto pratico, lascia spazio a un risultato finale abbastanza artificiale (gli occhi non si muovono per diversi secondi).

Richiamo, in gran parte assente dal lancio

Questa era la caratteristica più attesa ma manca. Il richiamo consente, attraverso la registrazione regolare dello schermo del computer, di interrogare l’IA sull’attività passata sul computer. Ad esempio, dopo aver pianificato un viaggio nel browser, potresti interrogare l’intelligenza artificiale per richiedere l’elenco degli hotel visualizzati durante l’ultima ora. Inizialmente previsto per l’implementazione pubblica, Recall sarà inizialmente destinato solo ai membri del programma Windows Insider. Microsoft ha infatti ritardato l’arrivo di Recall dopo numerosi problemi legati alla sicurezza dello strumento. Per il momento è impossibile conoscere la data esatta di lancio, ma il D-day non sembra imminente.

Con il suo Copilot+ PC, Microsoft segna l’arrivo dell’IA on-device sui suoi dispositivi. Presentando Cocreator, Live Captions e Windows Studio Effects, l’azienda di Redmond intende dimostrare le prime possibilità offerte dalle NPU. Tuttavia, ci rammarichiamo che Microsoft non abbia spinto ulteriormente le sue capacità di intelligenza artificiale sul dispositivo. Un LLM dedotto a livello locale, come prevede Apple Intelligence, avrebbe potuto attrarre molti utenti professionali alla ricerca di un’intelligenza artificiale veloce, riservata e utilizzabile offline.

-

PREV Sarà finalmente possibile cambiare la suoneria del tuo Apple Watch
NEXT K 2000, Jurassic Park, Ritorno al futuro… Forza Horizon 5 ripropone i classici del cinema