O futuro das IA nos smartphones: Apple cria modo de rodar inteligência artificial offline no iPhone

Atualmente, usar recursos de IA em smartphones depende de conexão com a nuvem. Porém, pesquisadores da Apple descobriram uma forma de contornar essa limitação e rodar modelos de linguagem complexos direto nos aparelhos. Entenda como essa técnica revolucionária pode mudar o uso de assistentes virtuais nos iPhones.

Limitações atuais para uso offline de IA no iPhone

As inteligências artificiais generativas como ChatGPT e Google Bard dependem da nuvem para funcionar em smartphones como o iPhone. Isso porque modelos avançados de linguagem necessitam de muita capacidade de processamento e memória RAM.

Por exemplo, uma IA com 7 bilhões de parâmetros precisa de pelo menos 14 GB de RAM para executar. Já os iPhones contam com apenas 6 ou 8 GB de memória RAM nos modelos mais recentes.

Dessa forma, hoje não é possível rodar assistentes virtuais poderosos como o ChatGPT offline no smartphone. O processamento é todo feito nos servidores na nuvem.

Veja também:

• IA na Escrita: Por Que o ‘Autor Artificial’ Merece Defesa e Reconhecimento?
• Vaticano: Santo Agostinho ilumina Verdade na Era da Inteligência Artificial

Inovação da Apple permite uso da memória flash no lugar da RAM

Pensando nesse gargalo, pesquisadores da Apple desenvolveram uma técnica revolucionária: usar a memória flash do iPhone no lugar da RAM para processar modelos de IA complexos.

A memória flash, utilizada para armazenamento de arquivos, é muito mais abundante do que a RAM nos smartphones. Por exemplo, o iPhone 14 Pro Max tem 1 TB de armazenamento.

Através de otimizações como Windowing e Row-column bundling, os pesquisadores conseguiram executar IA grandes direto na memória flash com alta performance.

Assistentes virtuais poderosos no iPhone sem internet

A técnica desenvolvida abre caminho para uso de assistentes virtuais avançados como ChatGPT offline no iPhone. O processamento de linguagem poderá ser feito direto no smartphone.

Isso trará muitos benefícios, como funcionamento dos recursos de IA mesmo sem conexão com a internet e velocidade muito superior nas respostas.

Além disso, a privacidade também é aprimorada, pois os dados não precisarão trafegar para servidores na nuvem. Tudo fica armazenado e processado localmente no aparelho.