Bate-papo da Nvidia com RTX: Preparando o cenário para IA no dispositivo ou falhando?

• Nvidia Chat com RTX é um modelo de linguagem grande no dispositivo que usa as informações do seu PC para atender às suas solicitações. 

• Também pode ser usado em dados na internet, como páginas da web.

•  Embora o modelo seja capaz, as pessoas sugerem que suas habilidades são muito exageradas.

A Nvidia está intensificando o seu envolvimento na revolução da IA, indo além do seu papel tradicional e estabelecendo-se como um ator-chave. Após uma conferência de desenvolvedores repleta de anúncios significativos, a Nvidia apresentou um novo produto para teste: Nvidia Chat com RTX.

Esse modelo de linguagem grande no dispositivo opera inteiramente no seu PC, usando informações locais para responder às solicitações. Semelhante ao Galaxy AI da Samsung, lançado com o Galaxy s24 series, que administrou a maioria das tarefas de IA no dispositivo, o Nvidia Chat com RTX traz esse recurso para PCs, potencialmente remodelando nossa abordagem para IA, Transformers e modelos de linguagem grande (LLMs).

Conversar com RTX

Chat with RTX é um chatbot de IA no seu PC. Instalado como software legado, fornece um chatbot que conhece todos os dados do seu PC. Portanto, quer você esteja tentando se lembrar de algo do relatório de final de mês de outubro de 2022 ou de onde fez reservas para jantar na noite de 17 de fevereiro de 2019, se a informação estiver no seu PC, o Chat com RTX poderá trazê-la acima.

Vantagens da IA ​​no dispositivo

Velocidade: Uma das maiores vantagens do Chat com RTX é a velocidade de processamento. Fazer todo o processamento no dispositivo significa que a velocidade da sua conexão com a Internet se torna irrelevante. Você nem precisa de um! Este é um grande avanço em comparação com os assistentes digitais ou de IA existentes.

Privacidade: O processamento de todas as informações do dispositivo também traz uma grande vantagem em termos de privacidade. Todas as informações são processadas e mantidas no dispositivo, dando ao proprietário total controle e custódia. Não há terceiros que possam examinar, coletar, extrair, vender ou vazar seus dados para qualquer outra pessoa, intencionalmente ou não.

Segurança: A custódia dos dados também traz vantagens em segurança. Sem a necessidade de fazer login em algum lugar ou enviar as informações, você acaba aumentando a segurança. As informações nunca precisam viajar ou ser armazenadas em outro lugar, mesmo que temporariamente.

Personalização: Outra vantagem clara é a personalização. O Chat with RTX funciona com base nas informações armazenadas em seu computador, atuando essencialmente como um LLM treinado em seus dados e informações. Quer a maior parte das suas informações sejam documentos, imagens estáticas ou vídeos, a TI é um chatbot específico para você e seus dados.

Flexibilidade: O bate-papo com RTX não se limita aos dados do seu dispositivo; também pode ser usado em dados na internet, como páginas da web. Assim, você pode pedir ao Chat with RTX para pesquisar algumas informações em uma página da web e ele fornecerá resultados, tudo sem comprometer os aspectos de segurança ou privacidade. Também é importante notar que este é apenas o começo.

Diabo nos detalhes

Os requisitos do sistema para executar o Chat com RTX dependem da demanda. Atualmente, ele está disponível apenas para PCs com Windows, deixando MacOS e Linux de fora por enquanto. Ele está disponível apenas para PCs com Windows 11.

Um mínimo de 16 GB de RAM e um tamanho de arquivo de 35 GB significam que você precisa de um sistema bastante poderoso para usá-lo. Além de tudo isso, o sistema também requer uma GPU Nvidia GeForce RTX série 30 ou 40 para funcionar bem em uma máquina. Os requisitos do sistema são um pouco pesados, mas ainda estão ao alcance de muitos PCs e laptops de médio porte.

Críticas mistas

O bate-papo com RTX foi disponibilizado pela primeira vez para teste em 19 de fevereiro de 2024. Suas análises diferem um pouco das demonstrações e comunicações provenientes da Nvidia. Embora o modelo seja capaz, as pessoas sugerem que suas habilidades são muito exageradas. O tamanho grande do arquivo e os requisitos pesados ​​não são correspondidos pela saída.

Ele pode realizar muitas tarefas, mas não as executa bem. Isso é compreensível como uma primeira tentativa de uma nova ideia. À medida que essas coisas avançam, devemos esperar melhorias no futuro. O tamanho enorme e os pesados ​​requisitos do sistema são duas áreas nas quais eles devem trabalhar, ao mesmo tempo que visam melhorias de desempenho.

Embora os proponentes tenham começado a falar do Chat com RTX como o começo do fim para o Chat GPT e o Gemini do Google, as experiências daqueles que o usaram sugerem que ainda falta algum tempo para que isso aconteça. LLMs e transformadores exigem uma grande quantidade de poder de processamento e treinamento para acompanhá-los.

Esperar que uma instalação local em um PC seja tão boa quanto os data centers por trás de sua IA generativa favorita é pedir muito, muito cedo. No entanto, para as empresas, isto traz algumas promessas que podem ser concretizadas em breve.

Uma empresa de tamanho razoável poderia alimentar seu próprio sistema LLM para sua força de trabalho. Isto teria vastas aplicações, mas claramente os benefícios para o fluxo de trabalho em indústrias com muita informação são muitos.

 As vantagens de personalização, privacidade e segurança seriam altamente valiosas para usuários corporativos. Portanto, embora a ideia de um LLM em seu PC ainda não esteja pronta para competir com os melhores da categoria no imediato, poderemos ver LLMs personalizados para usuários corporativos no curto e médio prazo.

A era da IA ​​no dispositivo

A disponibilidade do Chat da Nvidia com RTX sinaliza que estamos caminhando para a era da IA ​​no dispositivo. A linha Samsung S24 com Galaxy AI processou a maioria das tarefas no dispositivo.

Agora a Nvidia nos oferece processamento totalmente no dispositivo. O produto, de acordo com alguns comentários, ainda não é bom o suficiente. Dito isto, muito poucos produtos pela primeira vez o são. A Nvidia certamente jogou o gato entre os pombos com o Chat with RTX.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://web3africa.news/2024/04/12/news/nvidia-chat-with-rtx-on-device-ai/