O que torna um PC um IA para PC? Além de alguns vago aceno de mão diante da presença de “unidades de processamento neural” e outros recursos disponíveis apenas no silício mais recente e melhor, ninguém apresentou uma definição além de uma tentativa de comercializar algum FOMO.
Embora a Intel sugira que os desenvolvedores de aplicativos em breve infundirão IA em todos os softwares, e os PCs devem estar prontos para isso, a carga de trabalho que mais importa atualmente é a inferência para potencializar modelos de grandes linguagens.
Qualquer AI PC digno desse nome deve, portanto, realizar inferências rápida e bem.
Inferência é o processo que transforma um prompt enviado em sua resposta. Para fazer isso, é necessária uma máquina que possa processar vários gigabytes de dados – e ainda mais multiplicações de matrizes.
Embora uma tarefa tão intensiva em computação pareça poder ampliar as capacidades de um PC desktop (ChatGPT e seus semelhantes são executados em datacenters colossais), descobri que muito do hardware que já temos pode fazer um trabalho adequado de inferência . Qualquer um pode executar um chatbot “bom o suficiente” em um PC – desde que o PC tenha RAM suficiente e uma GPU de médio porte.
Isso significa uma GPU com pelo menos 8 GB de VRAM (e não da Intel – pelo menos no momento, por falta de suporte de driver). Isso não é muito caro – o que é bom, porque é uma aposta de mesa. Para RAM, você ficaria mais feliz com 32 GB do que com 16 GB, enquanto 8 GB simplesmente não é suficiente. E é isso. Isso é tudo que você vai precisar.
A Apple conseguiu isso excepcionalmente bem – possivelmente de forma totalmente acidental – com seus SoCs da série M. Tratando a memória como “unificada” – é tudo VRAM, se necessário – todos os Macs modernos da série M com pelo menos 16 GB de RAM podem servir como um PC AI.
Na verdade, quatro dos PCs que comprei na última década atendem a essas especificações – incluindo um monstro top de linha de oito anos comprado como um “PC VR” com uma CPU Intel 6700K e um topo de linha GPU Nvidia GTX 980 Ti de última geração. Mais ou menos de acordo com a Lei de Moore, é um pouco mais lento do que as máquinas mais recentes da minha coleção, mas funciona perfeitamente com um chatbot – localmente.
Embora não tenham sido adquiridos como PCs de IA, minhas aquisições mais recentes inferem cada uma a uma velocidade comparável às conclusões geradas pelo GPT-3.5-Turbo da OpenAI – virtualmente indistinguíveis de seu primo maior, tanto em velocidade quanto na qualidade das conclusões que geram.
Para testar esses sistemas, eu os alimento com prompt bastante sofisticado, instruindo-os a agir como um “agente” – resolvendo um problema gerando arquivos JSON que são alimentados em outro programa. (“Pequenas peças frouxamente unidas” ainda se aplica na Era da IA.) E tudo... simplesmente funciona.
Acontece que já tenho PCs com IA em todos os lugares. Quem sabia? Além do mais, há um lote de PCs de IA por aí. Dezenas de milhões. O que é bom – porque vamos precisar deles.
Embora a Microsoft queira que colemos todos os documentos confidenciais no Copilot para análise – dando assim aos datacenters de Redmond uma ideia de nossos fluxos de trabalho mais confidenciais – muitos documentos são simplesmente confidenciais demais para serem compartilhados.
E os documentos tão quentes que nem deveriam estar em uma máquina em rede? E as informações médicas? Ou documentos confidenciais? Muito do que trabalhamos vem com restrições, impedindo que seja compartilhado livremente.
Os documentos legais frequentemente se enquadram nesta categoria – os tipos de tarefas em que os documentos recentemente divulgados Modelo de linguagem jurídica SaulML poderia ser extremamente útil. Se um advogado ou paralegal tivesse esse modelo em execução no seu PC local, ele poderia inserir livremente documentos nele, solicitar que ele gerasse uma leitura atenta e até mesmo novos termos contratuais – tudo isso sem se preocupar com vazamentos de informações confidenciais. Muitos escritórios de advocacia correriam em direção a esse tipo de ferramenta, gritando “Cale a boca e pegue o dinheiro do meu cliente!"
Eu criei um protótipo dessa ferramenta no fim de semana passado – reduzindo o tamanho do modelo SaulLM de código aberto completo, para que pudesse funcionar em minha frota de PCs de IA. Não sou advogado, por isso não posso julgar totalmente sua qualidade. No entanto, colei nele vastas seções de um contrato de um possível parceiro de negócios e, em seguida, fiz algumas perguntas difíceis – sem medo de vazamentos.
Mesmo que os advogados não gostem, o resto de nós – confrontados com termos e condições intermináveis e obscuros que ignorar por nossa conta e risco – achará muito útil.
Da mesma forma, os fornecedores de hardware – que dependem de você descartar o PC que comprou para trabalhar em casa há três anos para seu ciclo de receita – não vão gostar de admitir, mas você provavelmente já tem um PC com IA perfeitamente funcional. Só não o PC AI que o fornecedor quer que você saia correndo e compre. ®
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2024/03/13/age_of_ai_pc/
- :tem
- :é
- :não
- :onde
- $UP
- a
- Sobre
- sobre isso
- aquisições
- Aja
- adequado
- Admitem
- idade
- Agente
- atrás
- AI
- Todos os Produtos
- já
- an
- análise
- e
- Outro
- qualquer
- qualquer um
- Aplicação
- aplica
- SOMOS
- AS
- perguntar
- At
- tentativa
- disponível
- BE
- Porque
- ser
- Pós
- maior
- ambos
- comprou
- negócio
- mas a
- comprar
- by
- CAN
- capacidades
- Categoria
- chatbot
- ChatGPT
- classificado
- cliente
- Fechar
- CO
- coleção
- como
- vem
- comparável
- condições
- confidencial
- contract
- poderia
- Atualmente
- Cortar
- corte
- ciclo
- dados,
- década
- definição
- área de trabalho
- desenvolvedores
- DID
- descoberto
- do
- documento
- INSTITUCIONAIS
- fazer
- don
- down
- motorista
- cada
- oito
- Interminável
- enormemente
- suficiente
- inteiramente
- Mesmo
- Cada
- excepcionalmente
- Cair
- medos
- Funcionalidades
- Alimentado
- Arquivos
- Encontre
- final
- empresas
- ANIMARIS
- FOMO
- Escolha
- quatro
- livremente
- freqüentemente
- da
- totalmente
- gerar
- gerado
- gerando
- ter
- Dando
- vai
- Bom estado, com sinais de uso
- GPU
- tinha
- acontece
- mais feliz
- Queijos duros
- Hardware
- Ter
- útil
- Início
- HOT
- Contudo
- HTTPS
- i
- if
- in
- Incluindo
- INFORMAÇÕES
- Intel
- para dentro
- IT
- ESTÁ
- Trabalho
- ingressou
- jpg
- json
- juiz
- apenas por
- tipos
- Falta
- língua
- grande
- Sobrenome
- Escritórios de
- escritórios de advocacia
- advogado
- Advogados
- Vazamentos
- mínimo
- Legal
- menos
- como
- Line
- viver
- local
- localmente
- lote
- gosta,
- máquina
- máquinas
- FAZ
- muitos
- mercado
- Matriz
- Matéria
- significa
- médico
- Conheça
- Memória
- Microsoft
- milhões
- modelo
- modelos
- EQUIPAMENTOS
- momento
- mais
- a maioria
- muito
- múltiplo
- multiplicações
- devo
- my
- nome
- você merece...
- Cria
- neural
- Novo
- mais novo
- Nvidia
- of
- on
- ONE
- só
- aberto
- open source
- OpenAI
- or
- Outros
- A Nossa
- Fora
- Acima de
- parceiro
- PC
- PCs
- perfeitamente
- Realizar
- peças
- Lugar
- platão
- Inteligência de Dados Platão
- PlatãoData
- Abundância
- possivelmente
- poder
- presença
- impedindo
- provavelmente
- Problema
- processo
- em processamento
- Agenda
- em perspectiva
- fornecido
- bomba
- comprado
- qualidade
- Frequentes
- rapidamente
- RAM
- RE
- Leitura
- pronto
- recentemente
- recentemente
- liberado
- depender
- resposta
- DESCANSO
- receita
- Execute
- corrida
- é executado
- apressar
- s
- gritando
- seções
- sensível
- servir
- compartilhado
- Silício
- simplesmente
- Tamanho
- pequeno
- So
- Software
- Resolvendo
- alguns
- um pouco
- em breve
- sofisticado
- sons
- fonte
- óculos
- velocidade
- estacas
- Ainda
- apresentado
- tal
- Sugere
- ajuda
- sistemas
- mesa
- Tire
- Tarefa
- tarefas
- dezenas
- condições
- termos e condições
- teste
- do que
- que
- A
- deles
- Eles
- então
- Lá.
- assim
- assim sendo
- Este
- deles
- isto
- três
- Através da
- para
- também
- ferramenta
- para
- transformações
- tratamento
- voltas
- unificado
- unidades
- us
- útil
- Grande
- Ve
- fornecedores
- muito
- praticamente
- vr
- quer
- we
- fim de semana
- BEM
- O Quê
- qual
- enquanto
- QUEM
- precisarão
- de
- sem
- Ganhou
- Atividades:
- trabalho a partir de casa
- fluxos de trabalho
- trabalho
- preocupante
- digno
- seria
- anos
- Vocês
- investimentos
- zefirnet