RTX와 Nvidia의 대화: 온디바이스 AI를 위한 무대를 마련할 것인가, 아니면 부족할 것인가?

RTX와 Nvidia의 대화: 온디바이스 AI를 위한 무대를 마련할 것인가, 아니면 부족할 것인가?

타임 스탬프 : 12 년 2024 월 1 일 오전 00:XNUMX
RTX와 Nvidia의 대화: 온디바이스 AI를 위한 무대를 마련할 것인가, 아니면 부족할 것인가? PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.
  • Nvidia Chat with RTX는 PC의 정보를 사용하여 요청을 이행하는 온디바이스 대규모 언어 모델입니다. 
  • 웹페이지 등 인터넷상의 데이터에도 사용할 수 있습니다.
  •  모델의 능력은 뛰어나지만 사람들은 그 능력이 크게 과장되어 있다고 제안합니다.

엔비디아는 전통적인 역할을 넘어 핵심 플레이어로 자리매김함으로써 AI 혁명에 대한 참여를 강화하고 있습니다. 중요한 발표로 가득 찬 개발자 컨퍼런스에 이어 Nvidia는 테스트를 위한 새로운 제품인 Nvidia Chat with RTX를 출시했습니다.

이 온디바이스 대형 언어 모델은 요청에 응답하기 위해 로컬 정보를 사용하여 전적으로 PC에서 작동합니다. 삼성 갤럭시 AI와 유사하게 출시 갤럭시 S24 시리즈대부분의 AI 작업을 장치에서 처리했던 Nvidia Chat with RTX는 이 기능을 PC에 제공하여 잠재적으로 AI, Transformers 및 대규모 언어 모델(LLM)에 대한 접근 방식을 재구성합니다.

RTX와 채팅

Chat with RTX는 PC의 AI 챗봇입니다. 레거시 소프트웨어로 설치되어 PC의 모든 데이터를 알고 있는 챗봇을 제공합니다. 따라서 2022년 17월 월말 보고서에서 무언가를 기억하려고 하거나 2019년 XNUMX월 XNUMX일 밤에 저녁 식사를 예약한 장소를 기억하려고 할 때 해당 정보가 PC에 있다면 Chat with RTX를 통해 가져올 수 있습니다. 위로.

온디바이스 AI의 장점

속도 : Chat with RTX의 가장 큰 장점 중 하나는 처리 속도입니다. 모든 처리를 기기에서 수행하면 인터넷 연결 속도가 중요하지 않게 됩니다. 당신은 하나도 필요하지 않습니다! 이는 기존 디지털이나 AI 비서에 비해 큰 발전이다.

개인 정보 : 모든 장치 정보를 처리하면 개인 정보 보호 측면에서도 큰 이점이 있습니다. 모든 정보는 처리되어 장치에 보관되므로 소유자가 모든 권한을 갖고 관리할 수 있습니다. 의도적으로든 다른 방식으로든 귀하의 데이터를 살펴보고, 대조하고, 채굴하고, 판매하거나 다른 사람에게 유출할 수 있는 제3자는 없습니다.

보안 : 데이터 보관은 보안 측면에서도 이점을 제공합니다. 어딘가에 로그인하거나 정보를 보낼 필요가 없어 궁극적으로 보안이 강화됩니다. 정보는 일시적으로라도 다른 곳으로 이동하거나 저장될 필요가 없습니다.

사용자 지정 : 또 다른 분명한 장점은 맞춤화입니다. Chat with RTX는 컴퓨터에 저장된 정보를 기반으로 작동하며, 기본적으로 데이터와 정보에 대해 교육을 받은 LLM 역할을 합니다. 정보의 대부분이 문서, 정지 이미지, 비디오 등 무엇이든 IT는 귀하와 귀하의 데이터에 특화된 챗봇입니다.

유연성: RTX와의 채팅은 기기의 데이터에만 국한되지 않습니다. 웹페이지와 같은 인터넷상의 데이터에도 사용할 수 있습니다. 따라서 Chat with RTX에게 웹페이지의 일부 정보를 검색하도록 요청할 수 있으며 보안이나 개인 정보 보호 측면을 손상시키지 않고 결과를 제공합니다. 이것이 단지 시작일 뿐이라는 점도 주목할 가치가 있습니다.

디테일의 악마

RTX로 Chat을 실행하기 위한 시스템 요구 사항은 수요 측에 있습니다. 현재는 Windows PC에서만 사용할 수 있으며 MacOS와 Linux는 당분간 제외됩니다. Windows 11을 실행하는 PC에서만 사용할 수 있습니다.

최소 16GB의 RAM과 35GB의 파일 크기는 이를 사용하려면 상당히 강력한 시스템이 필요하다는 것을 의미합니다. 이 모든 것 외에도 시스템이 컴퓨터에서 제대로 작동하려면 Nvidia GeForce RTX 30 또는 40 시리즈 GPU가 필요합니다. 시스템 요구 사항은 약간 무거운 편이지만 여전히 많은 중급 PC 및 노트북에서 사용할 수 있습니다.

엇갈린 평가

RTX와의 채팅이 처음으로 가능해졌습니다 19년 2024월 XNUMX일 테스트 예정. 리뷰는 Nvidia에서 나오는 데모 및 커뮤니케이션과 다소 다릅니다. 모델의 능력은 뛰어나지만 사람들은 그 능력이 크게 과장되어 있다고 제안합니다. 큰 파일 크기와 높은 요구 사항은 출력과 일치하지 않습니다.

많은 작업을 수행할 수 있지만 제대로 수행하지는 않습니다. 이는 새로운 아이디어의 첫 번째 시도로 이해할 수 있습니다. 이러한 상황이 진행됨에 따라 우리는 향후 개선을 기대해야 합니다. 거대한 크기와 무거운 시스템 요구 사항은 성능 향상을 목표로 하는 동시에 작업해야 하는 두 가지 영역입니다.

지지자들은 Chat GPT와 Google Gemini의 종말의 시작으로 Chat with RTX에 대해 이야기하기 시작했지만, 이를 사용한 사람들의 경험에 따르면 이것이 사실이 되기까지는 꽤 시간이 걸렸습니다. LLM과 변환기를 사용하려면 엄청난 양의 처리 능력과 교육이 필요합니다.

PC에 로컬 설치를 기대하는 것은 여러분이 선호하는 생성 AI 뒤의 데이터 센터와 마찬가지로 너무 많은 것을 요구하는 것입니다. 그러나 기업의 경우 이는 곧 실현될 수 있는 약속을 담고 있습니다.

합리적인 규모의 회사는 직원을 위해 자체 LLM 시스템을 운영할 수 있습니다. 이는 광범위한 응용 프로그램을 가지게 되지만, 정보가 많은 산업에서 워크플로우에 대한 이점은 분명 많습니다.

 사용자 정의, 개인 정보 보호 및 보안의 이점은 기업 사용자에게 매우 중요합니다. 따라서 PC의 LLM 아이디어는 당장 동급 최고 수준과 경쟁할 준비가 되어 있지 않지만 단기 및 중기적으로 기업 사용자를 위한 맞춤형 LLM을 볼 수 있습니다.

온디바이스 AI 시대

Nvidia의 Chat with RTX의 가용성은 우리가 온디바이스 AI 시대로 나아가고 있다는 신호입니다. Galaxy AI가 탑재된 Samsung S24 라인업은 기기 내 작업의 대부분을 처리했습니다.

이제 Nvidia는 완전한 온디바이스 처리 기능을 제공합니다. 일부 리뷰에 따르면 제품은 아직 충분하지 않습니다. 즉, 최초 제품은 거의 없습니다. Nvidia는 확실히 RTX와의 채팅을 통해 고양이를 비둘기 사이에 던졌습니다.

타임 스탬프 :

더보기 웹 3 아프리카