Gensyn 프로토콜은 낮은 규모로 하이퍼스케일에서 신경망을 무신뢰하게 훈련합니다…

Gensyn 프로토콜은 낮은 비용으로 하이퍼스케일에서 신뢰 없이 신경망을 훈련시킵니다.

모래밭: 겐신 웹사이트, 라이트페이퍼, CoinFund 포트폴리오, TechCrunch 기사 (링크)

투자 논문 요약

• ML의 복잡성 및 가치 증가에 대한 세속적 활용: 최첨단 AI 시스템의 계산 복잡성은 3개월마다 두 배로 증가하는 반면 이러한 모델의 가치는 계속 빠르게 증가하는 반면 이러한 알고리즘의 이전 블랙박스 특성은 이제 점점 더 큰 인간이 이해할 수 있는 일루미네이터.
• 새로운 조정 및 검증 시스템 설계: Gensyn은 모든 규모의 신경망 훈련에서 상태 종속성 문제를 효율적으로 해결하는 검증 시스템(테스트넷 v1은 올해 말 배포 예정)을 구축하고 있습니다. 시스템은 모델 훈련 체크포인트와 온체인을 종료하는 확률적 검사를 결합합니다. 이 모든 것을 무신뢰로 수행하며 오버헤드는 모델 크기에 따라 선형으로 확장됩니다(검증 비용을 일정하게 유지).
• AI 분산화에 대한 주제별 초점: 잘 알려진 머신 러닝 애플리케이션(테슬라 자율주행차, 구글 딥마인드)의 대부분은 같은 회사에서 생산되는데, 이는 딥러닝 산업이 현재 빅 테크 기업 간의 독점 게임처럼 보이기 때문입니다. 중국이나 미국 같은 국가도 마찬가지입니다. 이러한 세력은 web3와 web1의 역사적 기원에 반하는 거대한 중앙 집중화 세력을 초래합니다.

CoinFund는 Gensyn Protocol의 최근 기금 마련을 지원하게 된 것을 자랑스럽게 생각합니다. 새로운 검증 시스템을 통해 대규모 및 저렴한 비용으로 신경망을 신뢰할 수 없는 방식으로 훈련할 수 있다는 팀의 비전. 온체인을 종료하는 확률적 검사 활용 두드리는 동안 네트워크가 지분 증명으로 전환됨에 따라 현재 활용도가 낮은 게임 GPU에서 정교한 ETH1 마이닝 풀에 이르기까지 활용도가 낮고 활용도가 낮은 컴퓨팅 소스 Gensyn 프로토콜은 관리 감독자나 법적 집행이 필요하지 않으며 프로그래밍 방식으로 작업 분배 및 지불을 촉진합니다. 스마트 계약. 더군다나 프로토콜의 탈중앙화 특성은 궁극적으로 대다수 커뮤니티가 관리하게 되며 커뮤니티 동의 없이 '해제'될 수 없음을 의미합니다. 이것은 web2 대응물과 달리 검열 저항력이 있습니다. 궁극적으로 제3자 참가자가 다양한 틈새 시장에서 풍부한 사용자 경험과 특정 기능을 구축함에 따라 Gensyn이 webXNUMX-native ML 컴퓨팅의 기본 계층이 되기 위해 노력하고 있다고 믿습니다.

1부: 딥 러닝의 다년간의 성장에 대한 소개

화상 통화에서 보는 모든 얼굴과 들리는 모든 오디오가 조작됩니다. 통화 품질 향상을 위해 신경망 선택적으로 줌에서 해상도를 조정하고 배경 소음 억제 마이크로소프트 팀즈에서. 더 최근의 발전은 더 낮은 해상도의 비디오도 볼 수 있습니다. '꿈꾸다' 더 높은 해상도로. 신경망은 인공 지능의 딥 러닝 분야에서 사용되는 모델입니다. 그들은 느슨하게 구조를 기반으로합니다. 인간의 뇌 수많은 응용 프로그램이 있으며 궁극적으로 인간 수준의 인공 지능을 만들 수 있습니다. 더 큰 모델은 일반적으로 더 나은 결과를 제공하며 최첨단 개발에 필요한 하드웨어는 두 배로 증가합니다. XNUMX개월마다. 이 폭발적인 발전은 딥 러닝을 현대 인간 경험의 근본적인 부분으로 만들었습니다. 2020년에는 신경망 레이더를 작동시켰다 미국 스파이 비행기에서 언어 모델은 이제 더 나은 사기 이메일 인간보다 자율주행차 알고리즘 실적이 좋다 많은 환경에서 인간.

GPT-3 175B, OpenAI에서 제안한 가장 큰 GPT-3 모델 브라운 등. (2020) 훈련을 위해 1,000개의 NVIDIA Tesla V100 GPU 클러스터를 사용했습니다. 이는 단일 장치에서 대략 355년 동안 훈련한 것과 같습니다. DALL-E에서 Rameshet al. (2021)OpenAI의 또 다른 Transformer 모델에는 12억 개의 매개변수가 있으며 400억 개 이상의 캡션이 있는 이미지에 대해 학습되었습니다. OpenAI는 DALL-E 교육 비용을 부담했지만 논란의 여지가 있는 모델 오픈 소스를 거부했습니다. 이는 아마도 가장 중요한 최첨단 다중 모드 딥 러닝 모델 중 하나가 선택된 소수를 제외하고는 모두가 액세스할 수 없다는 것을 의미합니다. 이를 구축하기 위한 막대한 리소스 요구 사항 기초 모델 접근에 상당한 장벽을 만들고, 가치를 포착하면서 자원을 모으는 방법이 없으면 AI 발전이 정체될 가능성이 높습니다. 많은 사람들은 이러한 일반화된 모델이 인공 일반 지능(AGI)의 잠금을 해제하는 열쇠라고 믿고, 고립된 인공 사일로에서 현재의 훈련 방법을 터무니없이 보이게 만듭니다.

컴퓨팅 공급에 대한 액세스를 제공하는 현재 솔루션은 과점적이고 비싸거나 단순히 쓸모없는 대규모 AI에 필요한 컴퓨팅 복잡성을 감안할 때. 급증하는 수요를 충족하려면 비용 효율적으로 활용하는 시스템이 필요합니다. 모든 사용 가능한 컴퓨팅(오늘날의 ~40% 글로벌 프로세서 활용과 반대). 지금 이 문제를 복잡하게 만드는 것은 컴퓨팅 공급 자체가 점근 마이크로프로세서 성능의 발전 — 함께 공급망 와 지정 학적 칩 부족.

2부: Gensyn의 조정이 필요한 이유는 무엇입니까?

이 네트워크 구축의 근본적인 과제는 완료된 ML 작업을 검증하는 것입니다. 이것은 복잡성 이론, 게임 이론, 암호학 및 최적화의 교차점에 있는 매우 복잡한 문제입니다. 모델 설계에 대한 인간의 지식 외에도 적용된 ML의 진행을 늦추는 세 가지 근본적인 문제가 있습니다. 1) 컴퓨팅 성능에 대한 액세스; 2) 데이터에 대한 액세스 및 3) 지식에 대한 접근(실제 라벨링). Gensyn은 공정한 시장 가격으로 전 세계적으로 확장 가능한 컴퓨팅에 대한 주문형 액세스를 제공하여 첫 번째 문제를 해결하는 반면, Gensyn 재단은 연구, 자금 지원 및 다른 프로토콜과의 협력을 통해 두 가지 및 세 가지에 대한 솔루션을 장려할 것입니다.

특히, 우수한 프로세서에 대한 액세스를 통해 점점 더 크고 복잡한 모델을 학습할 수 있습니다. 지난 XNUMX년 동안 트랜지스터 밀도 향상과 메모리 액세스 속도/병렬화의 발전으로 대형 모델의 훈련 시간이 크게 단축되었습니다. AWS 및 Alibaba와 같은 거대 클라우드를 통해 이 하드웨어에 대한 가상 액세스는 동시에 채택을 확대했습니다. 따라서 최첨단 프로세서를 생산할 수 있는 수단을 확보하는 데 국가의 관심이 뜨겁습니다. 중국 본토는 아직 프로세서의 필수 구성 요소인 최첨단 반도체(즉, 실리콘 웨이퍼)를 생산할 수 있는 종단 간 기능이 없습니다. 특히 TSMC(Taiwan Semiconductor Manufacturing Company)에서 수입해야 합니다. 칩 공급업체는 또한 다른 고객이 칩 제조업체에 액세스하는 것을 차단하려고 시도합니다. 공급을 구매하여. 주 차원에서 미국은 적극적으로 차단 이 기술을 획득하기 위한 중국 기업의 움직임. 기술 스택을 더욱 발전시키면서 일부 회사는 Google의 TPU 클러스터와 같은 자체 딥 러닝 전용 하드웨어를 만들기까지 했습니다. 이 GPU는 딥 러닝에서 표준 GPU를 능가하며 판매용이 아니라 임대용으로만 제공됩니다.

액세스 가능한 컴퓨팅의 규모를 크게 늘리는 동시에 단위 비용을 줄이는 것은 연구 및 산업 커뮤니티 모두를 위한 딥 러닝을 위한 완전히 새로운 패러다임의 문을 엽니다. 규모와 비용의 개선을 통해 프로토콜은 이미 입증되고 사전 훈련된 기본 모델 세트를 구축할 수 있습니다. 기초 모델-와 유사한 방식으로 모델 동물원 인기 있는 프레임워크. 이를 통해 연구원과 엔지니어는 대규모 공개 데이터 세트에 대해 유사한 방식으로 우수한 모델을 공개적으로 연구하고 훈련할 수 있습니다. 엘루터 프로젝트. 이 모델은 중앙 집중식 소유권이나 검열 없이 인류의 근본적인 문제 중 일부를 해결할 것입니다. 암호화, 특히 기능적 암호화는 온디맨드 방식으로 개인 데이터를 통해 프로토콜을 활용할 수 있도록 합니다. 거대한 기반 모델은 독점 데이터 세트를 사용하여 누구나 해당 데이터의 가치/프라이버시를 유지하면서 모델 설계 및 연구에 대한 집단 지식을 공유하면서 미세 조정할 수 있습니다.

3부: Gensyn, Web3-Native 데이터 중앙 집중화 추진

인터넷은 1960년대에 미국 정부에서 탄생했을 수도 있지만 1990년대에는 창의성, 개인주의 및 기회의 무정부적 웹이었습니다. Google이 TPU를 비축하기 훨씬 전에 SETI@home과 같은 프로젝트는 분산 컴퓨팅 성능을 크라우드소싱하여 외계 생명체를 발견하려고 시도했습니다. 2000년까지 SETI@home의 처리 속도는 17 테라 플롭이는 당시 최고의 슈퍼컴퓨터인 IBM ASCI White의 1배가 넘는 성능입니다. 이 기간은 일반적으로 Google이나 Amazon(web2)과 같은 대형 플랫폼의 패권 이전의 순간인 'webXNUMX'으로 명명되지만, 당시 여러 문제로 인해 분산형 컴퓨팅은 인터넷의 초기 요구 사항을 충족하기 위한 확장에서 주춤했습니다.

그러나 현재 웹 인프라의 거대한 web2 플랫폼으로의 중앙 집중화는 비용(AWS의 총 마진은 추정 61%, 대부분의 하위 규모 연구원 및 데이터 기반 비즈니스에 대한 마진 압축을 나타냅니다. 동시에 중앙 집중식 컴퓨팅 인스턴스도 제어를 희생합니다. AWS는 다음과 같이 인기 있는 우익 소셜 미디어 플랫폼 Parler의 인프라를 차단했습니다. 어느 날의 통지 6년 2021월 XNUMX일 국회의사당 폭동 이후. 많은 사람들이 이 결정에 동의했지만 AWS가 호스트 42% 인터넷 상위 10,000개 사이트 중 그러나 Gensyn 프로토콜이 해결하는 데 도움이 되는 검증 문제로 인해 분산형 하드웨어에서 딥 러닝 모델을 훈련하는 것은 어렵습니다.

시장을 Web3 프로토콜로 구축하면 확장에 대한 중앙 집중식 오버헤드 비용이 제거되고 새로운 공급 참가자의 진입 장벽이 줄어들어 네트워크가 잠재적으로 전 세계의 모든 컴퓨팅 장치를 포괄할 수 있습니다. 단일 분산 네트워크를 통해 모든 장치를 연결하면 현재 기존 공급자를 통해 달성할 수 없는 수준의 확장성을 제공하여 전 세계 컴퓨팅 공급에 대한 전례 없는 주문형 액세스를 제공합니다. 최종 사용자의 경우 이는 비용 대 규모 딜레마를 완전히 없애고 잠재적으로 무한한 확장성(전 세계 물리적 하드웨어 제한까지)과 시장 역학에 의해 결정되는 단가를 위해 투명하고 저렴한 ML 교육 컴퓨팅을 제공합니다. 이는 대규모 공급자가 누리는 일반적인 해자를 우회하고 가격을 크게 낮추며 리소스 수준에서 진정한 글로벌 경쟁을 촉진하며 기존 클라우드 서비스 공급자도 Gensyn 프로토콜을 보다 중앙 집중화된 자사를 보완하는 배포 수단으로 보는 경우를 고려합니다. 번들 제공.

결론 :

AI가 암호화폐 및 블록체인만큼 인기 있는 유행어이기 때문에 여기에서 미리 본 Gensyn에 대한 투자에 대한 우리의 논문은 이해하기 쉽고 증거가 뒷받침되는 테스트를 통과해야 하는 동시에 프로토콜의 능력에 대한 기회에 대해 야심차게 좁혀야 합니다. 초기에 목표로 삼았지만 web3에 고유한 일반화 가능한 리소스 네트워크에 가치를 더하십시오. Gensyn 프로토콜을 통해 우리는 미래에 무수히 많은 애플리케이션을 위한 토대를 마련하는 훨씬 더 가치 있는 통찰력을 위한 길을 열어주는 확장 가능하고 비용 효율적인 조정 네트워크의 시작을 보고 있다고 믿습니다.

코인펀드 소개

CoinFund는 2015년에 설립된 미국에 기반을 둔 다양한 블록체인 중심 투자 회사로 암호화폐, 전통적 주식, 신용, 사모 펀드 및 벤처 투자에 대한 광범위한 실적과 경험을 보유하고 있습니다. CoinFund 전략은 유동 시장과 벤처 시장 모두에 걸쳐 있으며 기술적 암호화 적성을 전통적인 금융 경험과 동기화하는 다학문 접근 방식의 이점을 제공합니다. "창업자 우선" 접근 방식을 통해 CoinFund는 포트폴리오 회사와 긴밀하게 협력하여 디지털 자산 공간 전반에 걸쳐 혁신을 주도합니다.

책임 부인

이 사이트에 제공된 콘텐츠는 정보 제공 및 토론 목적으로만 제공되며 특정 투자 결정과 관련하여 의존하거나 투자에 관한 제안, 추천 또는 권유로 해석되어서는 안 됩니다. 저자는 이 기사에서 논의된 회사, 프로젝트 또는 토큰을 지지하지 않습니다. 모든 정보는 명시적이든 묵시적이든 어떤 종류의 보증 없이 "있는 그대로" 제공되며 미래 예측 진술은 잘못된 것으로 판명될 수 있습니다. CoinFund Management LLC 및 그 계열사는 이 기사에서 논의된 토큰 또는 프로젝트에서 롱 또는 숏 포지션을 가질 수 있습니다.

---

Gensyn 프로토콜은 낮은 규모로 하이퍼스케일에서 신경망을 무신뢰하게 훈련합니다… 에서 원래 출판 된 CoinFund 블로그 이 이야기를 강조 표시하고 응답함으로써 사람들이 대화를 계속하고있는 매체에.

• 코인스마트. 유럽 ​​최고의 비트코인 ​​및 암호화폐 거래소.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 무료 액세스.
• 크립토호크. 알트코인 레이더. 무료 시험판.
• Source: https://blog.coinfund.io/the-gensyn-protocol-trustlessly-trains-neural-networks-at-hyperscale-with-lower-order-of-magnitude-227fe968fabf?source=rss—-f5f136d48fc3—4