Meta의 메가 언어 모델이 유출되면서 LLaMA 드라마

플라톤에 의해 재발행

팔로워 : 0

LLaMA drama as Meta's mega language model leaks PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Meta의 최신 대규모 언어 모델인 LLaMA는 연구 목적으로만 액세스를 제한하려는 명백한 시도에도 불구하고 온라인에서 유출되어 다운로드가 가능합니다.

페이스북 소유자 발표 지난 XNUMX월에는 학계, 정부 유형, 기업을 선별해 공포 속에 놀기 위해 제한적으로 모델을 내놨다. 야마 오용될 수 있습니다. 그러나 정보는 무료로 제공되기를 원하거나 적어도 특정 사람들은 무료로 제공되기를 원하며 Meta의 창작물은 어쨌든 급류 유출을 시작으로 온라인에서 그 길을 찾았습니다.

입력 프롬프트에서 텍스트 구절을 생성하는 문장 예측 대형 언어 모델은 글을 자동 완성하는 것에서 요청 시 자연어를 사용하여 작업을 수행할 수 있는 챗봇에 이르기까지 꾸준히 발전했습니다.

전문가들은 이 기술이 앞으로 몇 년 동안 대량의 가짜 뉴스, 스팸, 피싱 이메일, 허위 정보, 선동 등의 제조를 자동화하는 데 사용될 수 있다고 경고했습니다. 이러한 모델을 구축하는 조직은 종종 API 뒤에 소프트웨어를 숨기거나 제한된 버전 또는 데모를 릴리스합니다.

"대규모 언어 모델에서 편견, 유해한 의견 및 환각의 위험을 해결하기 위해 수행해야 할 더 많은 연구가 있습니다." Meta 말했다 지난주.

“다른 모델과 마찬가지로 LLaMA도 이러한 문제를 공유합니다. 기본 모델인 LLaMA는 다목적으로 설계되었으며 특정 작업을 위해 설계된 미세 조정 모델에 비해 다양한 사용 사례에 적용할 수 있습니다.

“무결성을 유지하고 오용을 방지하기 위해 우리는 연구 사용 사례에 초점을 맞춘 비상업적 라이센스에 따라 모델을 출시하고 있습니다. 모델에 대한 액세스 권한은 학술 연구원에게 사례별로 부여됩니다. 정부, 시민 사회 및 학계 조직과 관련된 사람들; 그리고 전 세계의 산업 연구소.”

방법 안내

그러나 LLaMA에 대한 액세스를 제어하려는 Meta의 노력은 헛된 것으로 보입니다. 선정된 관, 산업계 및 시민 사회와 모델을 공유한 직후, 4Chan의 누군가가 PXNUMXP 파일 공유를 통해 전체 모델을 얻는 방법에 대한 세부 정보를 게시했고 결국 모두 다운로드하는 방법에 대한 지침 GitHub에 게시되었습니다.

항상 그렇듯이 급류에서 이와 같은 항목을 가져올 때 누군가 사악한 것을 숨긴 경우에 대비하여 주의하십시오. 65억 매개변수 모델은 약 220GB의 디스크 공간을 차지한다고 합니다.

GitHub를 통해 제공되는 LLaMA 사본은 합법적인 것으로 보입니다. 숀 프레서, AI 엔지니어 Microsoft의 코드 공유 사이트에 다운로드 지침을 작성한 사람은 모델에서 성공적으로 텍스트를 생성하는 스크린샷을 보여주었습니다. 그는 Meta에서 모델에 대한 액세스 권한을 부여받은 연구원이 모델을 유출하여 예상보다 더 광범위하게 배포되었다고 생각합니다.

음모 이론 엔진을 시작하십시오.

Presser는 경고 없이 모델을 자유롭게 공개하는 것이 승인된 학자에게만 모델을 제한하는 것보다 낫다고 생각합니다. “나는 좋은 것이 나쁜 것보다 적어도 100배는 더 중요할 것이라고 생각합니다. 아마 XNUMX배에 가까울 것"이라고 말했다. 등록.

최첨단 대규모 언어 모델을 교육하고 실행하는 것은 일반적으로 비용이 많이 듭니다. GPU 및 기타 인프라 더미에 액세스할 수 있는 조직만이 GPU를 구축, 조정 및 테스트할 수 있습니다. Meta의 AI 연구원 LLaMA를 더 작게 만들었습니다., 오늘날의 상용 모델보다 크기가 더 작으므로 적지 않은 IT 예산 없이 학계와 개발자가 더 쉽게 액세스할 수 있습니다.

Meta의 기계 학습 전문가는 자신의 시스템이 OpenAI의 GPT-3보다 성능이 뛰어나며 Google의 540억 매개변수 PaLM 또는 DeepMind의 70억 매개변수 Chinchilla와 같은 다른 대규모 언어 모델만큼 우수하다고 주장했습니다. 더 작은 크기는 계산 리소스가 적은 과학자가 사용하기 더 쉬워야 함을 의미합니다. 그리고 예, 모든 모양과 크기의 과다한 언어 모델이 있습니다. OpenAI와 Facebook 그 이상입니다.

LLaMA를 구동하려면 여전히 수백 기가바이트의 스토리지와 상당한 양의 컴퓨팅이 필요합니다. 이러한 종류의 시스템을 처리하는 데 익숙하지 않은 한 모델을 시작하고 실행하는 것도 간단하지 않으며 더 사악한 활동을 위해 용도를 변경하려면 추가 기술 전문 지식이 필요합니다. 모델이 유출되었음에도 불구하고 Meta는 선별된 연구원들에게만 LLaMA를 계속 공유할 것이라고 말했습니다.

우리는 현재 릴리스 전략을 통해 책임과 개방성의 균형을 맞출 수 있다고 믿습니다.

대변인은 "최첨단 AI 모델을 연구 커뮤니티 구성원과 공유하여 해당 모델을 평가하고 개선하는 데 도움을 주는 것이 Meta의 목표"라고 말했습니다. 등록.

“LLaMA는 이전의 대규모 언어 모델을 공유한 방식과 마찬가지로 연구 목적으로 공유되었습니다. 모든 사람이 모델에 액세스할 수 없고 일부는 승인 프로세스를 우회하려고 시도했지만 현재 릴리스 전략을 통해 책임과 개방성의 균형을 유지할 수 있다고 생각합니다.”

즉, Facebook 그룹은 기술 배포에 대한 접근 방식을 고수합니다.

대규모 언어 모델을 출시하려는 Meta의 최근 시도는 순조롭게 진행되지 않았습니다. 작년에 수다스러운 BlenderBot은 비판 잘못된 정보와 반유대주의적 견해를 퍼뜨리기 위해. 과학적 지식을 요약하기 위해 고안된 Galactica는 제거 가짜 및 인종 차별적 콘텐츠를 생성하기 위해 시작된 지 XNUMX 일 후. ®