오늘 TII(Technology Innovation Institute)에서 개발하고 Amazon SageMaker에서 교육한 Falcon 180B 기반 모델을 고객이 다음을 통해 사용할 수 있다는 소식을 발표하게 되어 기쁘게 생각합니다. Amazon SageMaker 점프스타트 추론 실행을 위해 원클릭으로 배포합니다. 180억 개의 매개변수 크기와 3.5조 180천억 개의 대규모 토큰 데이터세트로 훈련된 Falcon 180B는 공개적으로 접근 가능한 가중치를 갖춘 가장 크고 성능이 뛰어난 모델 중 하나입니다. ML을 빠르게 시작할 수 있도록 알고리즘, 모델 및 ML 솔루션에 대한 액세스를 제공하는 기계 학습(ML) 허브인 SageMaker JumpStart로 이 모델을 시험해 볼 수 있습니다. 이 게시물에서는 SageMaker JumpStart를 통해 Falcon XNUMXB 모델을 검색하고 배포하는 방법을 안내합니다.
팔콘 180B 란 무엇입니까?
Falcon 180B는 에서 출시한 모델입니다. IIT Falcon 제품군의 이전 릴리스를 따릅니다. Falcon 40B의 확장 버전이며 더 나은 확장성을 위해 다중 쿼리 Attention을 사용합니다. 최적화된 변환기 아키텍처를 사용하는 자동 회귀 언어 모델입니다. 주로 웹 데이터로 구성된 3.5조 XNUMX천억 개의 데이터 토큰에 대해 훈련되었습니다. 세련된웹 (약 85%). 이 모델에는 180B와 180B-Chat의 두 가지 버전이 있습니다. 180B는 사전 훈련된 원시 모델이므로 대부분의 사용 사례에 대해 추가로 미세 조정해야 합니다. 180B-Chat은 일반적인 지침을 받는 데 더 적합합니다. 채팅 모델은 여러 대규모 대화 데이터세트와 함께 채팅 및 지침 데이터세트에서 미세 조정되었습니다.
모델은 다음에서 사용할 수 있습니다. Falcon-180B TII 라이센스 및 이용 정책.
Falcon 180B는 TII에서 다음과 같은 훈련을 받았습니다. 아마존 세이지 메이커, 약 4K A100 GPU 클러스터. ZeRO와 함께 3D 병렬 처리를 사용하는 Gigatron이라는 맞춤형 분산 교육 코드베이스와 맞춤형 고성능 Triton 커널을 사용했습니다. 사용된 분산 학습 아키텍처 아마존 단순 스토리지 서비스 (Amazon S3)은 데이터 로딩과 체크포인트 쓰기 및 읽기를 위한 유일한 통합 서비스로, 특히 워크로드 안정성과 운영 단순성에 기여했습니다.
SageMaker JumpStart란?
SageMaker JumpStart를 사용하면 ML 실무자는 점점 늘어나는 최고 성능의 기초 모델 목록에서 선택할 수 있습니다. ML 실무자는 네트워크 격리 환경 내의 전용 SageMaker 인스턴스에 기초 모델을 배포하고, 모델 교육 및 배포를 위해 Amazon SageMaker를 사용하여 모델을 사용자 지정할 수 있습니다.
이제 몇 번의 클릭만으로 Falcon 180B를 검색하고 배포할 수 있습니다. 아마존 세이지 메이커 스튜디오 또는 SageMaker Python SDK를 통해 프로그래밍 방식으로 다음과 같은 SageMaker 기능으로 모델 성능 및 MLOps 컨트롤을 파생할 수 있습니다. Amazon SageMaker 파이프 라인, Amazon SageMaker 디버거또는 컨테이너 로그. 이 모델은 AWS 보안 환경과 VPC 제어에 배포되어 데이터 보안을 보장합니다. Falcon 180B는 검색 가능하며 필수 인스턴스를 사용할 수 있는 지역에 배포할 수 있습니다. 현재 ml.p4de 인스턴스는 미국 동부(버지니아 북부) 및 미국 서부(오레곤)에서 사용할 수 있습니다.
모델 살펴보기
SageMaker Studio UI 및 SageMaker Python SDK에서 SageMaker JumpStart를 통해 기초 모델에 액세스할 수 있습니다. 이 섹션에서는 SageMaker Studio에서 모델을 검색하는 방법을 살펴봅니다.
SageMaker Studio는 데이터 준비에서 ML 모델 구축, 교육 및 배포에 이르기까지 모든 ML 개발 단계를 수행하기 위해 특별히 제작된 도구에 액세스할 수 있는 단일 웹 기반 시각적 인터페이스를 제공하는 통합 개발 환경(IDE)입니다. SageMaker Studio 시작 및 설정 방법에 대한 자세한 내용은 다음을 참조하십시오. 아마존 세이지 메이커 스튜디오.
SageMaker Studio에서는 사전 훈련된 모델, 노트북 및 사전 구축된 솔루션이 포함된 SageMaker JumpStart에 액세스할 수 있습니다. 사전 구축 및 자동화된 솔루션.
SageMaker JumpStart 랜딩 페이지에서 솔루션, 모델, 노트북 및 기타 리소스를 찾아볼 수 있습니다. Falcon 180B는 다음에서 찾을 수 있습니다. 기초 모델: 텍스트 생성 회전 목마
다음을 선택하여 다른 모델 변형을 찾을 수도 있습니다. 모든 텍스트 생성 모델 살펴보기 또는 검색 Falcon
.
모델 카드를 선택하면 라이선스, 학습에 사용되는 데이터, 사용 방법 등 모델에 대한 세부 정보를 볼 수 있습니다. 두 개의 버튼도 찾을 수 있습니다. 배포 및 노트북 열기, 이는 모델을 사용하는 데 도움이 됩니다(다음 스크린샷은 배포 선택권).
모델 배포
당신이 선택할 때 배포, 모델 배포가 시작됩니다. 또는 다음을 선택하여 표시되는 예제 노트북을 통해 배포할 수 있습니다. 노트북 열기. 예제 노트북은 추론을 위해 모델을 배포하고 리소스를 정리하는 방법에 대한 종단 간 지침을 제공합니다.
노트북을 사용하여 배포하려면 다음으로 지정된 적절한 모델을 선택하는 것으로 시작합니다. model_id
. 다음 코드를 사용하여 SageMaker에서 선택한 모델을 배포할 수 있습니다.
그러면 기본 인스턴스 유형 및 기본 VPC 구성을 포함한 기본 구성으로 SageMaker에 모델이 배포됩니다. 기본값이 아닌 값을 지정하여 이러한 구성을 변경할 수 있습니다. JumpStartModel
. 자세한 내용은 다음을 참조하세요. API 문서. 배포된 후에는 SageMaker 예측기를 통해 배포된 엔드포인트에 대해 추론을 실행할 수 있습니다. 다음 코드를 참조하세요.
추론 매개변수는 엔드포인트에서 텍스트 생성 프로세스를 제어합니다. 최대 새 토큰 컨트롤은 모델에서 생성된 출력의 크기를 나타냅니다. 모델의 어휘가 영어 어휘와 동일하지 않고 각 토큰이 영어 단어가 아닐 수 있으므로 이는 단어 수와 동일하지 않습니다. 온도는 출력의 무작위성을 제어합니다. 온도가 높을수록 더 창의적이고 환각적인 출력이 생성됩니다. 모든 추론 매개변수는 선택사항입니다.
이 180B 매개변수 모델은 335GB이며 16비트 정밀도로 추론을 충분히 수행하려면 더 많은 GPU 메모리가 필요합니다. 현재 JumpStart는 ml.p4de.24xlarge 인스턴스에서만 이 모델을 지원합니다. 다음을 제공하여 ml.p8d.4xlarge 인스턴스에 24비트 양자화 모델을 배포할 수 있습니다. env={"HF_MODEL_QUANTIZE": "bitsandbytes"}
에 대한 키워드 인수 JumpStartModel
생성자 및 지정 instance_type="ml.p4d.24xlarge"
배포 방법에. 그러나 이 양자화된 구성에서는 토큰당 대기 시간이 약 5배 더 느리다는 점에 유의하세요.
다음 표에는 모델 ID, 기본 인스턴스 유형, 지원되는 최대 총 토큰 수(입력 토큰 수와 생성된 토큰 수의 합계) 및 토큰당 일반적인 응답 지연 시간과 함께 SageMaker JumpStart에서 사용할 수 있는 모든 Falcon 모델이 나열되어 있습니다. 이 모델 각각에 대해.
모델 이름 | 모델 ID | 기본 인스턴스 유형 | 최대 총 토큰 | 토큰당 지연 시간* |
팔콘 7B | huggingface-llm- falcon-7b-bf16 |
ml.g5.2xlarge | 2048 | 34 MS |
팔콘 7B 지시 | huggingface-llm- falcon-7b-instruct-bf16 |
ml.g5.2xlarge | 2048 | 34 MS |
팔콘 40B | huggingface-llm- falcon-40b-bf16 |
ml.g5.12xlarge | 2048 | 57 MS |
팔콘 40B 지시 | huggingface-llm- falcon-40b-instruct-bf16 |
ml.g5.12xlarge | 2048 | 57 MS |
팔콘 180B | huggingface-llm- falcon-180b-bf16 |
ml.p4de.24xlarge | 2048 | 45 MS |
팔콘 180B 채팅 | huggingface-llm- falcon-180b-chat-bf16 |
ml.p4de.24xlarge | 2048 | 45 MS |
*토큰별 대기 시간은 이 블로그에 제공된 예시 프롬프트의 중앙값 응답 시간으로 제공됩니다. 이 값은 입력 및 출력 시퀀스의 길이에 따라 달라집니다.
Falcon 180B에 대한 추론 및 예시 프롬프트
Falcon 모델은 모든 텍스트의 텍스트 완성에 사용할 수 있습니다. 텍스트 생성을 통해 질문에 답하기, 언어 번역, 감정 분석 등과 같은 다양한 작업을 수행할 수 있습니다. 엔드포인트는 다음 입력 페이로드 스키마를 허용합니다.
이러한 정의를 탐색할 수 있습니다. 클라이언트 매개변수 텍스트 생성 추론 저장소 내의 기본값입니다.
다음은 몇 가지 샘플 예시 프롬프트와 모델에서 생성된 텍스트입니다. 여기의 모든 출력은 추론 매개변수를 사용하여 생성됩니다. {"max_new_tokens": 768, "stop": ["<|endoftext|>", "###"]}
.
웹사이트 구축은 간단한 10단계로 완료할 수 있습니다:
이 사전 학습된 모델은 대화 상자 사용 사례에 꼭 적합하지 않은 긴 텍스트 시퀀스를 생성한다는 것을 알 수 있습니다. 미세 조정된 채팅 모델이 대규모 대화 기반 프롬프트 세트에 대해 어떻게 작동하는지 보여주기 전에 다음 두 가지 예에서는 모델에 사용할 수 있는 훈련 샘플을 제공하는 상황 내 학습이 포함된 Falcon 모델을 사용하는 방법을 보여줍니다. "퓨샷 학습"은 모델 가중치를 조정하지 않습니다. 우리는 길드 모델 출력을 돕기 위해 입력 컨텍스트 내에서 몇 가지 예를 제공하면서 이 프로세스 동안 배포된 모델에 대해서만 추론을 수행합니다.
Falcon 180B-Chat에 대한 추론 및 예시 프롬프트
대화 사용 사례에 최적화된 Falcon 180B-Chat 모델을 사용하면 채팅 모델 엔드포인트에 대한 입력에 채팅 도우미와 사용자 간의 이전 기록이 포함될 수 있습니다. 지금까지 진행된 대화의 맥락에 맞는 질문을 할 수 있습니다. 채팅 도우미의 동작을 정의하는 페르소나와 같은 시스템 구성을 제공할 수도 있습니다. 엔드포인트에 대한 입력 페이로드는 Falcon 180B 모델과 동일합니다. inputs
문자열 값은 다음 형식을 사용해야 합니다.
다음은 몇 가지 샘플 예제 프롬프트와 모델에서 생성된 텍스트입니다. 모든 출력은 추론 매개변수로 생성됩니다. {"max_new_tokens":256, "stop": ["nUser:", "<|endoftext|>", " User:", "###"]}.
다음 예에서 사용자는 파리의 관광지에 대해 어시스턴트와 대화를 나눴습니다. 다음으로 사용자는 채팅 도우미가 추천하는 첫 번째 옵션에 대해 문의합니다.
정리
노트북 실행을 마친 후에는 청구가 중지되도록 프로세스에서 생성한 모든 리소스를 삭제해야 합니다. 다음 코드를 사용하세요.
결론
이 게시물에서는 SageMaker Studio에서 Falcon 180B를 시작하고 추론을 위해 모델을 배포하는 방법을 보여주었습니다. 기초 모델은 사전 훈련되어 있으므로 훈련 및 인프라 비용을 낮추고 사용 사례에 맞게 사용자 정의할 수 있습니다. 지금 SageMaker Studio에서 SageMaker JumpStart를 방문하여 시작하세요.
제품 자료
저자에 관하여
카일 울리히 박사 Amazon SageMaker JumpStart 팀의 응용 과학자입니다. 그의 연구 관심사는 확장 가능한 기계 학습 알고리즘, 컴퓨터 비전, 시계열, 베이지안 비모수 및 가우시안 프로세스를 포함합니다. Duke University에서 박사 학위를 받았으며 NeurIPS, Cell 및 Neuron에 논문을 발표했습니다.
Ashish Khetan 박사 Amazon SageMaker JumpStart의 수석 응용 과학자이며 기계 학습 알고리즘 개발을 돕습니다. 그는 University of Illinois Urbana-Champaign에서 박사 학위를 받았습니다. 그는 기계 학습 및 통계적 추론 분야에서 활동적인 연구원이며 NeurIPS, ICML, ICLR, JMLR, ACL 및 EMNLP 컨퍼런스에서 많은 논문을 발표했습니다.
올리비에 크루샹t는 프랑스에 본사를 둔 AWS의 수석 기계 학습 전문가 솔루션 아키텍트입니다. Olivier는 소규모 스타트업부터 대기업까지 AWS 고객이 프로덕션 수준의 기계 학습 애플리케이션을 개발하고 배포하도록 돕습니다. 여가 시간에는 연구 논문을 읽고 친구, 가족과 함께 자연을 탐험하는 것을 즐깁니다.
칼 알베르센 Amazon SageMaker의 기반 모델 허브, 알고리즘 및 파트너십 팀을 이끌고 있습니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 차트프라임. ChartPrime으로 트레이딩 게임을 향상시키십시오. 여기에서 액세스하십시오.
- BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/falcon-180b-foundation-model-from-tii-is-now-available-via-amazon-sagemaker-jumpstart/
- :있다
- :이다
- :아니
- :어디
- $UP
- 1
- 10
- 100
- 11
- 12
- 13
- 14
- 150
- 20
- 25
- 26%
- 3d
- 4k
- 7
- 8
- 9
- a
- 소개
- 수락
- ACCESS
- 얻기 쉬운
- 달성
- 활동적인
- 더하다
- 또한
- 주소
- 후
- 반대
- 알고리즘
- All
- 수
- 따라
- 또한
- 항상
- am
- 아마존
- 아마존 세이지 메이커
- Amazon SageMaker 점프스타트
- Amazon Web Services
- an
- 분석
- 및
- 인프라
- 알리다
- 다른
- 답변
- 어떤
- 누군가
- 정치
- 어플리케이션
- 적용된
- 적당한
- 대략
- 아키텍처
- 있군요
- 논의
- 미술
- 기사
- AS
- 문의
- 조수
- At
- 주의
- 유치
- 매력
- 자동화
- 가능
- 애비뉴
- AWS
- 기반으로
- 배터리
- 베이지안
- BE
- 아름다운
- 때문에
- 된
- 전에
- 행동
- 더 나은
- 사이에
- 청구
- 블로그
- 자랑
- 브라우저
- 건축업자
- 빌더
- 건물
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 카페
- CAN
- 능력
- 카드
- 회전 목마
- 케이스
- 가지 경우
- 이전 단계로 돌아가기
- 검사
- 왼쪽 메뉴에서
- 선택
- 선택
- City
- 분류
- 클러스터
- CMS를
- 암호
- 코드베이스
- 수집
- 열
- COM
- 결합 된
- 공통의
- 회사
- 완전한
- 완성
- 컴퓨터
- 컴퓨터 비전
- 회의
- 구성
- 구성
- CONTACT
- 포함하는
- 컨테이너
- 이 포함되어 있습니다
- 함유량
- 문맥
- 문맥
- 지속적으로
- 기여
- 제어
- 컨트롤
- 대화
- 이야기 잘하는
- 비용
- 만들
- 만든
- 만들기
- 창조적 인
- 컵
- Current
- 현재
- 관습
- 고객
- 고객센터
- 고객
- 사용자 정의
- 사용자 정의
- 데이터
- 데이터 보안
- 데이터 세트
- 일
- 결정
- 전용
- 태만
- 밝히다
- 정의
- 보여
- 의존
- 배포
- 배포
- 배치
- 전개
- 배치하다
- 디자인
- 목적지
- 세부설명
- 결정
- 개발
- 개발
- 개발
- 다이얼로그
- 대화
- 다른
- 발견
- 분산
- 분산 교육
- do
- 하지
- 도메인
- 도메인 이름
- 도메인 이름
- 한
- 꿈
- 공작
- 듀크 대학
- ...동안
- 마다
- 완화
- 용이하게
- 동쪽
- 쉽게
- 이메일
- 가능
- 가능
- 끝으로 종료
- 종점
- 에너지
- 엔지니어링
- 영어
- 확인
- 기업
- 환경
- 특히
- 조차
- 예
- 예
- 외
- 흥분한
- 전문적 지식
- 탐험
- 탐색
- 표현
- 확장자
- 확장
- 광대 한
- 가족
- 유명한
- 멀리
- 매혹적인
- 특징
- 를
- Find
- 먼저,
- 흙손
- 수행원
- 다음
- 럭셔리
- 체재
- 이전
- Foundation
- 사
- FRAME
- 프랑스
- 프랑스어
- 친구
- 에
- 작동
- 추가
- 정원
- 보석
- 생성
- 생성
- 생성
- 세대
- 얻을
- 유리
- Go
- 골
- 목표
- 가는
- 좋은
- 있어
- GPU
- GPU
- 큰
- 성장하는
- 지도
- 동업 조합
- 했다
- 일이
- 미워
- 있다
- 데
- he
- 심장
- 도움
- 도움이
- 도움이
- 도움이
- 여기에서 지금 확인해 보세요.
- 숨겨진
- 숨겨진 보석
- 고성능
- 더 높은
- 그의
- history
- 홈
- 주인
- 호스팅
- 방법
- How To
- 그러나
- HTML
- HTTPS
- 허브
- i
- 초상의
- ID
- 이상
- 식별자
- if
- 일리노이
- 영상
- 형상
- import
- 인상
- in
- 포함
- 포함
- 믿을 수
- 정보
- 인프라
- 혁신
- 입력
- 입력
- 예
- 학회
- 명령
- 통합 된
- 관심있는
- 이해
- 인터페이스
- 으로
- 외딴
- IT
- 그
- JPG
- 알려진
- 카일
- 상륙
- 언어
- 넓은
- 대기업
- 대규모
- 큰
- 가장 큰
- 숨어 있음
- 최근
- 시작
- 법규
- 레이아웃
- 오퍼
- 배우다
- 배우기
- 길이
- 특허
- 빛
- 안을 댄
- LINK
- 모래밭
- 명부
- 기울기
- 로드
- 긴
- 절감
- 룩셈부르크
- 기계
- 기계 학습
- 만든
- 확인
- 유튜브 영상을 만드는 것은
- 구축
- 관리하다
- .
- 놀라운 일
- 질량
- 거대한
- 최대
- 최고
- XNUMX월..
- 의미
- 방법
- 미디어
- 중세
- 메모리
- 메시지
- 방법
- 수도
- 혼성
- 혼합물
- ML
- MLOps
- 모델
- 모델
- 배우기
- 가장
- 운동
- 박물관
- 음악
- my
- name
- 이름
- 이름
- 이동
- 카테고리
- 필연적으로
- 필요
- 부정
- 그물
- 네트워크
- 중립의
- 신제품
- 다음 것
- 밤
- 아니
- 수첩
- 알아채다..
- 지금
- 번호
- 옵저버
- of
- 제공
- 기름
- 올리브
- on
- 일단
- ONE
- 만
- 공공연히
- 운영
- 최적화
- 선택권
- 옵션
- or
- 오레곤
- 기타
- 아웃
- 설명
- 출력
- 위에
- 페이지
- 페이지
- 고급 호텔
- 서류
- 매개 변수
- 매개 변수
- 파리
- 공원
- 특별히
- 협력
- 지불
- 결제 방법
- 사람들
- 용
- 완전한
- 수행
- 성능
- 수행하다
- 박사 학위
- 전화
- 물리학
- 조각
- 계획
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 부디
- 긍정적인
- 가능한
- 게시하다
- 게시물
- Precision
- Predictor
- 준비
- 제시
- 너무 이른
- 주로
- 교장
- 문제
- 방법
- 프로세스
- 프로덕트
- 홍보
- 정확히
- 제공
- 제공
- 공급자
- 제공
- 제공
- 출판
- 목적
- 놓다
- Python
- 문의
- 빨리
- 무작위성
- 살갗이 벗어 진
- 읽기
- 조리법
- 추천
- 참조
- 의미
- 관계없이
- 지역
- 회원가입
- 등록
- 레지스트라
- 등록
- 상대적인
- 상대성
- 출시
- 보도 자료
- 관련된
- 신뢰성
- 신뢰할 수있는
- 기억
- 저장소
- 대표
- 필요
- 필요한
- 연구
- 연구원
- 제품 자료
- 응답
- 결과
- 풍부한
- 타기
- 왕족
- 달리기
- 달리는
- s
- 현자
- 소금
- 같은
- 확장성
- 확장성
- 규모
- 과학자
- SDK
- 바다
- 검색
- 수색
- 계절
- 둘째
- 섹션
- 안전해야합니다.
- 보안
- 참조
- 씨
- 선택된
- 선택
- 연장자
- 감정
- 연속
- 서비스
- 서비스
- 세트
- 설정
- 몇몇의
- 공유
- 상점
- 짧은
- 영상을
- 표시
- 보여
- 쇼
- 기호
- 단순, 간단, 편리
- 간단
- 간단히
- 단일
- 사이트
- 크기
- 천천히
- 작은
- So
- 지금까지
- 사회적
- 소셜 미디어
- 소셜 미디어 게시물
- 솔루션
- 일부
- 무언가
- 출처
- 스페이스 버튼
- 전문가
- 지정
- 속도
- 스타트
- 시작
- 신생
- 미국
- 역
- 통계적인
- 단계
- 중지
- 정지
- 저장
- 저장
- 거리
- 끈
- 스튜디오
- 기절시키는
- 이러한
- SUPPORT
- 지원
- 지원
- 확인
- 상징
- 체계
- 테이블
- 받아
- 복용
- 작업
- 키
- 팀
- 팀
- Technology
- 기술 혁신
- 이 템플릿
- test
- 본문
- 그
- XNUMXD덴탈의
- 세계
- 그들의
- 그들
- 테마
- 그때
- 이론
- 그곳에.
- Bowman의
- 그들
- 제삼
- 이
- 을 통하여
- 시간
- 시계열
- 에
- 함께
- 토큰
- 토큰
- 수단
- 검색을
- 금액
- 탑
- Train
- 훈련 된
- 트레이닝
- 변압기
- 번역
- 번역
- 일조
- 여행
- 소라 고둥
- 시도
- 짹짹
- 두
- 유형
- 유형
- 전형적인
- ui
- 아래에
- 통일
- 유일한
- 대학
- 까지
- 업로드
- us
- 사용
- 유스 케이스
- 익숙한
- 사용자
- 사용자
- 사용
- 사용
- 진공
- 가치
- 마케팅은:
- 종류
- 여러
- 버전
- 버전
- 를 통해
- 바이브
- Video
- 동영상
- 관측
- 보기
- 버지니아의
- 시력
- 방문
- 방문자
- 시각
- 걷다
- 필요
- 였다
- 워터 마크
- we
- 웹
- 웹 서비스
- 웹 기반
- 웹 사이트
- 주
- 주
- 잘
- West
- 뭐
- 언제
- 어느
- 동안
- 의지
- 창
- 과
- 이내
- 없이
- 워드
- 말
- 세계
- 쓰기
- 예
- 자신의
- 너의
- 제퍼 넷
- 제로