Giriş
Eminim çoğunuz ChatGPT'yi duymuş ve sorularınızı yanıtlamak için denemiştir! Kaputun altında ne olduğunu hiç merak ettiniz mi? Open AI tarafından geliştirilen Büyük Dil Modeli GPT-3 tarafından desteklenmektedir. Genellikle LLM'ler olarak adlandırılan bu büyük dil modelleri, birçok olasılığın kilidini açmıştır. Doğal Dil İşleme.
Büyük Dil Modelleri nelerdir?
LLM modelleri, insan dilini anlam ve bağlamla anlamalarını sağlayan büyük miktarda metin verisi üzerinde eğitilmiştir. Önceden çoğu model, girdi özelliklerini ve karşılık gelen etiketleri beslediğimiz denetimli yaklaşım kullanılarak eğitiliyordu. Bunun aksine, LLM'ler, herhangi bir etiket ve talimat olmaksızın muazzam miktarda metin verisiyle beslendikleri denetimsiz öğrenme yoluyla eğitilirler. Dolayısıyla, LLM'ler bir dilin kelimeleri arasındaki anlamı ve ilişkileri verimli bir şekilde öğrenirler. Metin oluşturma, soru yanıtlama, bir dilden diğerine çeviri ve çok daha fazlası gibi çok çeşitli görevler için kullanılabilirler.
Her şeyden önce, bu büyük dil modelleri, etki alanına özgü görevler için özel veri kümenizde ince ayar yapılabilir. Bu yazıda, ince ayar ihtiyacından, mevcut farklı LLM'lerden bahsedeceğim ve ayrıca bir örnek göstereceğim.
LLM İnce Ayarını Anlamak
Bir diyabet destek topluluğu işlettiğinizi ve soruları yanıtlamak için çevrimiçi bir yardım hattı kurmak istediğinizi varsayalım. Önceden eğitilmiş bir LLM daha genel olarak eğitilir ve alana özgü sorular için en iyi yanıtları sağlayamaz ve tıbbi terimleri ve kısaltmaları anlayamaz. Bu ince ayar ile çözülebilir.
İnce ayar derken neyi kastediyoruz? Kısaca söylemek gerekirse, Transfer
öğrenme! Büyük dil modelleri, ağır kaynaklar kullanan devasa veri kümeleri üzerinde eğitilir ve milyonlarca parametreye sahiptir. Ön eğitim sırasında LLM tarafından öğrenilen temsiller ve dil kalıpları, elinizdeki mevcut göreve aktarılır. Teknik açıdan, önceden eğitilmiş ağırlıklarla bir model başlatıyoruz ve ardından parametreler için göreve göre optimize edilmiş ağırlıklara ulaşmak için onu göreve özgü verilerimiz üzerinde eğitiyoruz. Ayrıca model mimarisinde değişiklikler yapabilir, katmanları ihtiyacınıza göre değiştirebilirsiniz.
Neden Modellerde İnce Ayar Yapmalısınız?
- Zamandan ve kaynaklardan tasarruf edin: İnce ayar, sıfırdan eğitime göre gereken eğitim süresini ve kaynakları azaltmanıza yardımcı olabilir.
- Azaltılmış Veri Gereksinimleri: Bir modeli sıfırdan eğitmek istiyorsanız, genellikle bireyler ve küçük işletmeler için mevcut olmayan büyük miktarda etiketlenmiş veriye ihtiyacınız olacaktır. İnce ayar, daha az miktarda veriyle bile iyi performans elde etmenize yardımcı olabilir.
- İhtiyaçlarınıza göre özelleştirin: Önceden eğitilmiş LLM, alanınıza özgü terminoloji ve kısaltmaları yakalamayabilir. Örneğin, normal bir LLM "Tip 1" ve "Tip 2"nin diyabet türlerini ifade ettiğini kabul etmezken, ince ayarlı bir LLM anlayabilir.
- Sürekli öğrenmeyi etkinleştirin: Diyelim ki modelimize diyabet bilgi verileri üzerinde ince ayar yaptık ve onu devreye aldık. Ya dahil etmek istediğiniz yeni bir diyet planı veya tedavi varsa? Önceden ince ayar yaptığınız modelinizin ağırlıklarını kullanabilir ve yeni verilerinizi içerecek şekilde ayarlayabilirsiniz. Bu, kuruluşların modellerini verimli bir şekilde güncel tutmasına yardımcı olabilir.
Açık Kaynak LLM Modeli Seçme
Bir sonraki adım, göreviniz için geniş bir dil modeli seçmek olacaktır. Seçenekleriniz nelerdir? Şu anda mevcut olan son teknoloji büyük dil modelleri arasında GPT-3, Bloom, BERT, T5 ve XLNet bulunmaktadır. Bunların arasında GPT-3 (Generative Pretrained Transformers), 175 milyar parametre üzerinde eğitildiğinden ve çeşitli NLU görevlerini yerine getirebildiğinden en iyi performansı göstermiştir. Ancak GPT-3 ince ayarına yalnızca ücretli bir abonelikle erişilebilir ve diğer seçeneklerden nispeten daha pahalıdır.
Öte yandan BERT, açık kaynaklı bir büyük dil modelidir ve ücretsiz olarak ince ayar yapılabilir. Bert Çift Yönlü Kodlayıcı Kod Çözücü Transformatörleri anlamına gelir. BERT, bağlamsal kelime temsillerini anlama konusunda mükemmel bir iş çıkarıyor.
Nasıl seçiyorsun?
Göreviniz daha çok metin oluşturmaya yönelikse, GPT-3 (ücretli) veya GPT-2 (açık kaynak) modelleri daha iyi bir seçim olacaktır. Göreviniz metin sınıflandırması, soru yanıtlama veya Varlık Tanıma kapsamına giriyorsa, BERT ile gidebilirsiniz. Diyabetle ilgili Soru yanıtlama durumum için BERT modeliyle ilerliyor olacaktım.
Veri Kümenizi Hazırlama ve Ön İşleme
Veri formatı modele ve göreve göre değiştiğinden, bu ince ayarın en önemli adımıdır. Bu vaka için Ulusal Sağlık Enstitüsünden temin ettiğim diyabetle ilgili bilgileri içeren örnek bir metin belgesi oluşturdum. Web sitesi. Kendi verilerinizi kullanabilirsiniz.
BERT'de Soru-Cevaplama görevinde ince ayar yapmak için verilerinizi SQuAD formatına dönüştürmeniz önerilir. SQuAD, Stanford Soru Yanıt Veri Kümesidir ve bu format, Soru yanıtlama görevleri için NLP modellerinin eğitimi için yaygın olarak benimsenmiştir. Verilerin, her alanın aşağıdakilerden oluştuğu JSON biçiminde olması gerekir:
context
: Modelin sorunun yanıtını aradığı metni temel alan cümle veya paragrafquestion
: BERT'in cevaplamasını istediğimiz sorgu. Bu soruları, son kullanıcının QA modeliyle nasıl etkileşime gireceğine bağlı olarak belirlemeniz gerekir.answers
: Bu alana istediğiniz cevabı vermeniz gerekmektedir. Bunun altında iki alt bileşen vardır,text
veanswer_start
.text
cevap dizisine sahip olacaktır. Halbuki,answer_start
Bağlam paragrafında yanıtın başladığı dizini belirtir.
Tahmin edebileceğiniz gibi, manuel olarak yapacak olsaydınız, belgeniz için bu verileri oluşturmak çok zaman alırdı. Endişelenmeyin, Haystack açıklama aracıyla bunu nasıl kolayca yapacağınızı size göstereceğim.
Haystack ile SQuAD Formatında Veri Nasıl Oluşturulur?
Haystack ek açıklama aracını kullanarak, soru yanıtlama görevleri için hızlı bir şekilde etiketli bir veri kümesi oluşturabilirsiniz. Araca, kendi hesaplarında bir hesap oluşturarak erişebilirsiniz. yer. Yeni bir proje oluşturun ve belgenizi yükleyin. Bunu “Belgeler” sekmesi altında görüntüleyebilir, “Eylemler” e gidin ve sorularınızı oluşturma seçeneğini görebilirsiniz. Belgede sorunuzu yazabilir ve cevabı vurgulayabilirsiniz, Haystack bunun başlangıç dizinini otomatik olarak bulacaktır. Aşağıdaki görselde belgemde nasıl yaptığımı gösterdim.
Şekil 1: Haystack ile Soru-Cevap için etiketli veri seti oluşturma
İnce ayar yapmak için yeterli sayıda Soru-cevap çifti oluşturmayı bitirdiğinizde, aşağıda gösterildiği gibi bunların bir özetini görebilmeniz gerekir. "Etiketleri dışa aktar" sekmesinin altında, dışa aktarmak istediğiniz format için birden fazla seçenek bulabilirsiniz. Bizim durumumuz için manga formatını seçiyoruz. Aracı kullanma konusunda daha fazla yardıma ihtiyacınız varsa, belgeleme. Artık ince ayar için QA çiftlerini içeren JSON dosyamız var.
İnce Ayar Nasıl Yapılır?
Python, ince ayar için kullanabileceğiniz birçok açık kaynak paketi sunar. Davam için Pytorch ve Transformers paketini kullandım. Paket yöneticisi olan pip'i kullanarak paket modüllerini içe aktararak başlayın. bu transformers
kitaplık sağlar BERTTokenizer
, özellikle girdileri BERT modeline tokenize etmek içindir.
!pip install torch
!pip install transformers import json
import torch
from transformers import BertTokenizer, BertForQuestionAnswering
from torch.utils.data import DataLoader, Dataset
Yükleme ve Ön İşlem için Özel Veri Kümesi Tanımlama
Bir sonraki adım, verileri yüklemek ve önceden işlemek. kullanabilirsiniz Dataset
Pytorch'tan sınıf utils.data
veri kümeniz için özel bir sınıf tanımlamak için modül. Özel bir veri kümesi sınıfı oluşturdum diabetes
aşağıdaki kod parçacığında da görebileceğiniz gibi. bu init
değişkenleri başlatmaktan sorumludur. bu file_path
JSON eğitim dosyanızın yolunu girecek ve başlatmak için kullanılacak bir bağımsız değişkendir. data
. Başlatıyoruz BertTokenizer
Ayrıca burada.
Sonra, bir tanımlıyoruz load_data()
işlev. Bu işlev, JSON dosyasını bir JSON veri nesnesine okuyacak ve ondan bağlamı, soruyu, yanıtları ve bunların dizinlerini çıkaracaktır. Ayıklanan alanları bir listeye ekler ve döndürür.
The getitem
soruyu ve bağlamı giriş tensörlerine kodlamak için BERT tokenizer'ı kullanır. input_ids
ve attention_mask
. encode_plus
metni tokenize eder ve özel belirteçler ekler ([CLS] ve [SEP] gibi). kullandığımıza dikkat edin squeeze()
BERT'ye girmeden önce herhangi bir tekil boyutu kaldırma yöntemi. Son olarak, işlenmiş giriş tensörlerini döndürür.
class diabetes(Dataset): def __init__(self, file_path): self.data = self.load_data(file_path) self.tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') def load_data(self, file_path): with open(file_path, 'r') as f: data = json.load(f) paragraphs = data['data'][0]['paragraphs'] extracted_data = [] for paragraph in paragraphs: context = paragraph['context'] for qa in paragraph['qas']: question = qa['question'] answer = qa['answers'][0]['text'] start_pos = qa['answers'][0]['answer_start'] extracted_data.append({ 'context': context, 'question': question, 'answer': answer, 'start_pos': start_pos, }) return extracted_data def __len__(self): return len(self.data) def __getitem__(self, index): example = self.data[index] question = example['question'] context = example['context'] answer = example['answer'] inputs = self.tokenizer.encode_plus(question, context, add_special_tokens=True, padding='max_length', max_length=512, truncation=True, return_tensors='pt') input_ids = inputs['input_ids'].squeeze() attention_mask = inputs['attention_mask'].squeeze() start_pos = torch.tensor(example['start_pos']) return input_ids, attention_mask, start_pos, end_pos
Tanımladıktan sonra, devam edip bu sınıfın bir örneğini oluşturabilirsiniz. file_path
buna argüman.
file_path = 'diabetes.json'
dataset = diabetes(file_path)
Modeli Eğitmek
ben kullanacağım BertForQuestionAnswering
model, QA görevleri için en uygun modeldir. Önceden eğitilmiş ağırlıkları başlatabilirsiniz. bert-base-uncased
çağırarak modeli from_pretrained
model üzerinde işlev Eğitim için kullanacağınız değerlendirme kaybı işlevini ve optimize ediciyi de seçmelisiniz.
En iyi uygulamalar, endüstri tarafından kabul edilen standartlar ve dahil edilen hile sayfası ile Git'i öğrenmek için uygulamalı, pratik kılavuzumuza göz atın. Googling Git komutlarını durdurun ve aslında öğrenmek o!
Bir Adam iyileştirici ve çapraz entropi kaybı işlevi kullanıyorum. Pytorch sınıfını kullanabilirsiniz DataLoader
verileri farklı gruplar halinde yüklemek ve ayrıca herhangi bir sapmayı önlemek için bunları karıştırmak.
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = BertForQuestionAnswering.from_pretrained('bert-base-uncased')
model.to(device) optimizer = torch.optim.AdamW(model.parameters(), lr=2e-5)
loss_fn = torch.nn.CrossEntropyLoss()
batch_size = 8
num_epochs = 50 data_loader = DataLoader(dataset, batch_size=batch_size, shuffle=True)
Veri yükleyici tanımlandıktan sonra devam edebilir ve son eğitim döngüsünü yazabilirsiniz. Her iterasyonda, elde edilen her parti data_loader
içeren batch_size
ileri ve geri yayılımın gerçekleştirildiği örnek sayısı. Kod, kaybın minimum olacağı parametreler için en iyi ağırlık setini bulmaya çalışır.
for epoch in range(num_epochs): model.train() total_loss = 0 for batch in data_loader: input_ids = batch[0].to(device) attention_mask = batch[1].to(device) start_positions = batch[2].to(device) optimizer.zero_grad() outputs = model(input_ids, attention_mask=attention_mask, start_positions=start_positions) loss = outputs.loss loss.backward() optimizer.step() total_loss += loss.item() avg_loss = total_loss / len(data_loader) print(f"Epoch {epoch+1}/{num_epochs} - Average Loss: {avg_loss:.4f}")
Bu, ince ayarlarınızı tamamlar! Modeli ayarlayarak test edebilirsiniz. model.eval()
. Verileriniz üzerinde en iyi sonuçları elde etmek için öğrenme hızı ve dönem sayısı parametrelerinde ince ayar da yapabilirsiniz.
En İyi İpuçları ve Uygulamalar
Özel veriler üzerinde herhangi bir büyük dil modelinde ince ayar yaparken dikkat edilmesi gereken bazı noktalar şunlardır:
- Veri kümenizin, dil modelinin üstün olmasını istediğiniz hedef alanı veya görevi temsil etmesi gerekir. Temiz ve iyi yapılandırılmış veriler önemlidir.
- Modelin kalıpları öğrenmesi için verilerinizde yeterli eğitim örneğinin bulunduğundan emin olun. Aksi takdirde, model, örnekleri ezberleyebilir ve kapasitesi olmadan fazla sığdırabilir. genelleştirmek görülmemiş örneklere
- Eldeki görevinizle ilgili bir yapı üzerinde eğitilmiş, önceden eğitilmiş bir model seçin. Soru yanıtlamak için, Stanford Question Answering veri setinde eğitilmiş, önceden eğitilmiş bir model seçiyoruz. Buna benzer olarak, duygu analizi, metin oluşturma, özetleme, metin sınıflandırma ve daha fazlası gibi görevler için farklı modeller mevcuttur.
- denemek Gradyan birikimi sınırlı GPU belleğiniz varsa. Bu yöntemde, her partiden sonra modelin ağırlıklarını güncellemek yerine, bir güncelleme gerçekleştirmeden önce birden fazla mini partide gradyanlar toplanır.
- İnce ayar yaparken fazla takma sorunuyla karşılaşırsanız, düzenleme teknikler. Yaygın olarak kullanılan bazı yöntemler, model mimarisine bırakma katmanları ekleme, ağırlık azaltma ve katman normalleştirme uygulamalarını içerir.
Sonuç
Büyük dil modelleri, birçok görevi hızlı ve verimli bir şekilde otomatikleştirmenize yardımcı olabilir. İnce ayarlı LLM'ler, transfer öğrenmenin gücünden yararlanmanıza ve onu kendi alanınıza göre özelleştirmenize yardımcı olur. Veri kümeniz tıp, teknik bir niş, finansal veri kümeleri ve daha fazlası gibi alanlardaysa ince ayar gerekli olabilir.
Bu yazıda, açık kaynak olduğu ve kişisel kullanım için iyi çalıştığı için BERT kullandık. Büyük ölçekli bir proje üzerinde çalışıyorsanız, GPT3 gibi daha güçlü LLM'leri veya diğer açık kaynak alternatiflerini tercih edebilirsiniz. Büyük dil modellerinde ince ayar yapmanın hesaplama açısından pahalı ve zaman alıcı olabileceğini unutmayın. Ölçeğe bağlı olarak GPU'lar veya TPU'lar dahil olmak üzere yeterli hesaplama kaynağına sahip olduğunuzdan emin olun.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
- Kaynak: https://stackabuse.com/guide-to-fine-tuning-open-source-llms-on-custom-data/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 1
- 12
- 20
- 8
- a
- Yapabilmek
- Hakkımızda
- erişim
- erişilen
- Hesap
- birikmiş
- Başarmak
- eylemler
- aslında
- Adem
- ekleme
- Ekler
- benimsenen
- Sonra
- önde
- AI
- Ayrıca
- alternatifleri
- am
- arasında
- miktar
- tutarları
- an
- analiz
- ve
- Başka
- cevap
- cevaplar
- herhangi
- yaklaşım
- mimari
- ARE
- tartışma
- göre
- AS
- At
- Denemeler
- otomatikleştirmek
- otomatik olarak
- mevcut
- ortalama
- önlemek
- merkezli
- BE
- olmuştur
- önce
- altında
- İYİ
- Daha iyi
- arasında
- önyargı
- Milyar
- Çiçek açmak
- sınır
- işletmeler
- fakat
- by
- çağrı
- CAN
- Kapasite
- dava
- Yakalamak
- değişiklikler
- ChatGPT
- Kontrol
- seçim
- Klinik
- sınıf
- sınıflandırma
- kod
- çoğunlukla
- topluluk
- Tamamladı
- sonuç
- oluşur
- içeren
- bağlam
- bağlamsal
- dönüştürme
- uyan
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- Oluşturma
- Çapraz
- çok önemli
- akım
- Şu anda
- görenek
- özelleştirmek
- veri
- veri kümeleri
- tanımlı
- konuşlandırılmış
- İstediğiniz
- gelişmiş
- cihaz
- Diyabet
- DID
- Diyet
- farklı
- boyutlar
- çeşitli
- do
- belge
- evraklar
- yok
- domain
- etki
- don
- yapılmış
- sırasında
- her
- kolayca
- verimli
- verimli biçimde
- başka
- etkinleştirme
- son
- yeterli
- sağlamak
- varlık
- çağ
- devirler
- gerekli
- değerlendirme
- Hatta
- hİÇ
- örnek
- örnekler
- Excel
- mükemmel
- pahalı
- ihracat
- çıkarmak
- Yüz
- Falls
- Özellikler
- Fed
- alan
- Alanlar
- fileto
- son
- Nihayet
- mali
- bulmak
- odak
- İçin
- biçim
- ileri
- ÇERÇEVE
- Ücretsiz
- itibaren
- işlev
- genellikle
- nesil
- üretken
- Git
- Go
- Tercih Etmenizin
- GPU
- GPU'lar
- gradyanları
- rehberlik
- el
- sap
- hands-on
- olur
- Var
- Sağlık
- duydum
- ağır
- yardım et
- bundan dolayı
- okuyun
- Vurgulamak
- başlık
- duraksamak
- Ne kadar
- Nasıl Yapılır
- HTTPS
- Kocaman
- insan
- muazzam
- i
- if
- görüntü
- resim
- uygulanması
- ithal
- in
- dahil
- dahil
- Dahil olmak üzere
- indeks
- bireyler
- bilgi
- giriş
- girişler
- kurmak
- örnek
- talimatlar
- etkileşim
- içine
- Giriş
- IT
- tekrarlama
- İş
- json
- tutmak
- Etiketler
- dil
- büyük
- büyük ölçekli
- tabaka
- katmanları
- ÖĞRENİN
- öğrendim
- öğrenme
- izin
- Kaldıraç
- LG
- Kütüphane
- sevmek
- Sınırlı
- Liste
- ll
- Yüksek Lisans
- yük
- yükleyici
- yükleme
- kayıp
- Çok
- yapmak
- müdür
- tavır
- el ile
- çok
- masif
- Mayıs..
- ortalama
- anlam
- tıbbi
- Bellek
- yöntem
- yöntemleri
- olabilir
- milyonlarca
- en az
- model
- modelleri
- değiştirmek
- modül
- Modüller
- Daha
- çoğu
- çok
- çoklu
- my
- ulusal
- gerek
- gerekli
- ihtiyaçlar
- yeni
- sonraki
- NIH
- nlp
- yok hayır
- normal
- şimdi
- numara
- nesne
- elde etmek
- elde
- of
- Teklifler
- sık sık
- on
- ONE
- Online
- bir tek
- açık
- açık kaynak
- seçenek
- Opsiyonlar
- or
- organizasyonlar
- Diğer
- bizim
- dışarı
- tekrar
- kendi
- paket
- paketler
- ödenmiş
- çiftleri
- parametreler
- belirli
- Geçen
- yol
- desen
- başına
- performans
- yapılan
- icra
- kişisel
- plan
- Platon
- Plato Veri Zekası
- PlatoVeri
- noktaları
- olanakları
- güç kelimesini seçerim
- powered
- güçlü
- Pratik
- Önceden
- Sorun
- İşlenmiş
- proje
- sağlamak
- sağlar
- pytorch
- Soru-Cevap
- soru
- Sorular
- Hızlı
- hızla
- oran
- daha doğrusu
- ulaşmak
- Okumak
- tanıma
- tanımak
- Tavsiye edilen
- azaltmak
- Referans
- İlişkiler
- Nispeten
- uygun
- hatırlamak
- Kaldır
- temsil etmek
- Yer Alan Kurallar
- Kaynaklar
- sorumlu
- Sonuçlar
- İade
- Yüzük
- koşmak
- s
- söylemek
- ölçek
- çizik
- Ara
- görmek
- SELF
- cümle
- duygu
- set
- ayar
- gölge
- yaprak
- meli
- şov
- gösterilen
- karıştırmak
- belirtmek
- benzer
- küçük
- küçük işletmeler
- daha küçük
- biraz
- Kaynak
- özel
- özel
- özellikle
- Yığın kötüye kullanımı
- standartlar
- standları
- stanford
- başlama
- XNUMX dakika içinde!
- state-of-the-art
- adım
- dur
- dizi
- abone
- böyle
- yeterli
- ÖZET
- destek
- elbette
- Bizi daha iyi tanımak için
- Konuşmak
- Hedef
- Görev
- görevleri
- Teknik
- terminoloji
- şartlar
- test
- Metin Sınıflandırması
- göre
- o
- The
- ve bazı Asya
- Onları
- sonra
- Orada.
- Bunlar
- onlar
- Re-Tweet
- İçinden
- zaman
- zaman tükeniyor
- ipuçları
- için
- tokenize
- tokenizing
- Jeton
- araç
- üst
- meşale
- karşı
- Tren
- eğitilmiş
- Eğitim
- transfer
- transfer
- transformatörler
- geçiş
- Çeviri
- tedavi
- denenmiş
- iki
- tip
- türleri
- altında
- anlamak
- anlayış
- aksine
- aktüel
- Güncelleme
- güncellenmesi
- kullanım
- Kullanılmış
- kullanıcı
- kullanım
- kullanma
- çeşitlilik
- Görüntüle
- istemek
- we
- ağırlık
- İYİ
- vardı
- Ne
- oysa
- hangi
- süre
- geniş
- geniş ölçüde
- irade
- ile
- olmadan
- Word
- sözler
- çalışma
- çalışır
- endişe
- olur
- gitmeyeceklerini
- yazmak
- Sen
- zefirnet