Bölüm 8 · Büyük dil modellerinin parçaları · Ders 34

Dikkat mekanizması

"o" kimi kastediyor? Sorgu, anahtar, değer ve softmax

Veri. Robota sesli bir rapor geliyor: "robot kutuyu aldı çünkü o hafifti". Burada "o" kutu; "o güçlüydü" deseydik robot olurdu. Dil modeli bunu dikkat ile çözer. Altı kelimenin her birine 5 sayılık elle kurulmuş bir vektör verdik (ajan, nesne, eylem, hafif, güçlü) ve dil modellerindeki hesabı birebir yapıyoruz; yalnız boyutlar küçük.

altı kelimelik bir cümlesorgu "o" · d = 3 · τ = 1,00

1 / 60

Sorgu kelimesi (1 robot … 5 o … 6 son) 5Sıcaklık τ 1Son kelime (0 hafifti, 1 güçlüydü) 0

dikkat.pypython

import numpy as np
words = ["robot", "box", "picked", "because", "it", "light"]
X = np.array([[1, 0, 0, 0, 0], # robot: ajan
[0, 1, 0, 0, 0], # kutu: nesne
[0, 0, 1, 0, 0], # aldı: eylem
[0, 0, .5, 0, 0], # çünkü
[.5, .5, 0, 0, 0], # o: ajan mı nesne mi?
[0, 0, 0, 1, 0]], float) # hafifti (güçlüydü: 0,0,0,0,1)
X[4] += X[5] # önceki katman: "o" cümle sonunu görmüş
WQ = 2.5 * np.array([[0, 0, 1], [0, 0, 1], [1, 1, 0], # sütunlar: ajan, nesne, eylem arar
[0, 2, 0], [2, 0, 0]]) # hafif → nesne, güçlü → ajan
WK = WV = np.eye(5, 3) # anahtar = değer = ilk 3 özellik
Q, K, V = X @ WQ, X @ WK, X @ WV
d, tau = K.shape[1], 1.0 # d = 3, sıcaklık
S = Q @ K.T # benzerlik: her sorgu · her anahtar
S = S / (np.sqrt(d) * tau) # ölçekle
A = np.exp(S - S.max(1, keepdims=True)) # softmax: üs al
A = A / A.sum(1, keepdims=True) # satır toplamı 1
out = A @ V # değerlerin ağırlıklı karışımı
print(A[4].round(2), words[A[4].argmax()]) # "o" kime bakıyor?
print(out[4].round(2)) # "o"nun yeni vektörü

Sahnedeki her sayı, aynı algoritmanın tarayıcında yapılan gerçek çalıştırmasından gelir (sabit tohum, her seferinde aynı sonuç). Python kodunu kendi bilgisayarında çalıştırırsan rastgele başlangıçlar farklı olacağı için sayılar biraz değişebilir.

Veri seti

Tüm veri setleri →

Bu dersin kodu verisini kendi içinde üretir; indirilecek dosya yok. Kodu yine de aşağıda tarayıcında çalıştırabilirsin.

Kodu tarayıcıda çalıştırPython · NumPy · matplotlib · Pyodide

Python ve NumPy bu sayfada, tarayıcında çalışır (Pyodide). Kodu değiştirip yeniden çalıştırabilirsin; dersin veri setleri çalışma klasöründe hazır. Kod matplotlib kullanırsa grafikler çıktının altında görünür, yazdığı dosyalar (ör. egitim_gecmisi.csv) indirilebilir.

dikkat.pypython

import numpy as np
words = ["robot", "box", "picked", "because", "it", "light"]
X = np.array([[1, 0, 0, 0, 0],                # robot: ajan
              [0, 1, 0, 0, 0],                # kutu: nesne
              [0, 0, 1, 0, 0],                # aldı: eylem
              [0, 0, .5, 0, 0],               # çünkü
              [.5, .5, 0, 0, 0],              # o: ajan mı nesne mi?
              [0, 0, 0, 1, 0]], float)        # hafifti (güçlüydü: 0,0,0,0,1)
X[4] += X[5]                                  # önceki katman: "o" cümle sonunu görmüş
WQ = 2.5 * np.array([[0, 0, 1], [0, 0, 1], [1, 1, 0],  # sütunlar: ajan, nesne, eylem arar
                     [0, 2, 0], [2, 0, 0]])   # hafif → nesne, güçlü → ajan
WK = WV = np.eye(5, 3)                        # anahtar = değer = ilk 3 özellik
Q, K, V = X @ WQ, X @ WK, X @ WV
d, tau = K.shape[1], 1.0                      # d = 3, sıcaklık
S = Q @ K.T                                   # benzerlik: her sorgu · her anahtar
S = S / (np.sqrt(d) * tau)                    # ölçekle
A = np.exp(S - S.max(1, keepdims=True))       # softmax: üs al
A = A / A.sum(1, keepdims=True)               # satır toplamı 1
out = A @ V                                   # değerlerin ağırlıklı karışımı
print(A[4].round(2), words[A[4].argmax()])    # "o" kime bakıyor?
print(out[4].round(2))                        # "o"nun yeni vektörü

Kendi CSV’ni yükle

Çıktı

Çıktı burada görünecek.

Nasıl çalışır

Her kelime üç vektör üretir: sorgu (Q, "ne arıyorum"), anahtar (K, "ben neyim"), değer (V, "ne taşıyorum"). Bunlar kelime vektörünün üç ayrı matrisle çarpımıdır.
Benzerlik: sorgunun her anahtarla nokta çarpımı. Ölçekleme: √d’ye (burada √3) bölünür ki boyut büyüdükçe sayılar patlamasın; τ sıcaklığıyla da bölüyoruz.
Softmax: her sayının üssü alınır ve toplama bölünür; satırın toplamı 1 olur, yani ağırlıklar bir olasılık dağılımıdır.
Karışım: kelimenin yeni vektörü, değerlerin bu ağırlıklarla ortalamasıdır. "o"nun yeni vektörü çoğunlukla "kutu"nun değerini taşır.
Şunu dene: son kelimeyi "güçlüydü" yap; dikkat robota kayar. τ’yu 3 yap; dağılım düzleşir ve karar bulanıklaşır.

Neden önemli

Dikkat, transformer’ın kalbidir: ChatGPT gibi modeller her katmanda, her kelime için bu hesabı binlerce boyutta ve onlarca "kafa" ile yapar; sunuculardaki GPU’ların işinin büyük kısmı bu matris çarpımlarıdır. Robotikte aynı mekanizma sesli komutları anlamada, kamera görüntüsünün parçaları arasında ilişki kurmada ve görme-dil-eylem modellerinde kullanılır.

ESOF 323, 11. hafta: robotlarda derin öğrenme →