Teknologi.Bagian dari ensiklopedia.onlineCari/
BerandaAI & otomasiFlashAttention
Perangkat lunak & algoritme

FlashAttention

FlashAttention menghitung attention eksak dengan mengatur perpindahan data antara tingkat memori GPU. Tiling menghindari penyimpanan penuh matriks attention antara.

AI & otomasi1 rujukanProfil diperbarui
Lihat rujukanBandingkan teknologi
Peta fungsi teknologi: FlashAttentionMasukan: Matriks query, key, dan value. Bagian: Tiling; Softmax bertahap; Kernel GPU. Keluaran: Hasil attention dengan normalisasi yang sama secara matematis. Bagian dikelompokkan menurut fungsi, bukan urutan perakitan.MASUKANMatriks query, key, dan value.BAGIAN FUNGSIONALTilingMembagi perhitungan ke blok.Softmax bertahapMempertahankan normalisasiparsial.Kernel GPUMenggabungkan operasi danperpindahan data.KELUARANHasil attention dengannormalisasi yang sama secaramatematis.
Peta fungsi teknologi

Diagram konseptual dari masukan, fungsi bagian, dan keluaran dalam profil. Susunan kotak tidak menunjukkan urutan perakitan atau posisi fisik.

Teknologi · CC BY 4.0 · Sumber data

Bagaimana cara kerjanya?

Query, key, dan value diproses per blok dalam memori cepat. Statistik softmax serta hasil parsial diperbarui secara bertahap sehingga attention dapat dihitung tanpa menulis seluruh matriks besar ke memori utama GPU.

Rujukan penjelasan

Bagian fungsional

  1. 01

    Tiling

    Membagi perhitungan ke blok.

  2. 02

    Softmax bertahap

    Mempertahankan normalisasi parsial.

  3. 03

    Kernel GPU

    Menggabungkan operasi dan perpindahan data.

Masukan dan keluaran

01 / Masukan

Matriks query, key, dan value.

02 / Keluaran

Hasil attention dengan normalisasi yang sama secara matematis.

Parameter teknis

Informasi dengan rujukan belum tersedia untuk bagian ini. Profil ini tidak menyajikan spesifikasi angka untuk model tertentu atau nilai yang berlaku bagi seluruh keluarga teknologi.

Versi dan status

Profil membahas konsep atau kategori teknologi; versi implementasi tertentu belum ditetapkan.

Status terbit profil berbeda dari status produksi, dukungan, atau sertifikasi perangkat.

Penerapan dan keterbatasan

  • Attention urutan panjang
  • Optimasi penggunaan memori

Batas cakupan

Keuntungan bergantung perangkat serta bentuk data; penghematan I/O tidak menghilangkan semua biaya pasangan attention.

Teknologi yang terhubung

  • Menggunakan prinsip
    Transformer

    FlashAttention menghitung operasi attention yang digunakan Transformer dengan pengaturan I/O dan tiling, bukan membuat arsitektur bahasa baru.

    Lihat rujukan hubungan
Buka peta teknologi

Dasar penjelasan

Penjelasan asli bahasa Indonesia disusun dengan pemeriksaan rujukan primer oleh agen AI. Belum ditinjau ahli. Baca metodologi dan batas pemeriksaan. Ringkasan standar tidak menggantikan teks normatif; ilustrasi konseptual tidak menjadi bukti konfigurasi model.