Teknologi.Bagian dari ensiklopedia.onlineCari/
BerandaAI & otomasiBERT
Model & implementasi

BERT

BERT adalah model encoder Transformer untuk representasi bahasa dua arah. Prapelatihan membuat representasi token memanfaatkan konteks kiri dan kanan bersama.

AI & otomasi1 rujukanProfil diperbarui
Lihat rujukanBandingkan teknologi
Peta fungsi teknologi: BERTMasukan: Teks bertoken dan konteks pasangan yang sesuai. Bagian: Encoder dua arah; Tugas token tersamar; Head tugas. Keluaran: Embedding kontekstual atau prediksi tugas. Bagian dikelompokkan menurut fungsi, bukan urutan perakitan.MASUKANTeks bertoken dan kontekspasangan yang sesuai.BAGIAN FUNGSIONALEncoder dua arahMenggabungkan konteks token.Tugas token tersamarMemberi sinyal prapelatihan.Head tugasMenghasilkan keluaran khusus.KELUARANEmbedding kontekstual atauprediksi tugas.
Peta fungsi teknologi

Diagram konseptual dari masukan, fungsi bagian, dan keluaran dalam profil. Susunan kotak tidak menunjukkan urutan perakitan atau posisi fisik.

Teknologi · CC BY 4.0 · Sumber data

Bagaimana cara kerjanya?

Sebagian token disamarkan dan encoder memprediksi token asal berdasarkan konteks; tugas hubungan pasangan kalimat juga digunakan pada rancangan awal. Lapisan keluaran khusus tugas kemudian dilatih untuk memakai representasi kontekstual bagi klasifikasi atau jawaban.

Rujukan penjelasan

Bagian penyusun

  1. 01

    Encoder dua arah

    Menggabungkan konteks token.

  2. 02

    Tugas token tersamar

    Memberi sinyal prapelatihan.

  3. 03

    Head tugas

    Menghasilkan keluaran khusus.

Masukan dan keluaran

01 / Masukan

Teks bertoken dan konteks pasangan yang sesuai.

02 / Keluaran

Embedding kontekstual atau prediksi tugas.

Parameter teknis

Informasi dengan rujukan belum tersedia untuk bagian ini. Profil ini tidak menyajikan spesifikasi angka untuk model tertentu atau nilai yang berlaku bagi seluruh keluarga teknologi.

Versi dan status

Profil membahas konsep atau kategori teknologi; versi implementasi tertentu belum ditetapkan.

Status terbit profil berbeda dari status produksi, dukungan, atau sertifikasi perangkat.

Penerapan dan keterbatasan

  • Klasifikasi teks
  • Pencarian jawaban ekstraktif

Batas cakupan

BERT awal bukan decoder generatif autoregresif; batas konteks dan domain data memengaruhi penggunaan.

Teknologi yang terhubung

Buka peta teknologi

Dasar penjelasan

Penjelasan asli bahasa Indonesia disusun dengan pemeriksaan rujukan primer oleh agen AI. Belum ditinjau ahli. Baca metodologi dan batas pemeriksaan. Ringkasan standar tidak menggantikan teks normatif; ilustrasi konseptual tidak menjadi bukti konfigurasi model.