Teknologi.Bagian dari ensiklopedia.onlineCari/
BerandaAI & otomasiSentencePiece
Model & implementasi

SentencePiece

SentencePiece adalah tokenizer subword yang dapat dilatih langsung dari kalimat mentah. Desainnya memisahkan representasi token dari asumsi pemisahan kata bahasa tertentu.

AI & otomasi1 rujukanProfil diperbarui
Lihat rujukanBandingkan teknologi
Peta fungsi teknologi: SentencePieceMasukan: Kalimat mentah atau deretan token. Bagian: Normalizer; Model subword; Encoder dan decoder. Keluaran: Subword, identitas token, atau teks hasil decoding. Bagian dikelompokkan menurut fungsi, bukan urutan perakitan.MASUKANKalimat mentah atau deretantoken.BAGIAN FUNGSIONALNormalizerMenyiapkan teks.Model subwordMenentukan unit token.Encoder dan decoderMengubah teks ke token dankembali.KELUARANSubword, identitas token, atauteks hasil decoding.
Peta fungsi teknologi

Diagram konseptual dari masukan, fungsi bagian, dan keluaran dalam profil. Susunan kotak tidak menunjukkan urutan perakitan atau posisi fisik.

Teknologi · CC BY 4.0 · Sumber data

Bagaimana cara kerjanya?

Teks dinormalisasi dan spasi diperlakukan sebagai bagian representasi yang dapat dipulihkan. Model subword seperti unigram atau BPE dipelajari dari korpus, lalu encoder mengubah teks ke unit serta ID dan decoder menyusun kembali representasi.

Rujukan penjelasan

Bagian penyusun

  1. 01

    Normalizer

    Menyiapkan teks.

  2. 02

    Model subword

    Menentukan unit token.

  3. 03

    Encoder dan decoder

    Mengubah teks ke token dan kembali.

Masukan dan keluaran

01 / Masukan

Kalimat mentah atau deretan token.

02 / Keluaran

Subword, identitas token, atau teks hasil decoding.

Parameter teknis

Informasi dengan rujukan belum tersedia untuk bagian ini. Profil ini tidak menyajikan spesifikasi angka untuk model tertentu atau nilai yang berlaku bagi seluruh keluarga teknologi.

Versi dan status

Profil membahas konsep atau kategori teknologi; versi implementasi tertentu belum ditetapkan.

Status terbit profil berbeda dari status produksi, dukungan, atau sertifikasi perangkat.

Penerapan dan keterbatasan

  • Tokenisasi multibahasa
  • Pipeline model bahasa

Batas cakupan

Normalisasi dapat mengubah teks asal; kosakata dan pemilihan model perlu disesuaikan dengan korpus serta kebutuhan aplikasi.

Teknologi yang terhubung

Buka peta teknologi

Dasar penjelasan

Penjelasan asli bahasa Indonesia disusun dengan pemeriksaan rujukan primer oleh agen AI. Belum ditinjau ahli. Baca metodologi dan batas pemeriksaan. Ringkasan standar tidak menggantikan teks normatif; ilustrasi konseptual tidak menjadi bukti konfigurasi model.