Diagram konseptual dari masukan, fungsi bagian, dan keluaran dalam profil. Susunan kotak tidak menunjukkan urutan perakitan atau posisi fisik.
Teknologi · CC BY 4.0 · Sumber data
Bagaimana cara kerjanya?
Kosakata awal dipisahkan ke karakter dan tanda batas. Frekuensi pasangan simbol dihitung, pasangan terpilih digabung menjadi simbol baru, lalu proses diulang; daftar merge yang dipelajari dipakai menyegmentasikan teks berikutnya.
Rujukan penjelasanBagian fungsional
- 01
Frekuensi pasangan
Menilai kandidat penggabungan.
- 02
Daftar merge
Menyimpan urutan aturan.
- 03
Segmenter
Menerapkan aturan ke teks.
Masukan dan keluaran
Korpus teks dan jumlah atau aturan merge.
Kosakata subword serta segmentasi token.
Parameter teknis
Informasi dengan rujukan belum tersedia untuk bagian ini. Profil ini tidak menyajikan spesifikasi angka untuk model tertentu atau nilai yang berlaku bagi seluruh keluarga teknologi.
Versi dan status
Profil membahas konsep atau kategori teknologi; versi implementasi tertentu belum ditetapkan.
Status terbit profil berbeda dari status produksi, dukungan, atau sertifikasi perangkat.
Penerapan dan keterbatasan
- Tokenisasi penerjemahan
- Penanganan kata langka
Batas cakupan
Unit yang sering muncul tidak otomatis bermakna linguistik; hasil bergantung korpus, preprocessing, dan penanganan simbol tak dikenal.
Teknologi yang terhubung
Hubungan terverifikasi belum tersedia untuk profil ini. Kedekatan topik tidak membuktikan kompatibilitas atau ketergantungan.
Buka peta teknologiDasar penjelasan
- 1. Neural Machine Translation of Rare Words with Subword Units ↗
arXiv / authors of the paper
Diakses 2026-10-13. Rujukan primer untuk parafrasa editorial. Teks, kode, gambar, dan merek sumber tidak disalin; hak asal tetap pada pemegangnya.