Akurasi transkripsi diukur dengan word error rate: jumlah kata yang salah, hilang, dan disisipkan, dibagi jumlah kata pada transkrip acuan. Klaim akurasi 96 persen tanpa menyebut rekaman apa yang diuji, siapa yang membuat acuannya, dan bagaimana teksnya dinormalisasi tidak bisa diverifikasi siapa pun. Halaman ini berisi metodenya, bukan hasilnya.
Perlu dikatakan di depan supaya tidak ada salah paham: kami belum menerbitkan hasil uji terbuka untuk Bahasa Indonesia. Anda tidak akan menemukan satu pun angka akurasi hasil pengujian di sini, dan tidak akan menemukan tabel peringkat tool. Yang ada adalah cara mengukurnya sendiri, dengan rekaman Anda.
Apa itu word error rate
Word error rate atau WER adalah metrik baku untuk menilai sistem pengenalan suara. Cara kerjanya: transkrip acuan dibuat manusia, lalu keluaran mesin dibandingkan kata per kata dengan acuan itu. Setiap penyimpangan masuk ke salah satu dari tiga jenis kesalahan.
- Substitusi (S) - kata acuan diganti kata lain, misalnya "anggaran" jadi "angkaran".
- Penghapusan (D) - kata yang diucapkan tidak muncul sama sekali.
- Penyisipan (I) - mesin menulis kata yang tidak pernah diucapkan.
Rumusnya WER = (S + D + I) dibagi N, dengan N adalah jumlah kata pada transkrip acuan. Tabel di bawah adalah contoh perhitungan untuk memperlihatkan aritmetikanya, bukan hasil pengujian tool mana pun.
| Komponen | Lambang | Contoh angka |
|---|---|---|
| Jumlah kata pada transkrip acuan | N | 1.000 |
| Substitusi | S | 62 |
| Penghapusan | D | 21 |
| Penyisipan | I | 17 |
| Total kesalahan | S + D + I | 100 |
| Word error rate | WER | 100 / 1.000 = 10 persen |
Kenapa akurasi bukan sekadar 100 persen dikurangi WER
Menyebut WER 10 persen sebagai akurasi 90 persen terdengar rapi, tapi itu penyederhanaan. Penyisipan tidak dibatasi jumlah kata acuan, sehingga WER bisa melebihi 100 persen kalau mesin mengarang banyak kata, dan akurasi negatif jelas tidak masuk akal. Peneliti melaporkan WER, bukan akurasi. Kalau sebuah halaman pemasaran hanya menyebut akurasi dan tidak pernah menyebut WER, itu petunjuk pertama bahwa angkanya bukan hasil pengukuran formal.
Kenapa klaim akurasi 96 persen tanpa metodologi tidak berarti
Angka tanpa metodologi bukan kebohongan, tapi juga bukan informasi. Ia tidak bisa dibandingkan, tidak bisa diulang, dan tidak bisa dibantah. Enam pertanyaan ini cukup untuk menguji apakah sebuah klaim punya isi:
- Diuji pada rekaman apa? Audio studio satu pembicara dan rapat enam orang lewat mikrofon laptop adalah dua dunia berbeda.
- Siapa yang membuat transkrip acuannya? Dua orang yang menyalin rekaman sama pun bisa menghasilkan teks berbeda.
- Bagaimana teksnya dinormalisasi? Kalau tanda baca, huruf kapital, dan bentuk angka diabaikan, angkanya otomatis membaik. Itu sah, asal ditulis.
- Rata-rata atau per rekaman? Rata-rata menyembunyikan rekaman terburuk, padahal itu yang menentukan seberapa banyak Anda harus mengoreksi manual.
- Bahasanya apa? Sebagian besar angka yang beredar berasal dari pengujian Bahasa Inggris dan tidak bisa dipindahkan begitu saja.
- Bisa direproduksi? Kalau berkas uji dan cara hitungnya tidak dipublikasikan, itu materi pemasaran.
Contoh konkret kenapa asumsi bahasa penting: Zoom menghasilkan berkas transkrip sendiri untuk sebagian besar rekaman cloud, tetapi Bahasa Indonesia tidak tercantum di daftar bahasa transkrip resminya, seperti bisa Anda periksa di pusat bantuan Zoom. Hasilnya sering berguna, tapi statusnya perilaku yang tidak didokumentasikan. Itu persis jenis hal yang hanya ketahuan kalau Anda menguji sendiri.
Variabel yang memengaruhi akurasi Bahasa Indonesia
Kalau Anda hanya menguji satu jenis rekaman, Anda hanya mengukur satu titik. Tujuh variabel berikut yang paling sering menjelaskan selisih hasil antar-rekaman.
| Variabel | Contoh nyata | Kenapa sulit bagi mesin |
|---|---|---|
| Logat daerah | Pelafalan Jawa, Batak, Sunda, Minang, Papua | Panjang vokal dan tekanan berbeda dari lafal baku |
| Nama orang dan tempat | Nama peserta rapat, nama desa, nama lembaga | Kata langka, tidak bisa ditebak dari konteks kalimat |
| Istilah teknis dan akronim | RKAKL, SPJ, OKR, PPK, DPA | Diucapkan cepat, sering dieja setengah, mirip kata umum |
| Bahasa gaul dan partikel | gue, nggak, banget, sih, dong, kan | Ejaan tidak baku dan variasinya banyak |
| Homofon | massa dan masa, sanksi dan sangsi, syarat dan sarat | Bunyinya identik, hanya konteks yang membedakan |
| Audio tumpang tindih | FGD dan rapat koordinasi yang ramai | Dua suara pada rentang waktu yang sama |
| Campur kode Indonesia-Inggris | di-follow up, kita align dulu, tolong di-share | Peralihan bahasa di tengah kalimat, bahkan di tengah kata |
Homofon, dan kenapa acuannya harus KBBI
Pasangan seperti "massa" dan "masa" tidak bisa dibedakan dari bunyinya. Mesin menebak dari konteks, dan pada kalimat pendek konteksnya tidak cukup. Pasangan lain yang sering tertukar di rapat Indonesia: "sanksi" dan "sangsi", "syarat" dan "sarat", serta "apel" untuk buah dan "apel" untuk kegiatan berbaris. Saat mengoreksi hasil uji, periksa arti bakunya di KBBI daring supaya Anda menilai mesin dengan acuan yang benar, bukan dengan kebiasaan mengetik.
Suara tumpang tindih dan campur kode
Pada diskusi kelompok, dua orang bicara bersamaan berkali-kali dalam satu jam. Yang rusak bukan hanya kata yang hilang, tapi pemisahan siapa mengucapkan apa. Kemampuan itu punya nama sendiri, speaker diarization, dan kualitasnya tidak selalu sejalan dengan WER. Transkrip bisa nyaris sempurna kata demi kata tapi menempelkan keputusan pada orang yang keliru, dan untuk notulen kesalahan kedua jauh lebih mahal. Campur kode layak diuji terpisah karena polanya khas dan sering; contoh sebelum dan sesudahnya ada di catatan tentang rapat campur bahasa Indonesia-Inggris.
Protokol uji mandiri: 60 menit rekaman
Anda tidak perlu laboratorium. Yang Anda perlukan adalah rekaman yang mewakili pekerjaan Anda sendiri, karena angka yang penting bagi Anda adalah angka pada rekaman Anda, bukan pada rekaman orang lain.
| Kondisi potongan uji | Durasi | Yang diukur |
|---|---|---|
| Satu pembicara, headset, ruang sunyi | 10 menit | Batas atas kemampuan alat |
| Rapat 4 orang, mikrofon laptop, ada suara AC | 10 menit | Kondisi kantor sehari-hari |
| Rapat dengan banyak istilah teknis dan akronim | 10 menit | Kosakata langka |
| Pembicara dengan logat daerah kuat | 10 menit | Variasi pelafalan |
| Diskusi ramai dengan suara tumpang tindih | 10 menit | Batas bawah kemampuan alat |
| Rekaman dari ponsel atau pesan suara | 10 menit | Sumber paling umum di lapangan |
| Total | 60 menit | - |
- Buat transkrip acuan manual. Bagian paling melelahkan dan tidak bisa dilewati. Tanpa acuan buatan manusia, tidak ada yang bisa dihitung. Menyalin manual umumnya memakan waktu beberapa kali durasi audionya, jadi siapkan waktu secara realistis.
- Normalisasi kedua teks dengan aturan yang sama. Samakan hal-hal yang tidak Anda anggap kesalahan: huruf kapital, tanda baca, dan bentuk angka ("dua puluh" atau "20", pilih satu). Tulis aturannya, lalu terapkan identik ke acuan dan keluaran mesin.
- Hitung S, D, dan I per potongan. Laporkan enam angka, bukan satu rata-rata.
- Ulangi dengan berkas yang persis sama. Ini satu-satunya cara membandingkan tool secara adil. Berkas berbeda berarti pengujian berbeda.
- Simpan berkas uji, aturan normalisasi, dan tanggalnya. Angka tanpa keterangan kondisi akan menyesatkan Anda sendiri enam bulan lagi.
Soal biaya menjalankan uji ini: di Se-Hari, 60 menit rekaman setara 3 kredit atau sekitar Rp 3.000, dengan tarif 20 menit rekaman sama dengan 1 kredit. Tool lain memakai skema berbeda, ada yang per menit, per berkas, atau termasuk dalam langganan. Perbandingan model penetapan harganya dibahas di panduan transkrip audio ke teks beserta harganya.
Metrik yang lebih penting daripada WER untuk notulen
Kalau tujuan Anda notulen dan bukan riset linguistik, transkrip sempurna bukan kebutuhan. Yang dibutuhkan adalah keputusan, angka, dan penanggung jawab yang benar.
| Metrik | Cara menghitung | Kenapa penting |
|---|---|---|
| Ketepatan nama | Nama orang, tempat, dan lembaga yang benar dibagi total kemunculannya | Nama yang salah membuat tugas salah alamat |
| Ketepatan angka dan tanggal | Angka rupiah, persentase, dan tanggal yang benar dibagi totalnya | Satu digit salah mengubah arti keputusan anggaran |
| Keputusan tertangkap | Keputusan di ringkasan dibagi keputusan yang Anda catat sendiri saat rapat | Ini alasan utama orang membuat notulen |
| Ketepatan penanggung jawab | Action item dengan pemilik yang benar dibagi total action item | Tugas tanpa pemilik yang jelas tidak akan dikerjakan |
Keempatnya bisa buruk sekalipun WER-nya bagus, dan bisa cukup baik sekalipun WER-nya sedang. Itu sebabnya satu angka tunggal yang dipajang produk mana pun, termasuk produk kami, tidak cukup untuk memutuskan.
Yang akan kami terbitkan
Kami sedang menyiapkan uji terbuka dengan protokol di atas. Empat hal ikut diterbitkan, bukan hanya angkanya: deskripsi berkas uji dan izin pemakaiannya, cara transkrip acuan dibuat termasuk berapa orang yang menyalin, aturan normalisasi dan cara perhitungan supaya bisa diulang siapa pun, serta hasil per kondisi termasuk kondisi dengan skor paling buruk.
Sampai itu terbit, halaman ini sengaja tidak memuat angka. Kami pernah belajar mahal soal janji yang tidak didukung kenyataan, dan pelajaran itu kami tulis terbuka di catatan kenapa kami membuang notulen berbasis bot. Memajang akurasi yang tidak bisa Anda periksa akan mengulang kesalahan yang sama dalam bentuk berbeda.
Pertanyaan yang Sering Diajukan
Berapa WER yang bisa dianggap bagus?
Tidak ada ambang universal, karena angkanya sangat bergantung pada kondisi rekaman. Yang berarti adalah selisih antar-tool pada berkas yang persis sama, dan apakah jumlah koreksinya masih lebih ringan daripada mengetik ulang dari nol.
Apakah saya harus membuat transkrip acuan kata per kata?
Untuk menghitung WER, ya. Tapi kalau kebutuhan Anda hanya membandingkan dua tool untuk keperluan notulen, lewati WER dan langsung pakai empat metrik notulen di atas. Jauh lebih cepat dan lebih dekat ke keputusan yang sebenarnya Anda ambil.
Bolehkah memakai keluaran satu tool sebagai acuan untuk menguji tool lain?
Tidak. Itu mengukur kemiripan antar-mesin, bukan kebenaran. Kalau kedua mesin salah dengan cara yang sama, hasilnya terlihat sangat bagus dan sepenuhnya keliru.
Apakah aman mengunggah rekaman rapat internal untuk pengujian?
Periksa dulu isinya. Rekaman rapat sering memuat data pribadi peserta dan angka yang belum publik, dan pemrosesannya tunduk pada UU 27/2022 tentang Pelindungan Data Pribadi. Untuk pengujian, potongan rapat yang tidak sensitif biasanya sudah cukup mewakili.
Kenapa Se-Hari tidak mencantumkan angka akurasi di halaman produknya?
Karena kami belum punya hasil uji yang bisa Anda periksa ulang. Mencantumkan angka tanpa metodologi membuat halaman produk terlihat lebih meyakinkan tanpa membuat hasilnya lebih baik satu kata pun.
Apakah kualitas audio benar-benar sepenting itu?
Ya, dan biasanya lebih menentukan daripada pilihan tool. Mikrofon yang dekat dengan mulut pembicara, ruangan yang tidak bergema, dan kebiasaan tidak bicara bersamaan memperbaiki hasil lebih banyak daripada berpindah layanan.
Langkah berikutnya: uji dengan rekaman Anda sendiri
Protokol di atas berlaku untuk tool mana pun, termasuk yang tidak ada hubungannya dengan kami. Ambil enam potongan rekaman Anda, buat acuannya, lalu bandingkan. Kalau Anda ingin memasukkan Notulen AI Se-Hari ke dalam perbandingan itu, cara kerjanya dijelaskan di halaman Notulen AI, dan 60 menit rekaman uji menghabiskan sekitar Rp 3.000. Hasil uji terbuka kami akan terbit di halaman ini, lengkap dengan bagian yang skornya paling jelek.
Terakhir diperiksa: 20 Agustus 2026.