Context Window (Token AI)

Context window adalah batas jumlah teks yang bisa “diingat” dan diproses model AI (terutama LLM) dalam satu percakapan sekaligus, diukur dalam satuan token, bukan kata atau karakter. Begitu percakapan melebihi batas ini, bagian paling awal dari percakapan biasanya mulai terlupakan oleh model.

Apa Itu Token

Token adalah satuan terkecil teks yang diproses model AI — bisa berupa satu kata utuh, sebagian kata, atau bahkan satu tanda baca, tergantung cara model itu memecah teks. Sebagai gambaran kasar, satu token biasanya setara sekitar 3-4 karakter dalam bahasa Inggris, sehingga satu kalimat pendek saja bisa terdiri dari belasan token.

Cara Kerjanya

Setiap kali kamu mengirim pesan ke chatbot AI, seluruh riwayat percakapan sebelumnya (bukan cuma pesan terbaru) dikirim ulang ke model sebagai konteks, supaya model tetap “nyambung” dengan alur obrolan. Semakin panjang percakapannya, semakin besar jumlah token yang perlu diproses model dalam satu waktu — dan setiap model punya batas maksimum token yang bisa ditanganinya sekaligus.

Kenapa AI Suka “Lupa”

Ketika percakapan sudah melebihi batas context window, model tidak lagi bisa “melihat” bagian paling awal dari obrolan itu, sehingga terkesan lupa detail yang dibahas sebelumnya. Ini bukan karena model rusak, tapi memang batasan teknis dari berapa banyak teks yang bisa diproses sekaligus dalam satu permintaan.

Kesalahan Umum Soal Context Window

Banyak yang mengira context window yang lebih besar otomatis membuat AI selalu lebih akurat dalam segala hal. Padahal riset menunjukkan model AI kadang justru kurang optimal memanfaatkan informasi yang terletak di tengah-tengah konteks yang sangat panjang (fenomena yang dijuluki “lost in the middle”) — context window besar membantu menangani dokumen panjang, tapi bukan jaminan mutlak akurasi lebih baik di setiap bagian teksnya.