Home

Simbol : yang menunjukkan panjang bunyi (biasanya vokal) perlu ditukar ke simbol lain (contohnya _) atau huruf sama supaya tidak akan ditokenisasikan.

e: ["e", ":"] --> ee ["ee"]