うぇいくさま、いつもお世話になっております。
お陰さまで理由が解りスッキリしました。
トークン分割の他にもそのような命令がありそうですね。
>識別子(変数名や関数名)に使えない文字
に由来する命令です。
>かな漢字とそれの濁点付きでの、「同じ」「繰り返し」を表す文字は識別子として使えたほうが良いのでしょうか・・・？
内部のことは解ってないので素人発想ですが
いっそのこと普段見かけない文字や「々ゝ〃仝」などの繰り返し文字も平仮名と同じように無視してくれるのが良いと思ったりしましたが、それだと色々と問題があるのかも知れませんね。
(起動時の処理が遅くなたり、過去のリソースが使えなくなったりと、よく解りませんが)
一番問題なのは、
取り扱うデータ毎の含まれる文字によってイレギュラーにエラーが出る時があると言うことだと思いますが、そのことが事前に、解っていれば回避出来るので③が現実的なのかも知れませんね。