トークン分割 (とーくんぶんかつ)

分類分類/文字列処理/なでしこ解析
種類命令
引数{文字列=?}Sを
説明文字列Sをトークンを分割して配列形式で返す
識別id:326
#テスト:なでしこ解析

テスト文=「アイウエオとカキクケコを表示する」
テスト文をトークン分割
それを反復
	対象を表示

結果は

アイウエオと
カキクケコを
表示する