英語では単語の区切りにスペースが入るので解析が簡単なのですが、日本語には単語の区切りに明示的にスペースを入れることはありません。そこで、なでしこでは助詞や句点(。)読点(、)などで単語の区切りを認識しています。
助詞「と」「を」「が」「から」「まで」などで、単語の区切れを認識しています。以下のプログラムを実行すると、どんな助詞で日本語が区切られるか一覧を表示します。
さらに詳しい点は、文法/字句解析をご覧ください。