ストップワード除去ツール

ストップワードとは、英語の the、and、of、is、to、it のように、意味よりも文法を担う、短くて非常によく出てくる単語です。これを取り除くと内容を表す語が残り、キーワードリスト、SEOのチェック、タグクラウド、検索クエリ、簡単なテキスト分析に役立ちます。このツールは、英語、スペイン語、フランス語、ドイツ語、ポルトガル語、イタリア語のテキストからストップワードを取り除き、自分で単語を追加したり、必要な単語を保護したりでき、何を除いたかを一覧にします。

使い方

1. テキストを貼り付けます。
2. 言語を選びます。
3. 必要に応じて、追加で取り除く単語や、残すべき単語（感情分析の not など）を追加します。
4. 整理したテキストをコピーするか、出力を出現回数順のキーワード一覧に切り替えます。

計算式

単語の小文字形がストップワードのリストになければ（または残す単語のリストにあれば）残す

単語は大文字小文字を区別せず、単語全体で照合するので、「The」と「the」はどちらも取り除かれますが、「theory」は残ります。フランス語とイタリア語の省略された冠詞は分離します（l’homme → homme、dell’arte → arte）。取り除いた後は、連続する空白をまとめ、句読点の前に残った空白を取り除きます。リストは、各言語の最もよく使われる機能語（冠詞、代名詞、前置詞、接続詞、beとhaveの活用形）を絞り込んだものです。

計算例

サンプルの文では、20語のうち9語（the が4回、over、because、it、to、before）が除かれ、「quick brown fox jumps lazy dog wants reach farm rain starts.」になります。キーワードモードでは、同じ単語が1行に1つずつ表示されます。