重複単語の検出・削除

繰り返された単語は、どんな下書きにもいつの間にか入り込みます。1つの段落で同じ形容詞が3回出てきたり、行を直したときに「そして そして」のような重複が残ったりします。このツールは、2回以上使った単語を回数付きで一覧にし、重複した単語を直し、キーワードやタグのリストから各単語の最初の1つだけを残して整理します。韓国語、日本語、中国語を含め、ブラウザが単語に分けられるどの言語でも動作します。

使い方

1. テキストまたは単語リストを貼り付けます。
2. 繰り返された単語の一覧、誤った重複の修正、すべての繰り返しの削除から選びます。
3. 一覧と削除では、最小の単語の長さと、the や and のようなよく使われる英単語を無視するかどうかを設定します。
4. 結果をコピーします。表に、繰り返された単語と見つかったすべての重複が表示されます。

計算式

繰り返された単語 = （大文字小文字を区別しない場合は）小文字にしたあとの回数が2以上の単語。短い単語とよく使われる単語は除く

単語は、アポストロフィ、アクセント、空白のない文字体系を扱えるブラウザのUnicode単語分割（Intl.Segmenter）で見つけます。誤った重複とは、同じ単語が空白または1回の改行だけを挟んで連続しているものです。間にカンマやピリオドがあれば重複ではありません。“had had” や “that that” は正しいことが多いため、そのまま残します。繰り返しを削除するときは、削除した単語の後ろの区切り（空白・カンマ・セミコロン）も一緒に消すので、リストがきれいに残ります。

計算例

サンプルの文章では、「デザイン」が4回、「結果」が3回、「チーム」と「そして」が2回ずつ出てきます。このツールは、「結果 結果」と「そして そして」という2件の誤った重複も見つけ、修正モードではそれぞれの2つ目の単語を削除します。