書き出したブックマークから、重複を見つける

重複ブックマークがたまる理由

同じページをわざと2回保存する人はいません。重複は、保存のしくみから生まれます。ニュースレターのリンク（utm_sourceが付いたもの）から記事をブックマークし、数か月後に、アドレスバーから同じ記事をもう一度ブックマークする。同期が、古いパソコンのブックマークを、いまのプロファイルに統合する。新しいマシンで「念のため」と書き出したファイルを、何も消さずに取り込む。それぞれは無害に見えますが、10年分たまると、書き出したファイルのかなりの部分が、少しずつ違うURLの同じページになっています。

しくみ

処理全体が、このブラウザのタブの中で完結し、サーバーは関わりません。

1. ブックマークのHTMLファイルは、ローカルで読み込まれ、文書として解析されます。含まれているすべてのリンクが、タイトルと保存日の属性とともに取り出されます。ウェブ以外のリンク（httpかhttps以外のもの）はスキップします。
2. 各URLは正規化されます。ホスト名の小文字化、末尾のスラッシュの除去、既知のトラッキングパラメータの削除、フラグメントの無視です。これが照合のキーになります。
3. キーが同じブックマークはグループ化されます。複数のメンバーがいるグループは、コピーの数が多い順に並べて結果の表に表示され、そのページが保存されていたさまざまなタイトルも並びます。
4. 重複を取り除いたダウンロードでは、ページごとに1項目が残ります。最初に出てきたもので、元のタイトル、保存日、保存したときのままのURLを保ちます。ファイルはタブの中で生成され、ダウンロードとして渡されます。

使い方

1. ブラウザからブックマークを書き出します。ブックマークマネージャーを開き、書き出しのオプションでHTMLファイルとして保存します。各ブラウザのメニューの場所は、書き出しと取り込みのガイド（英語版）にあります。
2. 上のブックマークのHTMLファイルの選択欄で、そのファイルを選びます。
3. ステータスの行に、確認した総数、重複していたURLの数、取り除けるコピーの数が表示されます。表には、重複しているすべてのURLが並びます。
4. 重複を取り除いたHTMLをダウンロードを押すと、ページごとに1項目になったファイルのコピーが手に入ります。
5. 古いものを置き換えます。きれいなファイルを新しいフォルダに取り込むか（あるいは古いブックマークを先に消してから取り込み）、結果を確かめてから確定させましょう。

重複とみなされるURL

照合は、生のテキストではなく、正規化したURLで行われます。次の表が、統合されるものと、あえて別々のままにするものの、正確な内容です。

控えめにしているのは、意図的です。本当は別のページである2つ（ページ分割されたアーカイブ、同じドメインの2つの商品）を誤って統合すると、情報が失われます。一方、表記の違いによる近い重複を見逃しても、手で削除できるブックマークが1つ残るだけです。

重複を取り除いたファイルの中身

ブラウザが書き出すのと同じ形式の、標準のNetscapeブックマークHTMLファイルで、一意のURLごとに1項目が入ります。残るコピーは、ファイルの順序で最初に出てきたもので、タイトル、保存日（書き出しに記録されている場合）、保存したときのままのURLを保ちます。正規化したURLは照合のキーにすぎず、出力に書き込まれることはありません。フォルダは平らにされたフラットなリストです。「同じURLが3つの別々のフォルダにある」ものを1つの木構造に統合することには、正しい答えがないためです。Chrome、Firefox、Edge、Safariのどれでも取り込めます。取り込む前や後にファイルを確かめたいときは、ブックマークファイルビューア（英語版）が、検索できる表として開きます。

実行するタイミング

• 移行の前：新しいマシンやブラウザのプロファイルに移るとき、先に重複を取り除いておけば、新しい環境に何年分もの同期のほこりを持ち込まずに済みます。残りは、ブラウザのブックマーク移行ガイド（英語版）で説明しています。
• 同期でブックマークが増えてしまったあと：古い端末を統合してできた、「同じタブが2つ」という典型的なプロファイルです。
• 新しい管理ツールに取り込む前：取り込みの時点で重複を検出するツールは多くないので、倍になったファイルは、ずっと倍のままです。整理のあと、管理ツールに何をさせるべきかは、ブックマーク整理ツールのガイドで解説しています。
• いろいろな情報源から集めた調査資料：ニュースレターのリンク、検索結果、共有された投稿は、同じページを別々のキャンペーンURLで保存します。山が、リンクのリストではなく読むためのキューなら、「あとで読む」の仕組みのほうが向いています。

プライバシー：ファイルがどうなるか

何もコンピューターの外には出ません。このツールにサーバーの要素はありません。ファイルはページのメモリに読み込まれ、解析され、グループ化され、再生成されるまでのすべてが、お使いのブラウザのタブの中で行われます。一部もアップロードされず、内容を運ぶリクエストもなく、アカウントも上限もなく、タブを閉じればすべてが破棄されます。何も保持されないのは、何も送られていないからです。ブックマークのファイルをWebツールに預ける前に確かめたいときは、ファイルを選ぶ前にブラウザのネットワークインスペクタを開いてください。重複の除去では、ネットワークリクエストがまったく発生しません。

限界と特殊なケース

• 近い重複は検出されません。サブドメインの違い、AMPのバリエーション、プロトコルの違い、別の場所に展開される短縮URLは、すべて別々の項目のままです。上の表をご覧ください。
• 最初のコピーが残ります。最初に保存したコピーのタイトルがいちばん悪い（「無題のページ」など）場合も、それが残ります。取り込んだあとで、書き出し直すか、並べ替えるか、タイトルを修正してください。
• フォルダは平らにされます。ダウンロードでは、これも意図した仕様です。出力は、整理し直されたライブラリではなく、重複を取り除いたリンクの集まりとして扱ってください。
• 元の保存日は、ダウンロードしたファイルに残ります。ただし、そのファイルをMarqlyに取り込むと、項目は取り込んだ日付になります。取り込みでは、保存した元の日付は保たれません。タイトルとタグは引き継がれます。
• 処理されるのは、http(s)のブックマークだけです。書き出しの中のほかの項目は無視されます。そのため、ブラウザのマネージャーが表示する数と、数が少し違うことがあります。

整理のあとで

重複の除去は冗長さを解消するもので、見つけやすさを解決するものではありません。重複のない2,000件のリンクを平らに並べたリストは、やはり2,000件のリンクです。きれいになったファイルをMarqlyに取り込むと、タイトルとタグが保たれ、Proプランでは取り込んだ各リンクにAIが自動でタグを付けます。さらにセマンティック検索で、「昇給の交渉についてのあの記事」のような覚え方でも、タイトルやどこに置いたかを思い出さなくても見つかります。Marqlyには始められる無料プラン（英語版）があります。Chromeのブックマークを取り込む方法（英語版）のガイドもご覧ください。あるいは、保存する前に、1つずつのリンクからトラッキングパラメータをURL整理ツールで取り除いておく方法もあります。

関連するツールとガイド

• このツールの前でも後でも、どのブックマークの書き出しも、検索できる表として確認できます（英語版）。
• 残ったリンクのリンク切れを確認しましょう。重複の除去と一括チェックは、古いコレクションを整える最初の一手です。
• 1つずつのリンクからトラッキングパラメータを取り除くこともできます。
• がらくたを持ち込まずに、ブラウザ間でブックマークを移行しましょう（英語版）。
• 来年も重複が戻ってこないようにする、ブックマークの整理術。
• きれいになったリストを、使える読書キューに変えましょう。