CSVキー重複削除

このツール、どんなときに使う？

同じemailの顧客が複数行ある、同じSKUが重複している、といったCSVを整理するときに使います。ただし、重複削除で一番大事なのは削除ボタンではなく「何を同じレコードとみなすか」を決めることです。

ひとつ知っておくと分かりやすいこと

キーは1列だけでなく、store_id,sku のように複数列を組み合わせられます。email単独では重複でも、店舗ID＋SKUなら別商品、ということがあります。業務上の一意性に合わせてキーを選ぶと結果が変わります。

ここで迷いやすいところ

• 「最初 / 最後」は現在のCSV行順が基準です。更新日時を見て最新行を自動判定する機能ではありません。
• キー値は自動でtrim・大小文字統一・全半角統一しません。表記ゆれを同一視したいなら先に正規化します。
• 空欄キーが複数行あれば、空欄同士も同じキーとして扱われます。

例えば、こんな使い方です

顧客CSVが更新日時の古い順に並び、同じemailでは後ろの行ほど新しいなら、emailをキーにして「最後」を残せます。ただし並び順が保証されていなければ、「最後」＝「最新」ではありません。先にソート条件を確認してから使うのが大事です。

結果をどう読む？

結果の「削除重複」は元行数と残した行数の差です。なお「最後を残す」は各キーで最後に現れた行の内容を採用しますが、出力キーの並びは最初にそのキーが現れた順を保ちます。出力順も意味を持つCSVでは、この点も確認してください。 指定したキー列名がヘッダーに存在しない場合は処理を止めます。列名は現在のヘッダーと一致させて指定します。