CSVの文字化け・機種依存文字を登録前に確認

「UTF-8なら表示できる」と「相手に渡せる」は別です

ブラウザや最近のアプリでは普通に見える絵文字や異体字でも、Shift_JIS系の古い取込先では表現できないことがあります。作成画面で見えているだけでは、受入側で安全とは限らないんです。

このチェックは、代表的な高リスク文字を早く見つけるためのものです

補助漢字・絵文字などの補助平面文字、丸数字、ローマ数字、単位記号など代表的な候補を探します。ただし「Shift_JISへ完全にエンコードできるか」を全Unicode文字について証明する完全判定ではありません。

丸数字などは、環境によって扱いが違うのがややこしいところです

同じ「Shift_JIS系」でも、標準Shift_JISとWindows-31J（CP932）では使える文字の範囲が同じではありません。相手仕様に「Shift_JIS」とだけ書かれている場合、実際にはCP932を指していることもあります。最終判断は受入側仕様が優先です。

見つかった文字は、勝手に置換しません

① を (1) にする、絵文字を消す、といった変更は意味を変える可能性があります。このツールは場所を示すだけです。代替表記はデータの用途を知っている人が決める方が安全です。

例えば、こんな使い方です

EC商品名や顧客メモを古い基幹システムへCSV登録する前に、問題になりそうな文字だけ先に拾います。0件でも完全互換を保証するものではないので、重要な取込では受入システムのテストも併用してください。

「0件だった」の意味も、少しだけ注意が必要です

0件は「このツールが持つ代表的な高リスクパターンには当たらなかった」という意味です。「どんなShift_JIS実装へ渡しても100%安全」という意味ではありません。たとえば相手側が独自の禁止文字、文字数制限、外字ルールを持っている場合は別です。逆に数百件見つかったときも、同じ文字が何度も出ているだけかもしれません。まず種類と出現位置を見て、置換方針を決めるのが先です。

件数が多い場合は、まず同じUnicode番号が繰り返されていないかを見ると整理しやすいです。1種類の記号が大量に出ているだけなら、置換ルールも1つで済む可能性があります。