基幹連携・データ移行読了約13分

CSVの文字化け・先頭0消え・桁落ちの原因と防ぎ方【Excel】

CSVを開くと化ける、0が消える、桁が落ちる。三つの原因と、受け渡し前後で確かめる表を示します。

記事の概要図

月末の売上データをシステムから出力して、Excelでダブルクリックして開いたところ、取引先名がすべて「繧キ繧ケ繝…」のような記号の羅列になっていた。直そうとして保存し直したら、今度は郵便番号と電話番号の先頭の0が消えた。しかも会員番号の下4桁が全部「0000」になっている。そんな場面は、システムの連携や移行を担当する人なら一度は経験します。

原因が分からないまま、とりあえず手作業で打ち直して進めてしまうと、あとから「この会員番号は本当に合っているのか」と誰も言い切れなくなります。こんなことはないでしょうか。

この記事では、CSVで起きる三つの症状(文字化け・先頭の0消え・桁落ち)の原因を、IT専門家でなくても見分けられる形で説明します。そのうえで、システムからCSVを受け取る側、渡す側の両方が使える手順と確認表を示します。心当たりはないでしょうか、と感じた方は、まず「1. 三つの症状は別々の原因で起きる」から読んでください。

この記事で分かること

  • 文字化け・先頭の0消え・桁落ちが、それぞれ何のせいで起きるのか
  • Excelでの開き方と保存の仕方を変えるだけで防げる範囲
  • システムの連携や移行でCSVを受け渡すときの、確認の手順と表

結論から言うと、CSVは壊れているのではなく、Excelが「推測して読み替えている」のが原因です。読み替えさせない手順を決めれば、三つとも防げます。

1. 三つの症状は別々の原因で起きる

CSVは、項目をカンマで区切って並べただけの、単純な文字のファイルです。仕様の目安としてはRFC 4180という文書があり、カンマや改行を含む項目はダブルクォートで囲む、といった基本が書かれています。ただし、この文書にはExcelの扱いまでは書かれていません。そして、この単純さが、三つの症状の入り口になります。

CSVのファイルには「この文字は電話番号です」「この列はUTF-8です」という情報が入っていません。開く側のソフトが、中身を見て推測します。Excelも同じです。その推測が外れたとき、症状が出ます。

文字化け「繧キ繧ケ」のような記号の羅列文字コードの読み違い壊れていない(原本は無事)
先頭の0消え03-1234が3-1234、0123が123列を数値とみなして0を捨てる保存し直すと壊れる
桁落ち1234567890123456が1234567890123450に数値は15桁までしか保持されない保存し直すと壊れる

ここで重要なのは、一番右の列です。文字化けは見た目だけの問題で、原本のCSVは無事です。一方、先頭の0消えと桁落ちは、そのExcelで保存した瞬間に、ファイルの中身まで変わります。「化けたから直そう」と上書き保存するのは、症状によっては取り返しのつかない操作になります。

三つの症状と原因の対応を並べた図

症状ごとの危険度

文字化けは見た目の問題、先頭の0消えは番号の同一性の問題、桁落ちは別の番号に化ける問題です。後ろの二つは、注文番号や会員番号の突き合わせを壊すので、連携の現場では文字化けより深刻です。

2. 文字化けの原因と直し方

文字化けの正体は、ファイルを書いた側の文字コードと、読む側が想定した文字コードの食い違いです。日本のシステムが出力するCSVは、おおまかに次の二種類に分かれます。

  • Shift_JIS(日本語環境のWindows向けに古くから使われてきた形式)
  • UTF-8(現在の多くのシステムが標準にしている形式)

@ITの解説では、UTF-8のCSVにBOMが付いていると、ExcelがUTF-8だと自動で判断して読み込む、とされています。BOMとは、ファイルの先頭に付ける小さな目印のことです。UnicodeのFAQでは、UTF-8のBOMは3バイトの並び(EF BB BF)で、UTF-8では必須ではない、と説明されています。つまり、BOMがないUTF-8は、規格としては正しいのに、Excelでは化けやすいのです。

直し方は三つある

状況に応じて、次のどれかを選びます。

Excelのデータ取得で開く「データ」タブの「テキストまたはCSVから」を使い、ファイルの元の形式で「65001: Unicode (UTF-8)」を選ぶ原本を変えずに中身を見たいとき
BOM付きUTF-8で保存し直すテキストエディタでUTF-8(BOM付き)として保存する化けたCSVをほかの人にも開かせたいとき
出力側を直してもらうシステムの出力設定でBOMを付ける、またはShift_JISを選ぶ毎月繰り返し受け取るとき

毎月の定例作業なら、三つ目が本筋です。人が毎回直す前提の運用は、担当が替わると必ず崩れます。出力側の設定を変えられるか、システムの開発元に確認してください。

機種依存文字には別の落とし穴がある

Shift_JISで保存すると、「髙」「﨑」のような一部の異体字や、丸数字、「㈱」などが、表現できずに「?」に変わることがあります。@ITの解説でも、Shift_JISで表せない機種依存文字や異体字に注意するよう書かれています。人名や会社名を扱うデータでは、UTF-8のほうが安全です。ただし、受け取る側のシステムがUTF-8のCSVを読めることが条件になります。

3. 先頭の0が消える仕組み

電話番号の「03」、郵便番号の「0600001」、商品コードの「00123」。これらは数字に見えますが、足し算をしない「番号」です。しかし、ExcelはCSVを直接開くと、各列の中身を見て「数字だけだから数値だ」と判断し、数値として保持します。数値の先頭の0には意味がないので、0は捨てられます。

Microsoftのサポートページには、CSVを直接開くと、Excelは現在の既定の書式設定で列の読み込み方を解釈する、と書かれています。先頭の0を残したい場合は、テキストインポートウィザードを使う方法などが案内されています。マネーフォワードのFAQでも、Excelなどのソフトの仕様で起きる事象として、データタブの「テキストまたはCSVから」で読み込み、列の型をテキストにする手順が案内されています。

先頭の0を残す手順

  1. Excelを開き、CSVをダブルクリックせず、「データ」タブから「テキストまたはCSVから」を選ぶ
  2. 読み込み画面で「データの変換」を選ぶ
  3. 0を残したい列(電話番号・郵便番号・コードなど)を選び、データ型を「テキスト」に変える
  4. 「列タイプの変更」が出たら「現在のものを置換」を選ぶ
  5. 「閉じて読み込む」で確定する

この手順で開いたものは、見た目は正しくなります。ただし、そのファイルを「CSVとして上書き保存」するかどうかは、別の判断です。次の章の桁落ちと合わせて考えてください。

4. 15桁を超える数字の桁落ち

最も気づきにくいのが桁落ちです。Microsoftの公式ページには、Excelは15桁を超える数値を入力すると、16桁目以降を0に変える、と説明されています。Excelが数値を保持する方式の都合で、有効な桁が15桁までだからです。クレジットカード番号のような16桁の数字を扱うページにも、同じ仕様が書かれています。

具体的には、次のようなものが影響を受けます。

  • 16桁以上の注文番号、伝票番号、追跡番号
  • 銀行口座と支店コードを連結した管理キー
  • 外部サービスが付ける長いID

さらに怖いのは、「1.23457E+15」のように指数で表示される場合です。表示だけなら列幅を広げて直る場合もありますが、元の数字が15桁を超えていれば、すでに16桁目以降は失われています。

15桁以内の数字が指数表示1.23457E+14列を文字列にして開き直せば戻る場合がある
16桁以上を数値として開いた下の桁が0になる開いただけなら原本から取り直せる
16桁以上を数値として開き、保存した下の桁が0のまま保存そのファイルからは戻せない

一番下の行が、連携の事故の典型です。「確認のために開いて、閉じるときに保存してしまった」というだけで、元の番号は失われます。

保存の前後で何が失われるかを示した図

ステップ1 受け渡すCSVの仕様を決める

ここからは、予防の手順です。連携や移行でCSVを受け渡すなら、最初に仕様を書面にします。システムの開発会社への依頼書にも、そのまま使える内容です。

決めておく項目は次のとおりです。

  • 文字コード(UTF-8・BOMあり/なし、またはShift_JIS)
  • 区切り文字(カンマ、タブ)
  • 改行コード(CRLF/LF)
  • ダブルクォートで囲む範囲(すべての項目か、必要な項目だけか)
  • 番号として扱う列の一覧(先頭の0や16桁以上があるもの)
  • 1行目に項目名を入れるか
文字コード受け取る側の担当者UTF-8(BOMなし)、人はテキストエディタで確認5行だけのサンプルを出力して開く
番号列の一覧業務担当者電話・郵便・会員番号・注文番号実データから最長桁数を拾う
区切りと囲みシステム担当カンマ区切り、全項目をダブルクォートメモ帳で1行を目視する

ステップ2 サンプルを5行出力して開く

仕様を決めたら、本番の全件を流す前に、5行程度のサンプルを出力します。わざと、先頭が0の電話番号、16桁以上の番号、「髙」のような異体字、項目の中にカンマや改行がある住所を入れたテスト行を混ぜます。

システム担当テスト行入りのCSVを出力する出力設定の画面とファイルの更新時刻
受け取る担当Excelのデータ取得で開く画面で5行を見て、元の値と並べる
受け取る担当メモ帳でも同じファイルを開くExcelの見え方と中身が食い違わないか
業務担当者異体字・0・長い番号を目視するあらかじめ用意した正解表

ここで「正解表」を作ることがポイントです。システム側の画面で見た値と、CSVの値を、人間の目で突き合わせます。

ステップ3 原本と作業用を分ける

桁落ちと0消えは、保存した瞬間に起きます。防ぐ最も確実な方法は、ファイルを分けることです。

  • 原本:出力されたままのCSV。誰も開かない。読み取り専用にして保管する
  • 作業用:原本のコピー。Excelで見る、並べ替える、確認するのはこちら

運用の決まりとして、「取り込みに使うのは原本」「Excelで保存したものは取り込みに使わない」と書いておきます。担当が替わっても守れるように、ファイル名にも差を付けます(例:orders_原本.csv、orders_作業用.csv)。

受け取る担当原本を保管フォルダに置き、読み取り専用にするフォルダの権限設定とファイルの属性
受け取る担当作業用を別名でコピーするファイル名の末尾
チームの責任者取り込みに原本が使われたか確認する取り込み時のファイル名と件数の記録

ステップ4 件数と合計を突き合わせる

最後に、取り込み前後で数字を確かめます。文字コードの問題は目で見て分かりますが、桁落ちは見ただけでは気づけません。そこで、機械的に確認できる数字を使います。

  • 行数:CSVの行数と、取り込み後の件数が一致するか
  • 金額の合計:売上や請求金額の列の合計が一致するか
  • 番号列のユニーク件数:注文番号の種類が減っていないか(桁落ちすると、別の番号が同じ番号になって件数が減る)
  • 先頭0のある項目の抜き取り:先頭の0がある電話番号を10件だけ目で見る
行数記録するシステムの件数差が0
金額の合計記録するシステムの集計差が0
注文番号の種類記録するシステムの件数差が0
先頭0の電話番号10件目視システム画面すべて一致

注文番号の種類の数は、桁落ちの検出にとても役立ちます。16桁の番号の下の桁が0に変わると、別々の注文が同じ番号に見えてしまい、種類の数が減るからです。

取り込み前後に突き合わせる確認項目の流れ

5. 渡す側・受け取る側の役割分担

CSVの事故は、「出力した側は正しく出した」「受け取った側は開いただけ」というすれ違いで起きます。次のように責任を分けておくと、原因の切り分けが早くなります。

出力する側(システム担当・開発会社)決めた仕様どおりに出力するメモ帳で開いた中身が仕様どおりか
受け取る側(業務担当者)原本を変えずに保管し、作業用で確認する原本の更新時刻が出力時刻のままか
両者の間(担当リーダー)仕様書を更新し、変更を共有する仕様書の版と出力設定が一致するか

仕様が変わったとき(項目が増えた、文字コードが変わったなど)に、仕様書を更新せずに運用が続くのも、よくある原因です。変更の連絡は、必ず仕様書の更新とセットにしてください。

6. 現場でよくある三つの取り違え

仕様を決めても、運用の途中で次のような取り違えが起きます。起きやすい順に並べます。

「Excelで見えたから正しい」という思い込み

画面で日本語が正しく読めたことは、文字コードが合っていたことしか示しません。16桁の番号の下の桁が0に変わっていても、画面では何の警告も出ません。見えたことと、値が合っていることは別です。ステップ4の件数と合計の突き合わせを、毎回必ず入れてください。

「ダブルクォートで囲めば0が残る」という思い込み

CSVの中で「"0312345678"」のように囲んでも、それはCSVの区切りの規則のための囲みで、Excelに「文字列として読め」と伝える働きはありません。RFC 4180に書かれているのは、カンマや改行を含む項目を囲む、という区切りの話です。Excelでダブルクリックして開けば、囲んであっても数値として読まれることがあります。0を守るのは、取り込み側の指定(列を文字列にする)です。

「前任者の手順メモがあるから大丈夫」という思い込み

手順メモが古い文字コードのまま、という例も多くあります。システムの更新で出力の仕様が変わったのに、メモが更新されていない場合です。月に一度でも、サンプル5行を出力して手順どおりに開き、メモの内容が今も通用するか確かめてください。

見えたから正しい桁落ちに気づかない件数・合計・番号の種類の突き合わせ
囲めば0が残る開いた時点で0が消える列を文字列に指定して取り込む
古い手順メモ仕様変更後に文字化けする月1回のサンプル5行テスト

まとめ

CSVの三つの症状は、データが壊れているのではなく、Excelの読み替えが原因です。文字化けは文字コードの食い違い、先頭の0消えは番号を数値とみなす仕様、桁落ちは15桁までしか保持しない仕様によるもので、保存した瞬間に失われるのは後ろの二つです。

防ぐ要点は四つです。受け渡しの仕様を書面にする、サンプル5行で試す、原本と作業用を分ける、取り込み前後の件数と合計を突き合わせる。これで、「手作業で直したから合っているはず」という状態を避けられます。

システム連携やデータ移行の進め方に迷ったら、お気軽に相談できます。

よくある質問

CSVをダブルクリックで開くと文字化けするのに、メモ帳では読めるのはなぜですか。

メモ帳は文字コードを自動で判定して表示しますが、Excelは判定の手がかりが少ないと別の文字コードとして読んでしまうためです。UTF-8のCSVにBOMが付いているとExcelがUTF-8と判断しやすくなります。データそのものは壊れていないことが多いので、元のファイルは上書きせずに保管してください。

Excelで開いて保存し直したCSVを、システムに取り込んでも大丈夫ですか。

避けてください。保存し直した時点で、先頭の0や15桁を超える数字が変わっている場合があり、元には戻せません。確認のために開くのは構いませんが、取り込みには開く前の原本を使うのが安全です。

システム側のCSVで電話番号を出力するとき、どう渡せば0が残りますか。

システム側のデータとしては文字列で持ち、CSVにも0を含めて書き出せていれば問題ありません。消えるのは、それをExcelが数値として読んだときです。Excelで扱う前提なら、テキストインポートで列を文字列に指定する手順を、受け取る人に渡してください。

桁落ちした注文番号は、後から元に戻せますか。

Excel上で15桁目より後ろが0に変わった数字は、そのファイルからは復元できません。システムの元データや、変換前のCSVから取り直す必要があります。取り直せるように、原本を残す運用を先に決めておくことが大切です。

参照元・出典

FREE CONSULTATION

「うちの場合はどうか」から

記事の考え方を、そのままご自身の事業に当ててみたい方へ。アイデア段階でも、機能リストがある段階でも構いません。 2営業日以内に、担当者からメールでご返信します。営業のお電話はしません。相談は無料です。

運営:株式会社miitaso(会社概要)

RELATED