基幹連携・データ移行読了約15分

連携エラーの通知と再実行の決め方|止まったときの運用表【記入例つき】

システム連携が止まったとき、誰に知らせ、どう再実行するかを決める運用表です。

記事の概要図

月曜の朝、倉庫から「土日の注文が、出荷の一覧に出ていません」と連絡があった。通販サイトを確認すると、注文は金曜の夜から入っている。受注システムと倉庫システムの連携は、開発会社が作ったもので、何かが止まっているらしい。しかし、エラーのメールは誰にも届いていなかった。開発会社に電話しても、担当者は休みだという。出荷が三日分たまり、お客様からの問い合わせが増え始めている。

こんなことはないでしょうか。

この記事では、システムの連携が止まったときに困らないために、発注側の担当者が決めておくことを説明します。連携の一覧の作り方、通知の宛先の決め方、自動の再試行の仕様の確かめ方、再実行するときの重複の防ぎ方、取りこぼしの突合の仕方を、記入できる表で順に書きました。専門の知識は要りません。開発会社に渡す資料にも使えます。

この記事で分かること

  • 連携が止まる3つの形(止まる・欠ける・重複する)と、それぞれの見つけ方
  • 通知の宛先と、再試行の仕様を確かめる表
  • 再実行の手順と、取りこぼしを見つける突合の表

連携の事故は、エラーそのものより、エラーに誰も気づかず、数日たってしまうことで大きくなります。止まらない連携は作れません。止まったときに、早く気づいて、正しく戻せる運用を作ります。

1. 連携が止まる3つの形

システムどうしの連携で起きる問題は、おおよそ3つの形に分かれます。形によって、見つけ方が違います。

止まる連携の処理が動かなくなるエラーの通知、処理の履歴倉庫システムへ、注文が1件も届かない
欠ける一部のデータだけ届かない件数の突合100件の注文のうち、3件が届いていない
重複する同じデータが2回届く重複の検査同じ注文が、出荷の一覧に2行ある

「止まる」は、通知があれば気づけます。しかし、「欠ける」と「重複する」は、エラーが出ないことがあります。ShopifyのBest Practicesには、Webhookの配信は常に保証されるわけではないと書かれています。また、Webhookをいつも順番どおりに受け取れるとも限らず、同じトピックでも順序は保証されないと書かれています。Stripeのドキュメントにも、イベントが生成された順序で配信されることは保証されないこと、同じイベントを複数回受信する可能性があることが書かれています。

つまり、連携は「届くはず」と考えず、「届いたかを確かめる」運用が要ります。

連携の3つの失敗(止まる・欠ける・重複する)と、見つけ方

2. 失敗の種類で、対処が変わる

連携の失敗は、原因によって、再実行して直るものと、直らないものがあります。Makeのヘルプセンターは、エラーの種類を例に挙げて、再実行の向き不向きを説明しています。

一時的な通信の失敗接続エラー、アクセスが多すぎて断られた(回数制限)直ることが多い時間をおいて再実行する
データの不備必須の項目が空、文字数の超過直らないデータを直してから再実行する
設定の誤り認証の期限切れ、権限の不足、項目の対応のずれ直らない設定を直す。そのあと再実行する
相手のサービスの障害相手が止まっている復旧すれば直る復旧を待ち、まとめて再実行する

Makeのヘルプには、一時的なエラー(ConnectionErrorやRateLimitErrorなど)には再試行が向き、設定やデータの変更が必要なエラー(RuntimeErrorやDataErrorなど)は、モジュールを直してから実行する、と書かれています。また、再試行は元の設定で行われるため、設定の誤りは再試行では直らないとも書かれています。

発注側の担当者が、エラーの内容を全部読み解く必要はありません。ただし、「再実行してよいエラー」と「開発会社に相談するエラー」の線引きは、あらかじめ決めておくと迷いません。

ステップ1 連携の一覧を作る

最初に、会社にある連携を、一覧にします。1つの連携が止まったとき、何に影響するかが分かる表にします。

受注→倉庫通販サイト→倉庫システム注文注文のたび出荷が止まる2時間受注担当
受注→会計通販サイト→会計ソフト売上1日1回月次の計上が遅れる3営業日経理
在庫→通販サイト倉庫システム→通販サイト在庫数1時間ごと売り越しの恐れ3時間在庫担当
決済→入金管理決済サービス→入金の一覧入金の通知決済のたび入金の確認が遅れる1営業日経理

「許容できる遅れ」の欄が、この表の要点です。連携ごとに、止まっても業務が耐えられる時間は違います。出荷に関わるものは数時間、月次の計上に関わるものは数日、というように、業務の側から決めます。この数字が、通知の速さと、点検の頻度を決めます。

一覧に漏れやすい連携

次のような連携は、一覧から漏れやすいので、確認します。

  • 担当者が個人で作った自動化(ノーコードのツールでの連携など)
  • 開発会社が作ったが、資料に残っていない連携
  • 以前のシステムから引き継がれた、夜間の自動処理
  • ファイルを置くと、別のシステムが読み込む形の連携

ステップ2 通知の宛先を決める

連携が失敗したとき、通知は誰に届くか。これが決まっていない会社が、とても多くあります。

Shopifyのドキュメントには、Webhookの配信が失敗した場合の警告メールが、アプリの緊急用の開発者メールアドレスに届くと書かれています。つまり、そのアドレスが開発会社の担当者の個人のものだと、担当者が休んでいる間は、誰も気づきません。

通知の宛先を、次の表で確かめます。

受注→倉庫メール開発会社の担当、受注担当情報担当失敗の直後12月1日
受注→会計画面の履歴のみなし
在庫→通販サイトメール情報担当のみ受注担当失敗の直後12月1日

2行目のように、「通知が無い」連携が見つかることがあります。その場合は、通知を足せるか、足せない場合は、画面の履歴を、誰が、いつ見るかを決めます。

通知の宛先は、1人ではなく、グループのアドレスか、2人以上にします。休暇や退職で、通知が途切れるのを防ぐためです。

通知のテストをする

宛先を決めたら、実際に通知が届くかを、1度試します。わざと失敗させる方法は、サービスによって違うので、開発会社に頼みます。次のことを確かめます。

  • 通知のメールが届いたか。迷惑メールに入っていないか
  • 通知の文面から、どの連携の、いつの失敗かが分かるか
  • 通知を受け取った人が、次に何をするか分かるか

ステップ3 自動の再試行の仕様を確かめる

多くのサービスは、失敗したときに、自動で再試行する仕組みを持っています。しかし、何回、どのくらいの間、やり直すかは、サービスによって違います。

Shopify(Webhook)応答がない、またはエラーの場合に8回再試行。再試行は初回失敗後の4時間以内資料に記載なしShopify.dev
Stripe(Webhook)本番環境で指数バックオフを使い、最長3日間配信を試みるダッシュボードの「再送する」は作成後最大15日、CLIは最大30日Stripeドキュメント
Zapierエラーになった実行を自動で再実行する「autoreplay」がある。Free・Professional・Team・Enterpriseの各プランで使える履歴から、エラーになった実行を再実行できるZapier Help Center
Make未完了の実行を保存し、再試行できる「Retry selected」で再試行。解決済みは30日後に自動で削除Make Help Center

この表から分かることを、いくつか挙げます。

  • 自動の再試行には、期限がある。Shopifyは初回の失敗から4時間以内、Stripeは最長3日間。連休をまたぐと、期限を過ぎる場合がある
  • 手動の再送にも、期限がある。Stripeのダッシュボードの再送は、イベントの作成から最大15日。それ以降は、別の方法で取り戻す
  • 再試行が全部失敗したあとの扱いは、サービスで違う

Shopifyの文書には、Admin APIで作成した購読は、連続して8回失敗すると、自動で削除されると書かれています。削除されると、それ以降、通知そのものが届かなくなります。再試行が尽きたあとに、連携が静かに止まる原因になります。

つまり、「自動で再試行してくれるから大丈夫」ではなく、再試行が尽きたあとを、人が拾う運用が必要です。

自社の連携の仕様を確かめる表

自社の連携ごとに、次の表を開発会社に埋めてもらいます。

受注→倉庫
在庫→通販サイト

回答が「分からない」の場合も、その旨を書きます。分からない連携は、運用の弱点です。

ステップ4 再実行の手順と重複の防ぎ方

連携が止まって、原因を直したあと、止まっていた間のデータを再実行で流します。ここで、重複が起きやすくなります。

再実行で重複が起きる理由

Stripeのドキュメントは、Webhookエンドポイントが、同じイベントを複数回受信する可能性があると書いています。対処として、処理したイベントIDを記録し、すでに記録したイベントを処理しないようにする方法が示されています。Shopifyの文書にも、同じ趣旨の説明があります。配信ごとのWebhook IDを保存して、すでに出てきたIDは飛ばす、という内容です。

Zapierのヘルプには、実行全体を再実行すると、新しい実行として数えられ、成功したステップも、再びタスクの使用量に数えられると書かれています。つまり、再実行は、成功済みのステップも含めて、もう一度動くことがあるという意味です。再実行する前に、どのステップが、もう一度動くかを確かめます。

失敗した場所どのステップで失敗したか倉庫システムへの登録の段階
成功済みの部分その前の段階は、すでに成功しているか注文の取得は成功済み
重複の防止受け側は、同じ注文を見分けられるか注文番号で、重複を弾く
再実行の範囲失敗した分だけか、全部か失敗した分だけ(件数:12)
順序順序が入れ替わっても問題ないか注文の状態の更新は、日時の新しい方を採用

再実行の手順書

再実行は、開発会社に任せきりにせず、手順を書いておきます。次の形です。

  1. 通知を受けた人が、連携の一覧で、影響と許容できる遅れを確認する
  2. 失敗の種類を、前の表で判断する。一時的な失敗か、データか、設定か
  3. 一時的な失敗なら、時間をおいて、再試行する。データや設定なら、開発会社に連絡する
  4. 再実行の前に、失敗した件数と、対象の期間を記録する
  5. 再実行する。件数を数え、届いたかを確かめる
  6. 重複していないかを確かめる。同じ番号が2行ないか
  7. 記録に、原因、対応、再実行の日時を書く

再実行の前に確認すること(失敗した場所・重複・順序)

ステップ5 取りこぼしを突合で見つける

通知が出ない取りこぼしは、突き合わせて見つけます。Shopifyの公式文書は、Webhookだけに頼らず、定期的にデータを取得し直して照合する仕組みを勧めています。更新日時で絞って、前回の実行以降に変わったものを取り直す方法が挙げられています。

発注側の担当者にできるのは、件数の突合です。次の表を、連携ごとに作ります。

12月1日受注→倉庫1281280
12月2日受注→倉庫1431412キャンセルは連携の対象外差の注文番号を確認。問題なし
12月3日受注→倉庫1201173項目に絵文字を含む注文開発会社に連絡。再実行

件数が合わない日は、差の注文番号を特定します。件数の差だけを見て「だいたい合っている」とすると、取りこぼしを見逃します。差の原因が、仕様(連携の対象外)なのか、不具合なのかを、1件ずつ書いてください。

毎日出荷・入金に関わるもの業務の担当者
毎週会計や集計に関わるもの経理
月に1回影響が小さく、あとから直せるもの情報担当

毎日の突合は、5分で終わる形にします。送る側と受ける側の件数を、画面から読み取れる形にして、表に書き写すだけにするのが目標です。

2. 連携エラー対応票の記入例

最後に、記録の形です。エラーが起きるたびに、次の表で記録します。同じ原因が何度も出たら、連携そのものの作りを見直す材料になります。

日時12月3日 8時40分に気づく
連携受注→倉庫
気づいた経緯倉庫からの連絡 / 通知 / 突合(どれか)
影響12月2日の夜から、注文の一部(12件)が出荷の一覧に出ていない
失敗の種類データの不備(項目に絵文字)
対応開発会社に連絡。12件を再実行
重複の確認同じ注文番号が2行ないことを確認した
再発の防止絵文字を含む注文を、受け側で許容する修正を依頼
記録した人受注担当

「気づいた経緯」の欄は、運用の健全さを測る欄です。通知で気づいた回数が増えれば、通知が機能しています。倉庫からの連絡で気づく回数が多いなら、通知の宛先か、突合の頻度を見直します。

連携エラー対応の流れ(通知から再発防止まで)

3. 夜間・休日の対応を決める

冒頭の例のように、連携の失敗は、金曜の夜や連休の前に起きると、発見が遅れます。業務の時間外に失敗した場合の動きを、連携ごとに決めておきます。

受注→倉庫2時間通知はメールで受ける当番の1人が、朝8時に確認出荷の件数と突合
受注→会計3営業日通知は営業日のみ確認経理週明けに突合
在庫→通販サイト3時間メールで受ける当番の1人在庫数を画面で突合

許容できる遅れが短い連携は、通知を受けた人が動ける体制が要ります。24時間で人を置くのは難しいため、現実的には、「朝いちばんに突合する」「通知を受けたら、まず売り越しを止める(在庫の表示を切るなど)」といった、被害を広げない手を決めます。

また、休みの日は、開発会社の担当者にも連絡がつかないことがあります。保守契約の連絡の受付時間と、休日の対応の有無を、契約書や仕様書で確かめてください。

4. 保守契約で、連携の監視をどこまで頼むか

連携の運用を、開発会社の保守に含めているかどうかで、発注側の負担は変わります。見積もりや契約のときに、次の点を確かめます。

監視の範囲連携の失敗を、開発会社が監視していますか通知を受け取るだけ。常時の監視はしない
連絡の時間通知を受けてから、何時間以内に連絡が来ますか営業日の9時から18時。休日は翌営業日
再実行の作業再実行は、保守の範囲に含まれますか月に○回までは含む。超えると別料金
突合の作業件数の突合や、取りこぼしの調査は含まれますか含まない。依頼ごとに見積もり
記録の共有エラーの履歴を、発注側も見られますか管理画面の閲覧権限を、情報担当に付与
仕様の変更相手のサービスの仕様変更で止まったときの対応は保守の範囲に含む。ただし、変更の通知は発注側から

相手のサービスの仕様が変わって、連携が止まることもあります。その場合の連絡や費用の分担が決まっていないと、止まっている間に、話し合いが始まります。誰が気づき、誰が直し、費用を誰が持つかを、止まる前に決めておきます。

5. よくある失敗

  • 通知の宛先が、辞めた人のアドレスのままだった。 宛先を、一覧で定期的に確かめる
  • 再試行が尽きたあとを、誰も拾わなかった。 期限を過ぎた分を、突合で見つける運用を作る
  • 再実行して、同じ注文が2回登録された。 再実行の前に、受け側の重複の弾き方を確認する
  • データの不備を、何度も再実行した。 再実行で直るのは一時的な失敗だけ。データや設定は直してから実行する
  • 連携の一覧に、個人が作った自動化が載っていなかった。 担当者に聞き取り、一覧に加える
  • 連休の前に、連携の点検をしていなかった。 再試行の期間を、連休が超えることがある。休みの前後に、突合を入れる

まとめ

連携が止まったときに困らないためには、連携の一覧と許容できる遅れ、通知の宛先、再試行の仕様、再実行の手順、件数の突合の5つを、書いておきます。自動の再試行には期限があり、通知が出ない取りこぼしもあるため、人が拾う運用が要ります。

自社の連携の仕様を開発会社に確かめる質問票を作りたいときや、止まったあとの再実行の手順書に迷うときは、運用の設計から手伝えます。

よくある質問

連携が失敗したら、システムが自動でやり直してくれますか。

サービスによります。たとえばShopifyのWebhookは、応答がない、またはエラーの場合に8回再試行し、再試行は初回の失敗から4時間以内とされています。Stripeは本番環境で最長3日間、指数バックオフで配信を試みます。ただし、再試行の仕様はサービスごとに違うため、お使いの連携の公式文書で確かめてください。

再実行すると、同じ注文が二重に登録されませんか。

二重になる可能性があります。Stripeのドキュメントには、Webhookエンドポイントが同じイベントを複数回受信する可能性があると書かれており、イベントIDを記録して、処理済みのものは処理しないようにする方法が示されています。再実行の前に、受け側が重複を見分けられるかを開発会社に確認してください。

通知のメールは、誰に届くように設定すればよいですか。

連携を直せる人と、業務への影響を判断できる人の両方です。Shopifyでは、警告メールがアプリの緊急用開発者メールアドレスに届くと書かれています。通知が開発会社の担当者だけに届いていると、発注側が気づけません。宛先を、一覧で確かめてください。

エラーが出ていないのに、データが届いていない場合はどうなりますか。

Shopifyの公式文書は、Webhookの配信は常に保証されるわけではないとして、定期的にデータを取得し直す照合を勧めています。エラーが出ない取りこぼしは、件数の突合で見つけます。

参照元・出典

FREE CONSULTATION

「うちの場合はどうか」から

記事の考え方を、そのままご自身の事業に当ててみたい方へ。アイデア段階でも、機能リストがある段階でも構いません。 2営業日以内に、担当者からメールでご返信します。営業のお電話はしません。相談は無料です。

運営:株式会社miitaso(会社概要)

RELATED