サーバ接続障害に伴うデータ破損

  1. TOP
  2. お知らせ一覧
  3. 200525障害報告

この度、ご利用中のBowNowサービスにおいてシステム障害が発生し、
ご利用者様にご不便をお掛けする結果になりましたことを、深くお詫び申し上げます。

今件の経緯、下記の通りご報告いたします。

発生した事象

2020年5月25日(月)10:55頃に発生したBowNowのシステム障害により、
以下事象が発生しました。
 
1.5/25(月)10:55頃 ~ 同日19:50頃までの間、BowNowの全サービスが利用できない状態になる
2.5/15(金)5:00 ~ 5/25(月)10:55頃までのデータが欠損し復元が難しい状態になる



システムダウンとデータ欠損について

BowNowサービスを格納するパブリッククラウド事業者のサーバー障害発生に伴い、
BowNowシステムがフェイルオーバー(自動的に予備システムに切換え)を起こしました。
しかし、フェイルオーバーで利用するデータベースファイルが破損する問題が併発し、
データベースが起動できず、全BowNowサービスがダウンする事態に至りました。
 
また、バックアップよりデータベースの復元を試みましたが、
いずれも上記症状が発生し、正常復元が行えたのは5月15日AM5:00時点のデータとなり、
サービス復旧時には、15日から25日までのデータが消失した状態となりました。
 



欠損データの詳細について

弊社にて25日時点のデータベース復旧を試みておりますが、
15日から25日に新規登録や更新処理がされたデータは復元できないことが判明しました。
 
お客様にはご迷惑をお掛けしまして誠に申し訳ございませんが、
以下ページより、データ差分のご確認を頂きますようお願い申し上げます。
 

今件の原因について

本来、冗長構造により障害時においても数十秒から1分ほどで自動的にシステム復旧する仕様ですが、
復旧時にデータベースのファイル破損が発生し、待機系データベースが起動できない状態となり、
弊社での原因調査とシステム復旧も難航し、サービス復旧までに長時間掛かる状態に至りました。 
 
直接的な原因であるデータベースのファイル破損は、利用している一部のソフトウェアの不具合と判明し、
既に修正を実装させて頂きましたが、25日時点の破損しているデータベースには適用が行えず、現在も復旧調査中となります。


システムの可用性を高めるための継続的な改善

今回のシステム障害の直接的な原因は、MySQL(Ver5.7.19)のInnoDBエンジンのソフトウェアの不具合でしたが、
データベースへの高負荷やアプリケーションの実装方式がバグのトリガーとなった可能性は捨てきれません。
 
引き続き、BowNowシステムのインフラ構成、アプリケーションの実装方式、データベースのテーブル構成、バッチ処理、
データベースの負荷分散など、BowNowシステム全体を総合的かつ抜本的に改善していくことを継続して実施してまいります。

この度は多大なるご不便をお掛けする結果となり、誠に申し訳ございませんでした。
重ねて深くお詫び申し上げます。今後とも何卒よろしくお願い申し上げます。


ご相談について

また、今件関してご不明な点などございましたら、
サポート窓口宛てお申し付けくださいませ。


BowNowサポート窓口 受付時間:平日10時~12時 / 13時~17時半
Mail:support@mtame.co.jp
お問い合わせフォームはこちら

よくある質問TOP5

勉強会情報