東証システム障害、真の原因は…（20/10/31）

　10月1日に東京証券取引所で発生し、終日取引停止に至ったシステム障害の原因は、(1)ハードウェアの故障、(2)マニュアルの記載ミス、(3)取引再開ルールの不備---という３タイプのミスが重なった結果であることが判明した。問題の重大性は、(1)→(3)の順に大きくなると考えられる。
(1)NASの故障 ： 10月1日午前7時4分、株式売買システム「アローヘッド」で、銘柄やユーザー情報などを格納するNAS（ネットワークHDD）のアクセス異常が検知され、売買監理画面などが使えなくなった。原因は、昨年11月に納入されたNAS１号機におけるメモリ故障。ただし、ハードウェアの故障は、ある確率で必然的に発生するものであり、これ自体はさして重大な問題ではない。
(2)マニュアル記載ミスによるフェイルオーバーの失敗 ： NASは２台用意されており、１台が故障したときには、バックアップへの自動切り替え（フェイルオーバー）が行われるはずだった。ところが、マニュアルに記載ミスがあったために自動的に切り替わらない設定になっており、２時間以上にわたってNASを作動させられなかった。
　トラブルを起こしたNASは、米社製ストレージを組み込んだ製品を富士通が東証に納入したもので、３代目に当たる。2010年に納入された初代は、フェイルオーバー設定値が「ON」ならば「即時切り替え」、「OFF」ならば「15秒後に切り替え」という仕様だった。ところが、15年納入の２代目からは、「ON」ならば「即時切り替え」は同じだが、「OFF」では「切り替えない」に仕様が変更となった。にもかかわらず、富士通のマニュアルでは「OFF」ならば「15秒後に切り替え」のまま（マニュアル作成は富士通が担当、記載ミスの原因は不明）。設定値が妥当かどうかは富士通と東証が共同で検討したが、マニュアルを元にしたチェックだったため、初代から引き続き「OFF」にされた。結局、２代目から自動的に切り替わらない不適切な設定になっており、５年間NASが故障しなかったため、今年まで見過ごされてきたようだ。
(3)取引再開ルールの不備 ： 異常検知後、東証と富士通はNASの手動切り替えを試みたが失敗、午前8時36分に全銘柄の売買停止を決定した。午前9時26分になってようやく切り替えに成功、アローヘッドの再起動を検討したものの、各証券会社との調整がうまくいかなかった。
　東証の取引は9時から始まるが、注文の受付は8時に開始される。7時過ぎに異常を検知した時点で注文受付を停止していれば、何の問題もなくシステムを再開できたはず。ところが、過去に起きた２つのトラブルがそれを妨げたようだ（以下の記述は、日経新聞の記事を元に吉田が再構成）。
　2012年のシステムトラブルの際、いったん注文受付を停止した後に再開したところ、未発注のまま溜まっていた大量の注文を証券会社がいっせいに送信しようとしたため、システムに負荷がかかり混乱が起きた。このため、東証は「障害が起きても注文受付は続ける」という運用ルールを設けた。
　さらに、18年のトラブルでは、東証と証券会社をつなぐ４回線のうち１つが使えなくなり、回線を切り替えられなかった証券会社から公平性を欠くとのクレームがついた。そこで、東証は、障害が起きたときには各証券会社から状況を聞き、不公平にならないようにすることを決めた。
　今回、12年のケースに基づいて8時から注文を受け付けたが、システム再開時にこの注文をどうすれば良いか、18年の教訓をもとに各証券会社に問い合わせたところ、状況に差があってまとまらなかった。結局、混乱を避けるために終日取引停止に至った訳である。
　「システム障害時に受け付けた注文は失効」というルールをあらかじめ徹底させておき、全証券会社に注文失効メッセージを送信してからシステムを再開させても構わなかったのでは…と思われるが、東証の妙な気遣いで事態が悪化したとも言えよう。

//////////////////////////////////////////////////////////////////////////////////////////////////// 姉妹ページに「科学と技術の諸相　－Q&A－」があります。