自宅鯖があぼーんした

事の起こり

今日の朝起きたらtwitterのリロードができなくてブラウザが腐ったのかと思った。 ブラウザ再起動しても状況改善せず。 よくよく気づいてみたら妙に部屋が静かだ・・・ 見てみたらサーバちゃん息してないの・・・ サーバマシンはPPPoE接続とルーティングもやらせていたのでそれも止まってしまったという状態。

サーバの状況

起動してみたらfsckしろよクソって言われた。 (最近ずっと怪しかったけど)ディスクやべーのかなぁ、 (ずっと気にかかってたけど)とうとう逝ったのかなぁ、 (ここ数年ずっとそうだけど)カネねえなぁとか思いながらfsck実行してみる。 fsckが全然終わらなくてそのままにして仕方なく仕事行く。

仕事終わって家に帰ったら妙な臭いがする。 サーバの電源落ちてる。

なぜ落ちてたか

もっかい電源入れてみる。 なんか定期的にブンって音がするような気がする。 箱の中覗いてみたらCPU1のファンが数秒に1回、数センチしか動いてない!! CPU2のファンなんて全く動いてない!!! ケースの一部が透明になってるのが初めて役に立った。

ファンを指で回してみようと思ったけど硬くて動かない。 ホコリとか詰まって硬くなってるのかな? ファン外してみたらCPU表面が焦げてるような感じ。 臭いの理由と電源落ちてた理由はこれか・・・

シングルユーザモードでの起動はギリギリ大丈夫なようだ

ネットワーク復旧作業

とりあえず起動してfsckだけ終わらせた。 /homeは巨大なのでとりあえず無視。 /usrが読めるようになったのでとりあえずPPPoEの設定が読めた。 無線LAN構築に使ってるAPがルータにもなるのでPPPoEを喋らせてみる。 設定ドキュメントがなかなか難しくて困った。 なんで家電化された機器はあんなに設定が難しいんだろう・・・ ネットワーク構成変更中にAPをもともと繋いでたはずのLANケーブルが消失する。 どこいったんや・・・ 死んだサーバを繋ぐケーブルがない。

fsckが終わってディスクのマウントできるようになった。 通常起動もできるはずだが、起動プロセス中にリブートかかる。 ここから先は無理っぽい。

障害範囲

  • ネットワーク全般
    • APをルータにして復帰
  • web
    • 全部herokuに移してしまおうかと画策
    • この時期コミケ準備会とか見に来るっぽいからまじヤバイ タイミング最悪
    • mysqlのデータdumpだるい
  • ストレージ
    • 一部復旧できないかも
    • 大量のエロ画像の運命は!?

サーバ復旧作業予定

  • 新しくCPUファン買って付け直せばなんとか起動してくれるかなぁ・・・
    • AM2時代のOpteron用ファンなんて見つかるのかね
  • webサーバはクラウドに持って行きたいなぁ
  • ストレージだけ手元に持たないといけないからそれどうしよう
  • 確か1TBのディスクが入ってるからそれ経由して他のマシンのHDDにデータ移動できるかな
    • RAIDがむしろ邪魔
  • 圧倒的にカネが足りない

突然ネットワークが使えなくなって気づいたこと

  • LANケーブル何本か余分に持っていたほうがいい
  • テザリングさえあれば何とかなる
  • タブレット超便利
  • 視覚よりも聴覚・嗅覚
  • nasneはネットワークが切れてPS3から見えてなくても問題なく動く
    • 繋げた瞬間に録画済み動画がどかっと増えた
    • 障害中のもバッチリ撮れてた
    • 上手く設計できてると感心した
  • ファンが回らなくなったのは初めて サーバ止めずに掃除とかできんの?
  • トラブル楽しい
    • 嘘。死ね