客先でトラブル、原因も不明。自分「こうなったら絶対に原因を突き止める！」 → 結果…

ずいぶん前の話。

昔、SEやってた。
かなり大きなプロジェクトのPL（プロジェクトリーダー）やってた時の話。

まあいろいろとトラブルもあったが、なんとか乗り越えてお客さんに引き渡した。
その後、オペレーションテスト（客先／本番機で仕事も全て実際に使用するであろうメンバで行うテスト）を行ったのだが、なぜかときどき夜中にデーターが吹っ飛ぶ。

決められた時間というわけではないのだが、大体似たような時間帯、でも日時は不定期。
仮のメンバで仮のデータを入力しているので、なにかがパンクしたということもない。
データセンタはお客さんの自前で、しかもとってもしっかりしたつくり。
飛んだ日の共通点もさっぱり思いつかず。

経験した人ならわかると思うけど、きっかけもない、決められた周期でもない、人も介在していないという障害はとっても苦労する。

ソフトウェアは全て見直し、ありとあらゆるストレスを与えても解決せず。
インフラの連中は線から機器からすべてやり直しても何にもかわらない。
自前でテストしても全くおこらない。
同じ構成でも全くおこらない。
もうコンセントからラックから全て同じにしてみたけど起こらない。
でも、現地に行くと起こる。しかも原因はばらばら。

もう泣きそうになった。

仕方ないので、こうなったら実際の現場を見てやろうと客先に泊まらせてもらった。

営業やらお客さんは手伝ってくれると言ってくれたけど、全部の動きを知るのは数人だけ。
当時PM（まあPLより偉い人）の上司と男二人で寒いサーバールームに毛布を抱えてじーっと見る
なかなかシュールな状況でした。

それを何日か続けた時、朝四時ごろにいつものように「おはようございまーす」と掃除のおばちゃんたちが掃除し始める。
いつもの光景だけど、ある一人のおばちゃんがいきなりボタンをかちかちいじり始める。

こちらににっこり笑いながら

「ここは埃が貯まりやすいのよねぇ」

その瞬間、原因がわかりました。
起きた日時と、そのおばちゃんのシフトが入る日は一致しました。
おばちゃんはきちんと説明はされていたけど、ボタンの形が違うのでこっちは良いとか思っちゃったらしい。
しかも毎回違うスイッチ押してたっぽい。

こっちは何日も寒い場所で過ごしたので、怒るより涙が出るほどうれしかった。
この後、一切障害はでなくなった。

お客さんは平謝り、その後は自分の技術力より毛布持ち込んで何日も泊まる根性を買われて贔屓され、部下もプログラマーも根性ある奴と頼りにしてくれて、まあ悪い思い出だけではなかった。

クラウドだのこじゃれた言葉もなく、まだ会社に持たされた携帯電話がPHSだったころの話かな。
最新のサーバルームをおばちゃんが雑巾で掃除するようなまだいい加減な時期。

人生最大の修羅場でした。

結果オーライというか、報われてよかったねぇ

自分ならそのおばちゃんに飛びかかってしまいそうだｗ