障害記録:podにはできるだけrequestsに使用するメモリ量を書いた方が良い

tl;dr; podにrequestsを書いた方がいい。特にメモリ量。 さもないと、Out Of Memory(OOM)が発生してエライことになる可能性がある。 事故事例 requestsが書かれていない状態で起きた。 requestsがないのでメモリが逼迫したノードに新しいコンテナが配置された OOMが発生してワーカーノードがマスターノードと疎通できなくなった ワーカーノードがダウンしたと判断され、他のノードにpodが移動を始めた 他のノードもメモリ量がそれほどあるわけではないのでOOM発生 ギリギリだったノードにさらに割り振られてOOM発生 ワーカーノード全滅 requestsに書くメモリ量が分からない とりあえず稼働させてみて、そのpodが動作しているpodにSSHでログインし、 docker stats [containerID] を実行することで使用中のメモリ量がわかる。...