A munkahelyen egy kollégával kísérletezgettünk pár technológiával egy prototípus építése során. Mivel az alkalmazásunk backend komponensének telepítésével nem szeretnénk túl sokat foglalkozni, úgy döntöttünk, hogy a kor szellemének megfelelően konténerizáljuk azt.

A Google szoftvert kerüld el irányelvünket megszegve kipróbáltuk a Kubernetest. Telepítettük, beállítottuk, de az alkalmazást telepíteni nem maradt időnk bele. Magára hagytuk, majd elmentünk szabadságra.

Három hét múlva ránéztünk a szerverre, hogy egy újabb alkalmazás verziót próbáljunk ki, de a gép gyanúsan lassú volt (Egy apt-get update körülbelül egy óráig futott!). Nosza, derítsük ki, hogy mi a gond! A filerendszer hozzáférések voltak lassúak, a df is több mint 10 percig futott, mire megtudtuk, hogy bőségesen van hely. Mi lehet a gond? Mi van mountolva egyáltalán?

root@server:~# mount | wc -l
30837
root@server:~# mount
...
tmpfs on /var/lib/kubelet/pods/b48b5be3-347e-11e6-bccc-001e689adbde/volumes/kubernetes.io~secret/default-token-43qt6 type tmpfs (rw)
...
tmpfs on /var/lib/kubelet/pods/b48b5be3-347e-11e6-bccc-001e689adbde/volumes/kubernetes.io~secret/default-token-43qt6 type tmpfs (rw)
tmpfs on /var/lib/kubelet/pods/b48b5be3-347e-11e6-bccc-001e689adbde/volumes/kubernetes.io~secret/default-token-43qt6 type tmpfs (rw)
tmpfs on /var/lib/kubelet/pods/b48b5be3-347e-11e6-bccc-001e689adbde/volumes/kubernetes.io~secret/default-token-43qt6 type tmpfs (rw)
root@server:~# mount | wc -l
30837
root@server:~# umount /var/lib/kubelet/pods/b48b5be3-347e-11e6-bccc-001e689adbde/volumes/kubernetes.io~secret/default-token-43qt6
root@server:~# mount | wc -l
30836
root@server:~#

Úgyhogy nem is volt más teendő, mint 30837-szer umount-olni az overlay filerendszert, és uninstallálni ezt a vacakot.

Kiszámoltam, hogy 3 hét alatt 30000 esemény az körülbelül 1 perces időközt jelent két esemény közt. Nem csak mi találkoztunk a buggal, más is tapasztala.