Restartování routeru pod zátěží

Dne 2015-11-10 21:41

Zdravím,

narazil jsem na problém že se Turris pod zátěží občas restartuje. Interval restartů se různí, bývá to mezi zhruba 1 a několika hodinami. Zdá se, že se to děje jen pod zátěží - Luci ukazuje ~ 3500 TCP spojení a asi 40 Mb/s v každém směru.

Připojil jsem k němu sériovou konzoli a vyčetl toto:


[   16.095562] fuse init (API version 7.22)
Router Turris successfully started.
[14801.868792] PowerPC Book-E Watchdog Exception
[14801.868794] PowerPC Book-E Watchdog Exception

U-Boot 2015.04-04654-gbcfb33e-dirty (Jun 26 2015 - 12:50:49)

CPU0:  P2020E, Version: 2.1, (0x80ea0021)
Core:  e500, Version: 5.1, (0x80211051)
Clock Configuration:
       CPU0:1200 MHz, CPU1:1200 MHz, 
       CCB:600  MHz,
       DDR:400  MHz (800 MT/s data rate) (Asynchronous), LBC:37.500 MHz
L1:    D-cache 32 KiB enabled
       I-cache 32 KiB enabled
wdt status 00000005 reset
       Watchdog enabled

Identifikace routeru:


# atsha204cmd serial-number
00000009000014B3

Foris ukazuje následující identifikaci routeru:
Zařízení   Turris - RTRS02
Sériové číslo   38654710963
Verze jádra   3.10.49-1dcf043c772053ee39cecddc9cff3577-9

Teplota okolí (měřeno přímo pod Turrisem) je ~ 30 °C, což by mělo být v povoleném rozmezí.

Prosím o radu jak postupovat při debugování.
Petr Špaček

Od Michal Vaner (>>)

Dne 2015-11-11 09:32

Dobrý den

S trochou věšteckých zkušeností bych prorokoval, že problém nebude v chlazení. Mluví to o watchdogu.

Watchdog je zařízení řešící zaseknutí. Jednou za čas mu má kernel říci „Jsem naživu“. Když se tak dlouho nestane, usoudí, že se to zaseklo a celé to restartuje. Nejsem ale příliš sběhlý v tom, jestli vysoká zátěž na síti a rozhodování mnoha spojení může zapříčinit dlouhé „odmlčení“ kernelu, který by se věnoval jiným věcem a neměl čas hlásit, že je naživu. Jdu zkonzultovat s kolegy.

Od Michal Vaner (>>)

Dne 2015-11-11 11:26

Dobré ráno

Tak jsem nebyl zcela přesný. Tomu watchdogu to neříká kernel, ale obyčejný program. Teoreticky se může stát, že zátěž routeru je tak vysoká, že se k tomu vůbec nedostane. Je teoreticky možné, že je Váš router natolik zatížený, že se na některé programy prostě nedostane?

Zjistit, jaké hodnoty má nastavené (je to v sekundách) se dá pomocí:

ubus call system watchdog

Nastavit pomocí:

ubus call system watchdog '{ "timeout": 30 }'

Nastavení je též v „/etc/init.d/watchdog_adjust“. Pokud ho ale změníte, tak se vám ale pravděpodobně přeinstaluje pomocí hash-checkeru. Ten se dá vypnout, například nastavením „updater.override.hash_url“ na „-“.

Můžete zkusit, jestli něco z toho pomůže.

Od spacekpe

Dne 2015-11-11 22:22

Pokusil jsem se prověřit jak je to se zátěží. Každých 10 sekund skript spouštěl příkaz uptime a log posílal přes síť na jiný stroj, aby přežil restart. Po 1 hodině a 21 minutách došlo k restartu, ale jak vidíte load nevypadal nijak děsivě: load average: 0.23, 0.37, 0.50


Nov 11 21:41:09 turris root:  21:41:09 up  1:20,  load average: 0.36, 0.43, 0.53
Nov 11 21:41:19 turris root:  21:41:19 up  1:20,  load average: 0.37, 0.43, 0.53
Nov 11 21:41:29 turris root:  21:41:29 up  1:20,  load average: 0.40, 0.43, 0.53
Nov 11 21:41:39 turris root:  21:41:39 up  1:20,  load average: 0.33, 0.42, 0.53
Nov 11 21:41:49 turris root:  21:41:49 up  1:20,  load average: 0.28, 0.40, 0.52
Nov 11 21:41:59 turris root:  21:41:59 up  1:21,  load average: 0.31, 0.41, 0.52
Nov 11 21:42:09 turris root:  21:42:09 up  1:21,  load average: 0.34, 0.41, 0.52
Nov 11 21:42:19 turris root:  21:42:19 up  1:21,  load average: 0.28, 0.39, 0.51
Nov 11 21:42:29 turris root:  21:42:29 up  1:21,  load average: 0.32, 0.40, 0.51
Nov 11 21:42:39 turris root:  21:42:39 up  1:21,  load average: 0.27, 0.38, 0.51
Nov 11 21:42:49 turris root:  21:42:49 up  1:21,  load average: 0.23, 0.37, 0.50
Nov 11 21:43:41 turris syslog-ng[4338]: syslog-ng starting up; version='3.0.5'
Nov 11 21:43:41 turris kernel: [    0.000000] Using P2020 RDB machine description
Nov 11 21:43:41 turris kernel: [    0.000000] Memory CAM mapping: 256/256 Mb, residual: 1536Mb
Nov 11 21:43:41 turris kernel: [    0.000000] Linux version 3.10.49-1dcf043c772053ee39cecddc9cff3577-9 (beast@ubuntu-openwrt) (gcc version 4.8.3 (OpenWrt/Linaro GCC 4.8-2014.04 r46287) ) #1 SMP Mon Sep 14 14:23:14 CEST 2015

Dodávám, že jsem neinstaloval žádné dodatečné balíčky/démony a Turris slouží jen jako router ve standardní konfiguraci, nic dalšího na něm neběží.

Ještě přikládám nastavení watchdogu:


#   ubus call system watchdog
{
  "status": "running",
  "timeout": 12,
  "frequency": 2
}

Zkusím ještě chvíli sbírat logy než budu měnit nastavení watchdogu. Pokud by vás něco napadlo, tak budu rád za každou radu. Pěkný den.