зависание устройств после обновления от 3.7.1 и далее

[Виталий Станишевский]

Приветствую!

Есть проблема со свежими Keentic ОС.
Имеется ряд устройств Keenetic Ultra (KN-1810), Keenetic Viva (KN-1910), все устройства работают в режиме "Точка доступа/Ретранслятор", все устройства стабильно работали и обновлялись до версии ОС 3.6.12 включительно. После обновления до 3.7.1 и младше (вплоть до текущей на момент написания 3.9.2) устройства стали "отваливаться" от сети: в SysLog'ах пишет - "User.Info ... ndm: Network::InternetChecker: Internet access lost (status: 0x0000)". На данный момент все устройства, кроме тестового Keenetic Ultra (KN-1810), переведены на ОС 3.6.12 без автообновления.

Вкратце опишу, как всё происходит уже только на тестовом устройстве.
Устройство работает в режиме "Точка доступа/Ретранслятор": WAN-порт (синий) подключен к общей сети, моим DHCP-сервером устройству раздаётся IP-адрес из диапазона 192.168.2.0/24 (ему сопоставлен определённый адрес, чтобы не искать каждый раз по всей сети WEB-интерфейс). К LAN-порту и по Wi-Fi подключаются клиенты и получают адреса от того же DHCP из того же диапазона.
Второй сетевой картой на ПК, с которого провожу диагностику, подключен к LAN-порту со статическим IP:192.168.1.33. Когда устройство отваливается от основной сети, оно переходит на аварийный IP:192.168.1.3, и я могу получить доступ к WEB-интерфейсу и снять логи. Помогает вернуть устройство в общую сеть только перезагрузка (как программная - через WEB-кнопку, так и аппаратная - через отключение питания).
Поднял у себя Kiwi Syslog Server, в последнем логе пишет: User.Info ... ndm: Network::InternetChecker: Internet access lost (status: 0x0000). Встречаются так же варианты (status: 0x0001), (status: 0x0003), (status: 0x0007).

Подскажите, может, есть мысли как побороть беду? Если нужны конфиги, логи, SysLog'и - всё есть, снимаю их после каждого раза, когда устройство отваливается от сети.
Может, есть вариант в планировщике указать условия по времени, но лучше по событию на перезагрузку устройства. Но я не знаю, где копать.

Подчеркну - устройства на Keenetic ОС 3.6.12 работают без зависаний уже в течении длительного времени.

P.S.: от техподдержки, к сожалению, помощи так и не получил.

[Mamay]

36 минут назад, Виталий Станишевский сказал:

P.S.: от техподдержки, к сожалению, помощи так и не получил.

Самого героя опуса пробовали вырубать? Я про internet checker...

[Виталий Станишевский]

Не понимаю...
Что имеется в виду? "Internet Checker" - это какая-то служба в ОС? Если да, то не пробовал, и подскажите, пожалуйста, как это сделать. Потом, если эта служба отвечает за проверку доступа, то, возможно, просто не будет сообщения о том, что пропал коннект. Хотя...кто его знает, как оно работает.

В общем, если не трудно, подскажите, где его вырубить, попробую, потестирую.

[Mamay]

1 час назад, Виталий Станишевский сказал:

В общем, если не трудно, подскажите, где его вырубить, попробую, потестирую.

no service internet-checker

[Mamay]

https://help.keenetic.com/hc/ru/articles/360000478579

[Виталий Станишевский]

13 минуты назад, Mamay сказал:

https://help.keenetic.com/hc/ru/articles/360000478579

В режиме "Точка доступа/Ретранслятор" эта функция недоступна.

[Виталий Станишевский]

К слову сказать, в устройствах на версии 3.6.12:
show internet status > enabled: true

Выставил в тестовом устройстве (сегодня обновилось до 3.9.3), как Вы посоветовали
show internet status > enabled: no

Будем посмотреть, как себя поведёт.
Спасибо.

[Mamay]

20 часов назад, Виталий Станишевский сказал:

Будем посмотреть, как себя поведёт.

Обязательно отпишитесь по итогу в любом случае, чтобы последующие поколения не изобретали велосипед!

[Виталий Станишевский]

1 минуту назад, Mamay сказал:

Обязательно отпишитесь по итогу в любом случае, чтобы последующие поколения не изобретали велосипед!

Тут нюанс в том, что устройство может относительно долго работать, потом "отвалиться". На моей памяти до 10 суток отрабатывало.

В общем-то, вторые сутки пошли, полёт нормальный.

Может быть, Вы в курсе - при обновлении до очередной новой версии не переключит ли в "show internet status > enabled: true"? Если так, то беда...

[Mamay]

8 минут назад, Виталий Станишевский сказал:

Может быть, Вы в курсе - при обновлении до очередной новой версии не переключит ли в "show internet status > enabled: true"? Если так, то беда...

Не переключит, так как NDMS смотрит на startup-config, где, согласно ваших слов, вы руками прибили условие!

[Виталий Станишевский]

В общем-то, чуть более полутора суток и опять отвалился. И да, теперь internet cheker не выдал сообщений, что Internet access lost...
В логах нашёл следующее:
[E] Feb 16 07:54:34 ndm: Cloud::Agent: cannot connect to the cloud server. 
[I] Feb 16 08:19:38 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(b3:7c:9d:c2:9f:3b) had re-associated successfully. 
[I] Feb 16 08:19:38 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(b3:7c:9d:c2:9f:3b) set key done in WPA2/WPA2PSK. 
[I] Feb 16 08:20:37 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(b3:7c:9d:c2:9f:3b) had associated successfully. 
[I] Feb 16 08:20:38 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(b3:7c:9d:c2:9f:3b) set key done in WPA2/WPA2PSK. 
[I] Feb 16 08:27:07 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(51:db:d6:2d:fb:6c) had associated successfully. 
[I] Feb 16 08:27:08 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(51:db:d6:2d:fb:6c) set key done in WPA2/WPA2PSK. 
[I] Feb 16 08:27:26 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(51:db:d6:2d:fb:6c) had deauthenticated by STA (reason: STA is leaving or has left BSS). 
[I] Feb 16 08:27:27 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(51:db:d6:2d:fb:6c) had associated successfully. 
[I] Feb 16 08:27:27 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(51:db:d6:2d:fb:6c) set key done in WPA2/WPA2PSK. 
[I] Feb 16 08:27:45 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(51:db:d6:2d:fb:6c) had deauthenticated by STA (reason: STA is leaving or has left BSS). 
[I] Feb 16 08:41:27 ndm: Network::Interface::Switch: "GigabitEthernet0/3": switch link down at port 4. 
[W] Feb 16 08:41:30 ndm: Dhcp::Client: DHCP server is not responding. 
[I] Feb 16 08:41:30 ndm: Network::Interface::Ip: "Bridge0": IP address is 192.168.1.3/24. 
[I] Feb 16 08:41:31 ndm: Http::Nginx: loaded SSL certificate for "f754d252794c5aa7b8521d52.keenetic.io". 
[I] Feb 16 08:41:31 ndm: Core::Server: started Session /var/run/ndm.core.socket. 
[I] Feb 16 08:41:31 ndm: Core::Session: client disconnected. 
[I] Feb 16 08:41:31 ndm: Http::Manager: updated configuration. 
[I] Feb 16 08:41:31 ndm: Core::Server: started Session /var/run/ndm.core.socket. 
[I] Feb 16 08:41:31 ndm: Core::Session: client disconnected. 
[I] Feb 16 08:41:32 coalagent: version 0.4.51 starting on 192.168.1.3. 
[I] Feb 16 08:41:43 ndm: Network::Interface::Switch: "GigabitEthernet0/3": switch link up at port 4 (100FD/AN). 
[E] Feb 16 08:45:26 ndm: Core::Ndss: [3378] no internet connection. 
[E] Feb 16 08:45:42 ndm: Core::Ndss: [3415] no internet connection. 
[E] Feb 16 08:45:56 ndm: Core::Ndss: [3430] no internet connection. 
[E] Feb 16 08:46:10 ndm: Core::Ndss: [3447] no internet connection. 
[E] Feb 16 08:46:24 ndm: Core::Ndss: [3464] no internet connection. 
[E] Feb 16 08:46:35 ndm: Core::Ndss: [3487] no internet connection.

Вернул internet cheker на место.
Проверил - DHCP-сервер работает и раздаёт IP, устройства на ОС 3.6.12 усиленно продолжают работать.

Может быть есть мысли ещё? Подскажите, пожалуйста.

P.S.: техподдержка вообще забила и перестала отвечать на запросы...

[Mamay]

10 минут назад, Виталий Станишевский сказал:

P.S.: техподдержка вообще забила и перестала отвечать на запросы...

[I] Feb 16 08:41:27 ndm: Network::Interface::Switch: "GigabitEthernet0/3": switch link down at port 4. 

[I] Feb 16 08:41:43 ndm: Network::Interface::Switch: "GigabitEthernet0/3": switch link up at port 4 (100FD/AN). 

Это что? У вас провайдер заходит в 4-ый порт? Если да, то это ответ на ваш. Как обычно всё в физике...

[Виталий Станишевский]

49 минут назад, Mamay сказал:

[I] Feb 16 08:41:27 ndm: Network::Interface::Switch: "GigabitEthernet0/3": switch link down at port 4. 

[I] Feb 16 08:41:43 ndm: Network::Interface::Switch: "GigabitEthernet0/3": switch link up at port 4 (100FD/AN). 

Это что? У вас провайдер заходит в 4-ый порт? Если да, то это ответ на ваш. Как обычно всё в физике...

На этом порту вторая сетевая карта из компа со статическим 192.168.1.33.

Я, конечно, сейчас протестирую ещё раз - программно выключу сетевой интерфейс и выключу internet checker, но, думаю не в этом дело. Устройства до этого так же отваливались. Подключалось всё стандартно: синие-WAN или ВОЛС - "входящие", LAN - клиенты.
Вторую сетевую подключил на тестовом устройстве, чтобы снимать логи, не более. Впрочем, к тестовому устройству только сам и подключаюсь по Wi-Fi'ю, чтобы контролировать за положение дел.

В общем, для чистоты эксперимента, отключил сетевое подключение (из 4-LAN), снова выключил internet checker. Будем снова посмотреть...

[Виталий Станишевский]

Прошло чуть более четырёх суток. Пока полёт нормальный.

Прошло шесть суток. Полёт нормальный.

Изменено 22 февраля, 2023 пользователем Виталий Станишевский

[Виталий Станишевский]

Всё... Бобик сдох...
Прошло чуть менее 7:ми суток (рекорд был около 10:ти суток).

Internet checker выключен.

Логи с Журнала системных событий от 23/02/2023:
[I] Feb 23 05:08:04 ndhcpc: Bridge0: received ACK for 192.168.2.243 from 192.168.2.200 lease 86400 sec. <(1) - адрес устройства, (2) - адрес шлюза, DHCP-сервера>
[I] Feb 23 05:08:04 ndm: Dns::Manager: name server *.*.*.* added, domain (default).
[I] Feb 23 05:08:04 ndm: Dns::Manager: name server *.*.*.* added, domain (default). <*.*.*.* - DNS-адреса провайдера> 
[E] Feb 23 07:54:48 ndm: Cloud::Agent: cannot connect to the cloud server. 
[I] Feb 23 08:25:49 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster0/AccessPoint0": STA(51:db:d6:2d:fb:6c) had associated successfully. 
[I] Feb 23 08:25:49 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster0/AccessPoint0": STA(51:db:d6:2d:fb:6c) set key done in WPA2/WPA2PSK. 
[I] Feb 23 08:26:07 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster0/AccessPoint0": STA(51:db:d6:2d:fb:6c) had deauthenticated by STA (reason: STA is leaving or has left BSS). 
[I] Feb 23 08:30:31 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(b3:7c:9d:c2:9f:3b) had associated successfully. 
[I] Feb 23 08:30:31 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(b3:7c:9d:c2:9f:3b) set key done in WPA2/WPA2PSK. 
[I] Feb 23 08:39:43 ndm: Network::Interface::Switch: "GigabitEthernet0/3": switch link down at port 4. 
[W] Feb 23 08:39:46 ndm: Dhcp::Client: DHCP server is not responding. 
[I] Feb 23 08:39:46 ndm: Network::Interface::Ip: "Bridge0": IP address is 192.168.1.3/24. 
[I] Feb 23 08:39:47 ndm: Http::Nginx: loaded SSL certificate for "f754d252794c5aa7b8521d52.keenetic.io". 
[I] Feb 23 08:39:47 ndm: Core::Server: started Session /var/run/ndm.core.socket. 
[I] Feb 23 08:39:47 ndm: Core::Session: client disconnected. 
[I] Feb 23 08:39:47 ndm: Http::Manager: updated configuration. 
[I] Feb 23 08:39:47 ndm: Core::Server: started Session /var/run/ndm.core.socket. 
[I] Feb 23 08:39:47 ndm: Core::Session: client disconnected. 
[I] Feb 23 08:39:47 ndm: Network::Interface::Switch: "GigabitEthernet0/3": switch link up at port 4 (100FD/AN). <Где-то в это время была обнаружена проблема, включена вторая сетевая на компе, подключено по аварийному адресу, сняты логи, конфиги>
[I] Feb 23 08:39:48 coalagent: version 0.4.51 starting on 192.168.1.3. 
[I] Feb 23 08:47:51 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(51:db:d6:2d:fb:6c) had associated successfully. 
[I] Feb 23 08:47:51 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(51:db:d6:2d:fb:6c) set key done in WPA2/WPA2PSK. 
[I] Feb 23 08:48:09 ndm: Network::Interface::Rtx::WifiMonitor: "WifiMaster1/AccessPoint0": STA(51:db:d6:2d:fb:6c) had deauthenticated by STA (reason: STA is leaving or has left BSS). 
[I] Feb 23 08:56:24 ndm: Ntp::Client: unable to communicate with "ntp.belgim.by". 
[I] Feb 23 08:56:36 ndm: Ntp::Client: unable to communicate with "by.pool.ntp.org". 
[E] Feb 23 08:57:58 ndm: Core::Ndss: [1339] no internet connection. 
[E] Feb 23 09:00:22 ndm: Core::Ndss: [1528] no internet connection. 
[E] Feb 23 09:00:36 ndm: Core::Ndss: [1543] no internet connection. 
[E] Feb 23 09:00:48 ndm: Core::Ndss: [1568] no internet connection. <Где-то в это время запущена программная перезагрузка устройства>

Syslog'и от 23/02/2023:
2023-02-23 05:08:20    User.Info    192.168.2.243    Feb 23 05:08:04 admin-rtr ndhcpc: Bridge0: received ACK for 192.168.2.243 from 192.168.2.200 lease 86400 sec. <(1) - адрес устройства, (2) - адрес шлюза, DHCP-сервера>
2023-02-23 05:08:20    User.Info    192.168.2.243    Feb 23 05:08:04 admin-rtr ndm: Dns::Manager: name server *.*.*.* added, domain (default). 
2023-02-23 05:08:20    User.Info    192.168.2.243    Feb 23 05:08:04 admin-rtr ndm: Dns::Manager: name server *.*.*.* added, domain (default). 
2023-02-23 07:55:04    User.Error    192.168.2.243    Feb 23 07:54:48 admin-rtr ndm: Cloud::Agent: cannot connect to the cloud server. 

Замечено, что зависания на новых ОС происходят приблизительно в один и тот же промежуток времени - где-то с 7:ми до 8:ми утра. Обычно, в это время одни работники уходят с работы, другие приходят, в администрации включаются офисные компы.

Логи с устройства с ОС 3.6.12 приблизительно за тот же промежуток времени от 23/02/2023:
[I] Feb 23 05:29:00 wmond: WifiMaster0/AccessPoint0: (MT7615) STA(cc:73:14:e5:3b:f7) had associated successfully. 
[I] Feb 23 05:29:00 wmond: WifiMaster0/AccessPoint0: (MT7615) STA(cc:73:14:e5:3b:f7) set key done in WPA2/WPA2PSK. 
[I] Feb 23 05:29:35 wmond: WifiMaster0/AccessPoint0: (MT7615) STA(cc:73:14:e5:3b:f7) had deauthenticated by STA (reason: STA is leaving or has left BSS). 
[I] Feb 23 05:39:23 wmond: WifiMaster0/AccessPoint0: (MT7615) STA(4e:d3:51:2d:40:b0) GTK rekey done, group cipher AES. 
[I] Feb 23 06:15:09 ndm: Network::InternetChecker: Internet access lost (status: 0x0003). <Видно, что тоже теряет связь с реальностью.>
[I] Feb 23 06:16:03 ndm: Network::InternetChecker: Internet access detected. <Но самостоятельно возвращается к жизни.>
[I] Feb 23 06:32:45 wmond: WifiMaster0/AccessPoint0: (MT7615) STA(cc:73:14:e5:3b:f7) had associated successfully. 
[I] Feb 23 06:32:46 wmond: WifiMaster0/AccessPoint0: (MT7615) STA(cc:73:14:e5:3b:f7) set key done in WPA2/WPA2PSK. 
[I] Feb 23 06:43:30 wmond: WifiMaster0/AccessPoint0: (MT7615) STA(cc:73:14:e5:3b:f7) had been aged-out and disassociated (idle silence). 
[I] Feb 23 07:07:30 wmond: WifiMaster0/AccessPoint0: (MT7615) STA(cc:73:14:e5:3b:f7) had associated successfully. 
[I] Feb 23 07:07:30 wmond: WifiMaster0/AccessPoint0: (MT7615) STA(cc:73:14:e5:3b:f7) set key done in WPA2/WPA2PSK. 
... периодически подключаются/отключаются клиенты...
[I] Feb 23 08:18:38 wmond: WifiMaster1/AccessPoint0: (MT7615) STA(bc:6a:d1:a9:60:96) had associated successfully. 
[I] Feb 23 08:18:38 wmond: WifiMaster1/AccessPoint0: (MT7615) STA(bc:6a:d1:a9:60:96) set key done in WPA2/WPA2PSK. 
[I] Feb 23 08:19:48 wmond: WifiMaster0/AccessPoint0: (MT7615) STA(18:87:40:72:cd:9c) had associated successfully. 
[I] Feb 23 08:19:48 wmond: WifiMaster0/AccessPoint0: (MT7615) STA(18:87:40:72:cd:9c) set key done in WPA2/WPA2PSK. 
и т.д. ...

Также решил посмотреть логи на других устройствах с ОС 3.6.12: действительно на всех устройствах приблизительно в одно и то же время - ~06:15 утра было сообщение о потере соединения:
[I] Feb 23 06:15:12 ndm: Network::InternetChecker: Internet access lost (status: 0x0003). 
[I] Feb 23 06:16:05 ndm: Network::InternetChecker: Internet access detected. 
Но все эти устройства в течении +/- одной минуты его восстановили.

Я не знаю, почему это происходит.

Пожалуйста, помогите разобраться с этой проблемой. Есть у кого какие идеи?
Ну, кроме как отменить обновление и остаться на старой версии ОС...