Загрузка CPU 99%

[Александр Л.]

Здравствуйте.
На Keenetic Start KN-1112, KeeneticOS 5.01.C.4.0-1, периодически возникает постоянная загрузка CPU 90–100% при практически отсутствующем пользовательском трафике.

По диагностике:

show system cpustat:

busy avg ~98%
user avg ~86%
system avg ~11%
irq/sirq ~0%
iowait 0%

show processes показывает, что основную нагрузку создаёт процесс ndm:

ndm
cpu avg ~87%
cur ~93%
max ~98%

При этом ndnproxy, stubby, WireGuard и другие процессы практически не потребляют CPU.

В show threads основной потребитель:

DNS route IPset sync queue
cpu:
min 34%
max 95%
avg 53–72%
cur 42–44%

Стек:

Netfilter::IpSet::Net6::AddItem(...)
libndmIp6Object()
Dns::Route::ResolveQueue::Group_::UpdateSet6_()
Dns::Route::ResolveQueue::Group_::OnCacheSync_()
Dns::InterfaceSpecific::ClearServiceData(...)

То есть нагрузка возникает при синхронизации IPv6 ipset для DNS/FQDN routing.

В конфигурации используются object-group с FQDN/CIDR и правила dns-proxy route для маршрутизации через PPPoE и WireGuard.

Важный момент: после выполнения

no dns-proxy route

CPU сразу падает примерно до 5–10%, а поток DNS route IPset sync queue исчезает. При этом правила маршрутизации остаются отображаться в GUI. Через некоторое время проблема воспроизводится снова: поток DNS route IPset sync queue появляется и снова начинает потреблять 40–95% CPU.

IPv6 у провайдера фактически не используется.

Просьба проверить, не является ли это известной проблемой KeeneticOS 5.01.C.4.0-1 в механизме DNS/FQDN routing / синхронизации IPv6 ipset (Dns::Route::ResolveQueue::Group_::UpdateSet6_).

Готов предоставить show system, show system cpustat, show processes, show threads, конфигурацию и лог.

Такая проблема воспроизводится на множестве аналогичных устройств.

Изменено Четверг в 08:19 пользователем Александр Л.

[Илья Картавенко]

5 минут назад, Александр Л. сказал:

Здравствуйте.
На Keenetic Start KN-1112, KeeneticOS 5.01.C.4.0-1, периодически возникает постоянная загрузка CPU 90–100% при практически отсутствующем пользовательском трафике.

По диагностике:

show system cpustat:

busy avg ~98%
user avg ~86%
system avg ~11%
irq/sirq ~0%
iowait 0%

show processes показывает, что основную нагрузку создаёт процесс ndm:

ndm
cpu avg ~87%
cur ~93%
max ~98%

При этом ndnproxy, stubby, WireGuard и другие процессы практически не потребляют CPU.

В show threads основной потребитель:

DNS route IPset sync queue
cpu:
min 34%
max 95%
avg 53–72%
cur 42–44%

Стек:

Netfilter::IpSet::Net6::AddItem(...)
libndmIp6Object()
Dns::Route::ResolveQueue::Group_::UpdateSet6_()
Dns::Route::ResolveQueue::Group_::OnCacheSync_()
Dns::InterfaceSpecific::ClearServiceData(...)

То есть нагрузка возникает при синхронизации IPv6 ipset для DNS/FQDN routing.

В конфигурации используются object-group с FQDN/CIDR и правила dns-proxy route для маршрутизации через PPPoE и WireGuard.

Важный момент: после выполнения

no dns-proxy route

CPU сразу падает примерно до 5–10%, а поток DNS route IPset sync queue исчезает. При этом правила маршрутизации остаются отображаться в GUI. Через некоторое время проблема воспроизводится снова: поток DNS route IPset sync queue появляется и снова начинает потреблять 40–95% CPU.

IPv6 у провайдера фактически не используется.

Просьба проверить, не является ли это известной проблемой KeeneticOS 5.01.C.4.0-1 в механизме DNS/FQDN routing / синхронизации IPv6 ipset (Dns::Route::ResolveQueue::Group_::UpdateSet6_).

Готов предоставить show system, show system cpustat, show processes, show threads, конфигурацию и лог.

Такая проблема воспроизводится на множестве аналогичных устройств.

Такая же проблема при использовании dns маршрутизации kn-2110

[Илья Картавенко]

16 минут назад, Александр Л. сказал:

Здравствуйте.
На Keenetic Start KN-1112, KeeneticOS 5.01.C.4.0-1, периодически возникает постоянная загрузка CPU 90–100% при практически отсутствующем пользовательском трафике.

По диагностике:

show system cpustat:

busy avg ~98%
user avg ~86%
system avg ~11%
irq/sirq ~0%
iowait 0%

show processes показывает, что основную нагрузку создаёт процесс ndm:

ndm
cpu avg ~87%
cur ~93%
max ~98%

При этом ndnproxy, stubby, WireGuard и другие процессы практически не потребляют CPU.

В show threads основной потребитель:

DNS route IPset sync queue
cpu:
min 34%
max 95%
avg 53–72%
cur 42–44%

Стек:

Netfilter::IpSet::Net6::AddItem(...)
libndmIp6Object()
Dns::Route::ResolveQueue::Group_::UpdateSet6_()
Dns::Route::ResolveQueue::Group_::OnCacheSync_()
Dns::InterfaceSpecific::ClearServiceData(...)

То есть нагрузка возникает при синхронизации IPv6 ipset для DNS/FQDN routing.

В конфигурации используются object-group с FQDN/CIDR и правила dns-proxy route для маршрутизации через PPPoE и WireGuard.

Важный момент: после выполнения

no dns-proxy route

CPU сразу падает примерно до 5–10%, а поток DNS route IPset sync queue исчезает. При этом правила маршрутизации остаются отображаться в GUI. Через некоторое время проблема воспроизводится снова: поток DNS route IPset sync queue появляется и снова начинает потреблять 40–95% CPU.

IPv6 у провайдера фактически не используется.

Просьба проверить, не является ли это известной проблемой KeeneticOS 5.01.C.4.0-1 в механизме DNS/FQDN routing / синхронизации IPv6 ipset (Dns::Route::ResolveQueue::Group_::UpdateSet6_).

Готов предоставить show system, show system cpustat, show processes, show threads, конфигурацию и лог.

Такая проблема воспроизводится на множестве аналогичных устройств.

Прикрепите скрытым сообщением селфтесты и логи своих роутеров, админы посмотрят

[Denis P]

32 минуты назад, Александр Л. сказал:

В конфигурации используются object-group с FQDN/CIDR и правила dns-proxy route для маршрутизации через PPPoE и WireGuard.

Какое количество записей? Используются ли там tld?

[Илья Картавенко]

28 минут назад, Denis P сказал:

Какое количество записей? Используются ли там tld?

У меня в общей сложности 79 доменов и 10 cidr, и это я оптимизировал списки.

[Александр Л.]

52 минуты назад, Denis P сказал:

Какое количество записей? Используются ли там tld?

450 доменов и 139 CIDR с покрытием около 1 млн. адресов. Tld не используется.

ЗЫ прикрепляю скрытые сообщения, но они исчезают. Так и должно быть?

Изменено Четверг в 09:38 пользователем Александр Л.

[Mamay]

1 час назад, Александр Л. сказал:

На Keenetic Start KN-1112, KeeneticOS 5.01.C.4.0-1, периодически возникает постоянная загрузка CPU 90–100% 

13 минут назад, Александр Л. сказал:

450 доменов и 139 CIDR с покрытием около 1 млн. адресов.

На ультрабюджетном устройстве миллион адресов и вы спрашиваете в чём дело.

13 минут назад, Александр Л. сказал:

ЗЫ прикрепляю скрытые сообщения, но они исчезают. Так и должно быть?

Да.

[Александр Л.]

9 минут назад, Mamay сказал:

На ультрабюджетном устройстве миллион адресов и вы спрашиваете в чём дело.

Да.

Когда использовалась маршрутизация по IPV4 он без проблем тянул и в несколько раз больше. Кстати на домашнем KN-1713 (с таким же CPU) я такого не наблюдаю, хотя у меня там гораздо больше доменов и CIDR.

Изменено Четверг в 10:03 пользователем Александр Л.

[Denis P]

40 минут назад, Александр Л. сказал:

450 доменов и 139 CIDR с покрытием около 1 млн. адресов. Tld не используется.

ЗЫ прикрепляю скрытые сообщения, но они исчезают. Так и должно быть?

Вы исключили возможные проблемы с dns резолверами? Возможно очередь запросов слишком большая из-за того что ваши резолверы отвечают долго/не сразу/не отвечают вовсе. Посмотреть подробнее что там происходит можно включив

dns-proxy debug 

[Илья Картавенко]

31 минуту назад, Denis P сказал:

Вы исключили возможные проблемы с dns резолверами? Возможно очередь запросов слишком большая из-за того что ваши резолверы отвечают долго/не сразу/не отвечают вовсе. Посмотреть подробнее что там происходит можно включив

dns-proxy debug 

Приложил скрытым сообщением

[Александр Л.]

Сократил количество доменов. Загрузка CPU упала. Будем наблюдать.

[Илья Картавенко]

1 минуту назад, Александр Л. сказал:

Сократил количество доменов. Загрузка CPU упала. Будем наблюдать.

Да, у меня так же было, но потом она все равно выросла. Кстати интересно, что в первые сутки  после перезагрузки роутера, или полного удаления и добавления заново списка маршрутов и правил к ним, загрузка цпу нормальная, но потом она возрастает.

[Александр Л.]

1 час назад, Илья Картавенко сказал:

Да, у меня так же было, но потом она все равно выросла. Кстати интересно, что в первые сутки  после перезагрузки роутера, или полного удаления и добавления заново списка маршрутов и правил к ним, загрузка цпу нормальная, но потом она возрастает.

Помучил нейронку. Вердикт:
большой FQDN-list + длительная работа + большое число DNS-событий + множество меняющихся A/AAAA + периодические пересборки динамических OGDN sets.
И когда внутреннее состояние достигает какого-то размера/состояния, Dns::Route::ResolveQueue начинает жрать CPU.
 

[Илья Картавенко]

58 минут назад, Александр Л. сказал:

Помучил нейронку. Вердикт:
большой FQDN-list + длительная работа + большое число DNS-событий + множество меняющихся A/AAAA + периодические пересборки динамических OGDN sets.
И когда внутреннее состояние достигает какого-то размера/состояния, Dns::Route::ResolveQueue начинает жрать CPU.
 

Ну я примерно такие же выводы и сделал, только без нееронки

[Александр Л.]

Лучше не маршрутизировать домены с широким ветвлением типа googlevideo.com тогда проблема будет меньше проявляться.

[Илья Картавенко]

5 минут назад, Александр Л. сказал:

Лучше не маршрутизировать домены с широким ветвлением типа googlevideo.com тогда проблема будет меньше проявляться.

У меня вчера роутер вообще вечером заглючил, пришлось на перезагрузку отправлять. Сейчас работает 16 с половиной часов, пока полет нормальный, загрузка процессора достигает 21%