Jump to content
Как правильно добавить self-test и прочую отладку в тему
Где взять тестовые сборки
Официальное хранилище ПО в виде файлов
  • 0

Загрузка CPU 99%

Александр Л.

Asked by Александр Л.,

 Share

Question

Александр Л. Member

Александр Л.

Posted
Posted (edited)

Здравствуйте.
На Keenetic Start KN-1112, KeeneticOS 5.01.C.4.0-1, периодически возникает постоянная загрузка CPU 90–100% при практически отсутствующем пользовательском трафике.

По диагностике:

show system cpustat: 

busy avg ~98%
user avg ~86%
system avg ~11%
irq/sirq ~0%
iowait 0%

show processes показывает, что основную нагрузку создаёт процесс ndm: 

ndm
cpu avg ~87%
cur ~93%
max ~98%

При этом ndnproxy, stubby, WireGuard и другие процессы практически не потребляют CPU.

В show threads основной потребитель: 

DNS route IPset sync queue
cpu:
min 34%
max 95%
avg 53–72%
cur 42–44%

Стек: 

Netfilter::IpSet::Net6::AddItem(...)
libndmIp6Object()
Dns::Route::ResolveQueue::Group_::UpdateSet6_()
Dns::Route::ResolveQueue::Group_::OnCacheSync_()
Dns::InterfaceSpecific::ClearServiceData(...)

То есть нагрузка возникает при синхронизации IPv6 ipset для DNS/FQDN routing.

В конфигурации используются object-group с FQDN/CIDR и правила dns-proxy route для маршрутизации через PPPoE и WireGuard.

Важный момент: после выполнения 

no dns-proxy route

CPU сразу падает примерно до 5–10%, а поток DNS route IPset sync queue исчезает. При этом правила маршрутизации остаются отображаться в GUI. Через некоторое время проблема воспроизводится снова: поток DNS route IPset sync queue появляется и снова начинает потреблять 40–95% CPU.

IPv6 у провайдера фактически не используется.

Просьба проверить, не является ли это известной проблемой KeeneticOS 5.01.C.4.0-1 в механизме DNS/FQDN routing / синхронизации IPv6 ipset (Dns::Route::ResolveQueue::Group_::UpdateSet6_).

Готов предоставить show system, show system cpustat, show processes, show threads, конфигурацию и лог.

Такая проблема воспроизводится на множестве аналогичных устройств.

Edited by Александр Л.

15 answers to this question

Recommended Posts

  • 0
Илья Картавенко Honored Flooder

Илья Картавенко

Posted
Posted
5 минут назад, Александр Л. сказал:

Здравствуйте.
На Keenetic Start KN-1112, KeeneticOS 5.01.C.4.0-1, периодически возникает постоянная загрузка CPU 90–100% при практически отсутствующем пользовательском трафике.

По диагностике:

show system cpustat: 

busy avg ~98%
user avg ~86%
system avg ~11%
irq/sirq ~0%
iowait 0%

show processes показывает, что основную нагрузку создаёт процесс ndm: 

ndm
cpu avg ~87%
cur ~93%
max ~98%

При этом ndnproxy, stubby, WireGuard и другие процессы практически не потребляют CPU.

В show threads основной потребитель: 

DNS route IPset sync queue
cpu:
min 34%
max 95%
avg 53–72%
cur 42–44%

Стек: 

Netfilter::IpSet::Net6::AddItem(...)
libndmIp6Object()
Dns::Route::ResolveQueue::Group_::UpdateSet6_()
Dns::Route::ResolveQueue::Group_::OnCacheSync_()
Dns::InterfaceSpecific::ClearServiceData(...)

То есть нагрузка возникает при синхронизации IPv6 ipset для DNS/FQDN routing.

В конфигурации используются object-group с FQDN/CIDR и правила dns-proxy route для маршрутизации через PPPoE и WireGuard.

Важный момент: после выполнения 

no dns-proxy route

CPU сразу падает примерно до 5–10%, а поток DNS route IPset sync queue исчезает. При этом правила маршрутизации остаются отображаться в GUI. Через некоторое время проблема воспроизводится снова: поток DNS route IPset sync queue появляется и снова начинает потреблять 40–95% CPU.

IPv6 у провайдера фактически не используется.

Просьба проверить, не является ли это известной проблемой KeeneticOS 5.01.C.4.0-1 в механизме DNS/FQDN routing / синхронизации IPv6 ipset (Dns::Route::ResolveQueue::Group_::UpdateSet6_).

Готов предоставить show system, show system cpustat, show processes, show threads, конфигурацию и лог.

Такая проблема воспроизводится на множестве аналогичных устройств.

Такая же проблема при использовании dns маршрутизации kn-2110

  • 0
Илья Картавенко Honored Flooder

Илья Картавенко

Posted
Posted
16 минут назад, Александр Л. сказал:

Здравствуйте.
На Keenetic Start KN-1112, KeeneticOS 5.01.C.4.0-1, периодически возникает постоянная загрузка CPU 90–100% при практически отсутствующем пользовательском трафике.

По диагностике:

show system cpustat: 

busy avg ~98%
user avg ~86%
system avg ~11%
irq/sirq ~0%
iowait 0%

show processes показывает, что основную нагрузку создаёт процесс ndm: 

ndm
cpu avg ~87%
cur ~93%
max ~98%

При этом ndnproxy, stubby, WireGuard и другие процессы практически не потребляют CPU.

В show threads основной потребитель: 

DNS route IPset sync queue
cpu:
min 34%
max 95%
avg 53–72%
cur 42–44%

Стек: 

Netfilter::IpSet::Net6::AddItem(...)
libndmIp6Object()
Dns::Route::ResolveQueue::Group_::UpdateSet6_()
Dns::Route::ResolveQueue::Group_::OnCacheSync_()
Dns::InterfaceSpecific::ClearServiceData(...)

То есть нагрузка возникает при синхронизации IPv6 ipset для DNS/FQDN routing.

В конфигурации используются object-group с FQDN/CIDR и правила dns-proxy route для маршрутизации через PPPoE и WireGuard.

Важный момент: после выполнения 

no dns-proxy route

CPU сразу падает примерно до 5–10%, а поток DNS route IPset sync queue исчезает. При этом правила маршрутизации остаются отображаться в GUI. Через некоторое время проблема воспроизводится снова: поток DNS route IPset sync queue появляется и снова начинает потреблять 40–95% CPU.

IPv6 у провайдера фактически не используется.

Просьба проверить, не является ли это известной проблемой KeeneticOS 5.01.C.4.0-1 в механизме DNS/FQDN routing / синхронизации IPv6 ipset (Dns::Route::ResolveQueue::Group_::UpdateSet6_).

Готов предоставить show system, show system cpustat, show processes, show threads, конфигурацию и лог.

Такая проблема воспроизводится на множестве аналогичных устройств.

Прикрепите скрытым сообщением селфтесты и логи своих роутеров, админы посмотрят

  • 0
Denis P Honored Flooder

Denis P

Posted
Posted
32 минуты назад, Александр Л. сказал:

В конфигурации используются object-group с FQDN/CIDR и правила dns-proxy route для маршрутизации через PPPoE и WireGuard.

Какое количество записей? Используются ли там tld?

  • 0
Александр Л. Member

Александр Л.

Posted
  • Author
Posted (edited)
52 минуты назад, Denis P сказал:

Какое количество записей? Используются ли там tld?

450 доменов и 139 CIDR с покрытием около 1 млн. адресов. Tld не используется.

ЗЫ прикрепляю скрытые сообщения, но они исчезают. Так и должно быть?

Edited by Александр Л.
  • 0
Mamay Honored Flooder

Mamay

Posted
Posted
1 час назад, Александр Л. сказал:

На Keenetic Start KN-1112, KeeneticOS 5.01.C.4.0-1, периодически возникает постоянная загрузка CPU 90–100% 

13 минут назад, Александр Л. сказал:

450 доменов и 139 CIDR с покрытием около 1 млн. адресов.

На ультрабюджетном устройстве миллион адресов и вы спрашиваете в чём дело.

13 минут назад, Александр Л. сказал:

ЗЫ прикрепляю скрытые сообщения, но они исчезают. Так и должно быть?

Да.

  • 0
Александр Л. Member

Александр Л.

Posted
  • Author
Posted (edited)
9 минут назад, Mamay сказал:

На ультрабюджетном устройстве миллион адресов и вы спрашиваете в чём дело.

Да.

Когда использовалась маршрутизация по IPV4 он без проблем тянул и в несколько раз больше. Кстати на домашнем KN-1713 (с таким же CPU) я такого не наблюдаю, хотя у меня там гораздо больше доменов и CIDR.

Edited by Александр Л.
  • 0
Denis P Honored Flooder

Denis P

Posted
Posted
40 минут назад, Александр Л. сказал:

450 доменов и 139 CIDR с покрытием около 1 млн. адресов. Tld не используется.

ЗЫ прикрепляю скрытые сообщения, но они исчезают. Так и должно быть?

Вы исключили возможные проблемы с dns резолверами? Возможно очередь запросов слишком большая из-за того что ваши резолверы отвечают долго/не сразу/не отвечают вовсе. Посмотреть подробнее что там происходит можно включив

dns-proxy debug 

  • 0
Илья Картавенко Honored Flooder

Илья Картавенко

Posted
Posted
31 минуту назад, Denis P сказал:

Вы исключили возможные проблемы с dns резолверами? Возможно очередь запросов слишком большая из-за того что ваши резолверы отвечают долго/не сразу/не отвечают вовсе. Посмотреть подробнее что там происходит можно включив

dns-proxy debug 

Приложил скрытым сообщением

  • 0
Илья Картавенко Honored Flooder

Илья Картавенко

Posted
Posted
1 минуту назад, Александр Л. сказал:

Сократил количество доменов. Загрузка CPU упала. Будем наблюдать.

Да, у меня так же было, но потом она все равно выросла. Кстати интересно, что в первые сутки  после перезагрузки роутера, или полного удаления и добавления заново списка маршрутов и правил к ним, загрузка цпу нормальная, но потом она возрастает.

  • 0
Александр Л. Member

Александр Л.

Posted
  • Author
Posted
1 час назад, Илья Картавенко сказал:

Да, у меня так же было, но потом она все равно выросла. Кстати интересно, что в первые сутки  после перезагрузки роутера, или полного удаления и добавления заново списка маршрутов и правил к ним, загрузка цпу нормальная, но потом она возрастает.

Помучил нейронку. Вердикт:
большой FQDN-list + длительная работа + большое число DNS-событий + множество меняющихся A/AAAA + периодические пересборки динамических OGDN sets.
И когда внутреннее состояние достигает какого-то размера/состояния, Dns::Route::ResolveQueue начинает жрать CPU.
 

  • 0
Илья Картавенко Honored Flooder

Илья Картавенко

Posted
Posted
58 минут назад, Александр Л. сказал:

Помучил нейронку. Вердикт:
большой FQDN-list + длительная работа + большое число DNS-событий + множество меняющихся A/AAAA + периодические пересборки динамических OGDN sets.
И когда внутреннее состояние достигает какого-то размера/состояния, Dns::Route::ResolveQueue начинает жрать CPU.
 

Ну я примерно такие же выводы и сделал, только без нееронки

  • 0
Илья Картавенко Honored Flooder

Илья Картавенко

Posted
Posted
5 минут назад, Александр Л. сказал:

Лучше не маршрутизировать домены с широким ветвлением типа googlevideo.com тогда проблема будет меньше проявляться.

У меня вчера роутер вообще вечером заглючил, пришлось на перезагрузку отправлять. Сейчас работает 16 с половиной часов, пока полет нормальный, загрузка процессора достигает 21%

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Answer this question...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
 Share
Go to question listing

  • Recently Browsing   0 members

    • No registered users viewing this page.
×
×
  • Create New...

Important Information

This site uses cookies. By clicking "I accept" or continuing to browse the site, you authorize their use in accordance with the Privacy Policy.

  I accept