Утечка памяти KN-1811 4.1.7

[s_keenetic]

За сутки утекает 30-50 мегабайт оперативки.

Вечером проверил занято 190мб, утром уже 220мб.

Сделал self-test вечером и утром.

    <!-- show system -->
    <hostname>KN-34-30</hostname>
    <domainname>WORKGROUP</domainname>
    <cpuload>56</cpuload>
    <memory>198564/524288</memory>
    <swap>0/524284</swap>
    <memtotal>524288</memtotal>
    <memfree>246536</memfree>
    <membuffers>26320</membuffers>
    <memcache>52868</memcache>
    <swaptotal>524284</swaptotal>
    <swapfree>524284</swapfree>
    <uptime>37184</uptime>
    <conntotal>32768</conntotal>
    <connfree>32569</connfree>

спустя ~10 часов бездействия

    <!-- show system -->
    <hostname>KN-34-30</hostname>
    <domainname>WORKGROUP</domainname>
    <cpuload>57</cpuload>
    <memory>225796/524288</memory>
    <swap>0/524284</swap>
    <memtotal>524288</memtotal>
    <memfree>240996</memfree>
    <membuffers>2324</membuffers>
    <memcache>55172</memcache>
    <swaptotal>524284</swaptotal>
    <swapfree>524284</swapfree>
    <uptime>73371</uptime>
    <conntotal>32768</conntotal>
    <connfree>32544</connfree>

Выглядит так как будто свободная память не сильно поменялась и съелось 6мб, но на самом деле занято было после загрузки ~150мб, при снятии первого теста ~190мб, через 10 часов бездействия стало 220мб. memfree содержит не корректные значение. Помогите разобраться.

[Den1s39]

Zyxel Keenetic Giga III, ПО delta 4.1.7, ppoe Ростелеком. Отключение  только SWNAT — программный ускоритель (no ppe software), помогло решить проблему с перезагрузками. Утечка памяти с оставшимся включенным HWNAT — аппаратный ускоритель, за двое суток 40%+8%.

[VecH]

Это хорошо что пофикцили в будущей прошивке 4.2.х
а для текущей 4.1.х патч выпустить нельзя чтоль?

эту бету в до релиза еще ждать и ждать, а исправление надо сейчас

[Bronner]

В 04.10.2024 в 11:49, Le ecureuil сказал:

Проверьте на последней версии 4.2.

На v4.2.1 за 4 дня ни разу не перезагрузился, до этого по несколько раз на день могло. Буду наблюдать дальше, но, уже сейчас заметно лучше стало и по памяти тоже всё стабильно - 141мб. 
Специально на это время установил PingCheck=auto и включил оба ускорителя, классификация, приоритизация и все дела.

[Илья Картавенко]

Напишите в поддержкуу 

[Le ecureuil]

Посмотрел self-test'ы, ничего фатального не вижу. У вас очень прилично ушло в TCP slab, но у вас в opkg запущены жирные процессы, и это, наверное, норма. Попробуйте понаблюдать неделю без перезагрузок, и посмотрите на результат.

[vasek00]

В 17.08.2024 в 10:46, s_keenetic сказал:

Помогите разобраться.

C Entware можно так

~ # grep "VmData:" /proc/[0-9]*/status
/proc/1/status:VmData:        28 kB
/proc/1005/status:VmData:            216 kB
/proc/1012/status:VmData:            384 kB
/proc/1170/status:VmData:            552 kB
/proc/1193/status:VmData:            404 kB
/proc/1194/status:VmData:            404 kB
/proc/1195/status:VmData:            404 kB
/proc/1198/status:VmData:             60 kB
/proc/1221/status:VmData:            716 kB
/proc/1222/status:VmData:            716 kB
/proc/1223/status:VmData:            716 kB
/proc/1224/status:VmData:            716 kB
/proc/1225/status:VmData:            716 kB
/proc/1226/status:VmData:            716 kB
/proc/1283/status:VmData:            388 kB
/proc/14019/status:VmData:          5328 kB
/proc/14020/status:VmData:          5300 kB
/proc/14032/status:VmData:           744 kB
/proc/15519/status:VmData:        188724 kB
/proc/15521/status:VmData:          8576 kB
/proc/15745/status:VmData:          2080 kB
/proc/1590/status:VmData:             32 kB
/proc/1591/status:VmData:             32 kB
/proc/1592/status:VmData:             36 kB
/proc/1597/status:VmData:             48 kB
/proc/1613/status:VmData:           1992 kB
/proc/2214/status:VmData:            404 kB
/proc/2769/status:VmData:             60 kB
/proc/4036/status:VmData:            532 kB
/proc/510/status:VmData:           62604 kB
/proc/5713/status:VmData:            340 kB
/proc/5762/status:VmData:            196 kB
/proc/5810/status:VmData:             64 kB
/proc/864/status:VmData:              60 kB
/proc/867/status:VmData:              48 kB
/proc/868/status:VmData:             180 kB
/proc/873/status:VmData:             180 kB
/proc/874/status:VmData:             140 kB
/proc/875/status:VmData:              32 kB
/proc/880/status:VmData:              48 kB
/proc/882/status:VmData:              36 kB
/proc/883/status:VmData:           68208 kB
/proc/890/status:VmData:             628 kB
/proc/908/status:VmData:            4760 kB
/proc/909/status:VmData:              52 kB
/proc/910/status:VmData:              52 kB
/proc/917/status:VmData:             484 kB
/proc/920/status:VmData:            6340 kB
/proc/923/status:VmData:              60 kB
/proc/925/status:VmData:              60 kB
/proc/991/status:VmData:           96936 kB
где параметром в " " может быть
VmData - размер сегмента данных
VmPeak - пиковый размер виртуальной памяти 	

Самое большое потребление например

~ # ps | grep 15519
 6104 root      5976 S    grep 15519
15519 root      194m S    netdata
~ # 

~ # ps | grep 991
  991 root     1235m S    AdGuardHome -w /opt/home/AdGuardHome -l /opt/tmp/AdGuardHome.log --pidfile /opt/var/run/adguardhome.pid --no-check-update
 6247 root      5976 S    grep 991
~ # 

~ # ps | grep 883
  883 nobody   81160 S    /usr/bin/ntce-pace2 -u nobody -o /var/run/ntce.sock -i ntce0 -m 512 -d /var/run/ntce-dns-mirror.sock -A /usr/lib/plugin-custom-se
 6408 root      5976 S    grep 883
~ #

 

[s_keenetic]

В 19.08.2024 в 16:05, Le ecureuil сказал:

Посмотрел self-test'ы, ничего фатального не вижу. У вас очень прилично ушло в TCP slab, но у вас в opkg запущены жирные процессы, и это, наверное, норма. Попробуйте понаблюдать неделю без перезагрузок, и посмотрите на результат.

Действительно ушло в TCP slab.

Виновник скрипт /opt/zapret/nfq/nfqws сам он не течет, перезапуск его не помогает никак очистить память.

 

Есть мысли что с этим можно делать ?

Изменено 21 августа пользователем s_keenetic

[Le ecureuil]

В апстриме ядра был найден коммит, похожий на правду
https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/commit/net/netfilter/nf_queue.c?h=linux-4.14.y&id=f7e6a2f9e2f2b7d87cded41f904268865f44f967
Занес его к нам, проверяйте на следующих версиях.

[s_keenetic]

8 минут назад, Le ecureuil сказал:

В апстриме ядра был найден коммит, похожий на правду
https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/commit/net/netfilter/nf_queue.c?h=linux-4.14.y&id=f7e6a2f9e2f2b7d87cded41f904268865f44f967
Занес его к нам, проверяйте на следующих версиях.

Когда ждать версию ? Могу протестировать до добавления в канал общий...

[Le ecureuil]

48 минут назад, s_keenetic сказал:

Когда ждать версию ? Могу протестировать до добавления в канал общий...

Когда будет очередной выпуск draft / beta.

[Vision]

Аналогичная проблема с nfqws на 4.2 beta 2

[JOKER]

Именно это (утечка оперативной памяти) я стал замечать после установки данного способа обхода замедления ютуба.

Пришёл к тем же выводам, о том, что операционная система роутера не удаляет мусор из оперативки. Сперва думал даже создать в кроне ребут по расписанию, но вылечилось очень просто - отключил аппаратный сетевой ускоритель и в течение пары часов оперативная память очистилась с 75 до 35 процентов.

Приятным бонусом стало то, что в статистике трафика теперь исчезли какие-то серые неидентифицированные соединения и клиенты, когда я запускал торренты.

[VecH]

У меня на Ultra KN-1811 есть оба

ppe hardware
ppe software

Теперь думаю какой выключить и поможет ли

Изменено 26 августа пользователем VecH

[Den1s39]

У меня тоже два. Отключал через веб Аппаратный сетевой ускоритель, но не помогло, перезагрузки были. Вот и решил отключит только программный ускоритель.

[VecH]

11 час назад, Denis231085 сказал:

Вот и решил отключит только программный ускоритель.

Поделись потом результатами

[s_keenetic]

В 21.08.2024 в 15:00, Le ecureuil сказал:

Когда будет очередной выпуск draft / beta.

Выдайте уже версию.

[Den1s39]

У меня есть сервер Home Assistant и я внем настроил автоматизацию для перезагрузки роутера. Когда опреративки занято больше 48% и время начало 7-го, тогда перезагрузка

[VecH]

Это костыль и это неправильно, надо лечить утечку памяти

Если такими костылями править каждую железяку жрущую память, в мире Интернет не работал бы полноценно

[spong]

Очень ждём патча

[Максим_]

В 27.08.2024 в 09:42, spong сказал:

Очень ждём патча

Поддерживаю

[busy10]

В 29.08.2024 в 10:15, Максим_ сказал:

Поддерживаю

Пофиксили

[Onizuka]

Исправили на версии 4.2 Beta 3

[Le ecureuil]

1 час назад, VecH сказал:

Это хорошо что пофикцили в будущей прошивке 4.2.х
а для текущей 4.1.х патч выпустить нельзя чтоль?

эту бету в до релиза еще ждать и ждать, а исправление надо сейчас

4.1 скорее всего перевыпускаться уже не будет.

[Anonym]

Кажется, не помогло

[Александр Крохмаль]

подтверждаю - идет расход памяти. 4.2.b3

я тут помониторил сервисы, есть подозрение на ntce.

плюс ppe software так же вызывает перезагрузку роутера.

[Andreevdr]

К сожалению, да. Хотя перезагружаться стало реже.

[Le ecureuil]

Отключайте сервисы по очереди и смотрите, что влияет.

[Andreevdr]

Перезагрузки пока наблюдались только при запуске торрентов на компе. Помогает отключение и удаление аппаратного сетевого ускорителя .

[Александр Крохмаль]

 

все равно убегает - только медленнее, чем раньше

 

Изменено 7 сентября пользователем Александр Крохмаль

[Dim McAlastair]

Роутеры Giga (KN-1011) и Viva (KN-1912). На обоих установлен компонент «Служба классификации трафика», на обоих запущен в качестве ДНС-сервиса AdGuardHome, а также используется сервис nfqws.

На обоих роутерах из функций службы классификации трафика была включена только собственно классификация трафика, IntelliQoS был выключен (на Гиге при включении IntelliQoS скорость соединения сразу резалась процентов на сорок-пятьдесят от тарифа 500 мегабит/с., несмотря на то, что в графе «скорость соединения» я указывал и 500, и 600 и 999 мегабит, а на Виве и так тариф 100 мегабит, да и нет необходимости резать скорость низкоприоритетным устройствам - больше двух-трёх устройств одновременно в локалке не бывает). Также на обоих роутерах включён аппаратный сетевой ускоритель.

После начала использования nfqws на обоих роутерах начались утечки памяти: за полтора-двое суток расход памяти увеличивался в два раза, с 35-40 до 70-80 процентов. На Гиге память утекала помедленнее, м.б. потому, что там в opkg были установлены и запущены ещё cron, syslog-ng, umurmur, samba-server (мне не нравится, что в tsmb нельзя выбрать, какие из подключённых к роутеру дисков расшаривать, а какие не надо) и wsdd2. А Вива несколько раз перезагружалась, когда расход памяти превышал 60 процентов.

Отключение аппаратного сетевого ускорителя не помогало избавиться от утечек памяти. Утечки памяти не прекратились и после обновления на прошивку 4.2 beta 3, только, субъективно, память стала утекать помедленнее - не на 100 процентов за двое суток, а процентов на 75-80.

Сегодня просто выключил на обоих роутерах классификацию трафика (не удаляя компонент «Служба классификации трафика») и за считанные минуты расход памяти снизился с 55-60 до 35-38 процентов.

Изменено 7 сентября пользователем Dim McAlastair