Core::Scgi::ThreadPool: out of memory [0xcffe01f7].

[denikmenik]

Здравствуйте форумчане. Такая проблема случилась. Имеем zyxel ultra 2 , до возникновения всех проблем - прошивка 3.3.10. 
Всё было нормально пока не прошли небольшие "улучшения-техработа" в сети. 
(небольшие наблюдения, ибо сеть регулярно мониторилась )
Средняя загрузка cpu даже во время пика была 10-30%. Но при этом почти всегда проц так или иначе падал до 1-3%.
Загрузка ram при старом конфиге была  70-90мб. Конфиг был нагруженный много чем. Был qos,doh,dnsAdguard(с кучей настроенных(кому семейная фильтрация, кому без) позиции для разных устройств) , ovpn клиент, для резервного подключения,vlan, даже не знаю сколько всего описывать.
Не знаю где отправная точка проблем. Ибо сразу за один вечер было много чего сделано, и отследить когда началось не могу. 
Начну с того,(вдруг на что-то это повлияло)  что на серверах в этой сети были удалены виртуалки ( (wmware win7)которые были в режиме бридж, и сетевые адаптеры их тоже были удалены с серверов) . И все правила в ultra2 для портов этих.

Потом была обновлена на резервном zyxel viva с 4г модемом прошивка на неофициальную 2.16. Он подключён к zyxel ultra в 6 lan-порт на нём, и настроен как для резерва.

Потом была обновлена до 3.3.12 на zyxel ultra 2, плюс добавил ко всему ещё и модуль "сервера snmp" . Ребутнулся он, вроде всё завелось.
 В морду сразу не зашёл я. Занимался другими делами.
Вроде было всё ок, пока не начал фризить слегка rdp через ovpn. Раньше такого небыло. Сразу это заметил.
Решил зайти в морду , как раз и snmp настроить. Но не тут то было. Проц ultra 2 был 25-50% и не падает меньше никак. Но самое главное ram. После 5 минут старта была уже 150мб занято. И потихоньку дальше заполнялось.
Иногда чуток падало до 130мб. Когда дошло до 190мб, стал паниковать. Решил бэкапнуть run-config и firmware. Self забыл. И обновился на бэту 3.3.13. Но лучше не стало. А то и ещё хуже. Память сжиралась в никуда поминутно. Интерфейс уже прилично лагал, и что успел, это откатиться на 3.3.10 с помощью замены прошивки. В общем-то с памятью стало получше. 100-110мб. Не поднималось выше. Но камень всё равно меньше 20% нагрузки теперь не опускается. А если начинают работать все ovpn туннели(4 штуки) по ним передаётся всякое , но по большей части rdp, то камень под 90%. Раньше мониторил, было 35-45%. Решил удалить всё, оставил только самые базовые! модули и самые нужные правила. Стало сейчас 70-80мб. Но считай пустая прошивка!

И сейчас стал очень долго открываться системный журнал. Где-то секунд 30 приходится ждать и выскакивает такая строка - Core::Scgi::ThreadPool: out of memory [0xcffe01f7].
Пока ничего не добавлял, что было до этого из всех модулей\правил и.т.д. Работает пусть хоть так. 
Кто знает , в чём проблема?
Понимаю, много текста, заранее извиняюсь за это.

Изменено 5 марта, 2020 пользователем denikmenik

[denikmenik]

Сообщения с отладкой и всем чем было добавил.

[sergeyk]

31 минуту назад, denikmenik сказал:

Сообщения с отладкой и всем чем было добавил.

Судя по состоянию, у вас очень большое количество сессий.
Покажите вывод команды "show ip nat" в скрытом посте.

[denikmenik]

30 minutes ago, sergeyk said:

Судя по состоянию, у вас очень большое количество сессий.
Покажите вывод команды "show ip nat" в скрытом посте.

Не получается. Если зайте через putty, то после команды "ip nat" окно думает секунд 5 и пропадает. А если через браузер, (\a после адреса роутера) то вот

 

ERROR: {
    "parse": {
        "prompt": "(config)",
        "status": [
            {
                "status": "error",
                "code": "7405607",
                "ident": "Command::Base",
                "source": "",
                "critical": "no",
                "message": "ambiguous command: ."
            }
        ]
    },
    "ndmErrors": {
        "parse.status.0": "ambiguous command: ."
    }

[AndreBA]

15 минут назад, denikmenik сказал:

Не получается. Если зайте через putty, то после команды "ip nat" окно думает секунд 5 и пропадает. А если через браузер, (\a после адреса роутера) то вот

 

ERROR: {
    "parse": {
        "prompt": "(config)",
        "status": [
            {
                "status": "error",
                "code": "7405607",
                "ident": "Command::Base",
                "source": "",
                "critical": "no",
                "message": "ambiguous command: ."
            }
        ]
    },
    "ndmErrors": {
        "parse.status.0": "ambiguous command: ."
    }

Вы вводите  "ip nat" или "show ip nat" ?

Проверил и через putty и webcli команда "show ip nat" отрабатывает нормально(информация ввыводится).

[denikmenik]

1 minute ago, AndreBA said:

Вы вводите  "ip nat" или "show ip nat" ?

Проверил и через putty и webcli команда "show ip nat" отрабатывает нормально(информация ввыводится).

если через putty, то сначала у меня показывается строка (config)>   . Потом я ввожу в неё show - роутер отвечает мне
" Core::Configurator: Done."
потом висит (show)> "сюда я пишу" ip nat
- и ничего не происходит, окно висит 5 секунд и закрывается.

Если взять любой другой параметр типа "ip name-server" то всё показывает нормально.

[AndreBA]

2 минуты назад, denikmenik сказал:

если через putty, то сначала у меня показывается строка (config)>   . Потом я ввожу в неё show - роутер отвечает мне
" Core::Configurator: Done."
потом висит (show)> "сюда я пишу" ip nat
- и ничего не происходит, окно висит 5 секунд и закрывается.

Если взять любой другой параметр типа "ip name-server" то всё показывает нормально.

Ввел также, как Вы написали, в putty. Команда отработала и вывела информацию. 

Что то у Вас видать "глючит".

[denikmenik]

8 minutes ago, AndreBA said:

Ввел также, как Вы написали, в putty. Команда отработала и вывела информацию. 

Что то у Вас видать "глючит".

Вот. 

[denikmenik]

Господа. А подскажите такую вещь. Думаю радикально решить вопрос. Просто выведу его из работы и сброшу на заводские. Файлы конфигурации я понимаю как перенести. А будет ли после этого переноса работать приложение на андроиде. "My.keenetic" которое, или придётся регистрировать заново?
И что ещё может не перенестись( если может конечно) ?

[AndreBA]

4 минуты назад, denikmenik сказал:

Вот. 

Верю:

Через WebCLI

Скрытый текст

Через PuTTY:

Скрытый текст

"Простыни"(вывод) везде большой

[r13]

3 минуты назад, denikmenik сказал:

Господа. А подскажите такую вещь. Думаю радикально решить вопрос. Просто выведу его из работы и сброшу на заводские. Файлы конфигурации я понимаю как перенести. А будет ли после этого переноса работать приложение на андроиде. "My.keenetic" которое, или придётся регистрировать заново?
И что ещё может не перенестись( если может конечно) ?

Заново приложение, сертификаты на домен если есть, ключи ssh будут новые, и т.д.

Без этих потерь можно так:

 

[denikmenik]

2 minutes ago, AndreBA said:

Верю:

Через WebCLI

  Hide contents

Через PuTTY:

  Reveal hidden contents

"Простыни"(вывод) везде большой

Дома стоит giga3 , тоже проверил, всё работает.

[denikmenik]

А поводу этого бага есть ещё какие то мысли? Ибо сбрасывать хочется в последнюю очередь.

[sergeyk]

8 минут назад, denikmenik сказал:

А поводу этого бага есть ещё какие то мысли? Ибо сбрасывать хочется в последнюю очередь.

Если есть opkg, попробуйте еще в shell "cat /proc/net/nf_conntrack".

[denikmenik]

On 3/6/2020 at 3:02 PM, sergeyk said:

Судя по состоянию, у вас очень большое количество сессий.
Покажите вывод команды "show ip nat" в скрытом посте.

Вообщем поступил так - Отключил роутер вообще от всех проводов, сбросил на заводские(прошивка 3.3.12) , потом с помощью загрузки файла накатил 3.3.2, затем уже вернул старую конфигурацию и .... Ничего!  так и остался этот баг (с "Core::Scgi" в логе) Отключал много подозрительных хостов ничего не менялась . Ситуация не очень - Половина озу занята, проц чуть поменьше конеш стал - 5-20%.
В сети где-то 100 устройств.

НО! Опытным путём было выявлено , что если отключить wan, то проц сразу в 0% и мегабайт 10-15 из озу вылетает тут же ( Ну естественно ) 
И ошибка с syslog пропадает ! И можно выполнить команду show nat. Прилагаю файл который удалось получить.
Также на странице морды роутера где кнопка syslog, есть графа "Активные соединения" так вот она пустая, даже после 5 минут ожидания на этой странице! На giga 3 дома сразу появляется статистика портов там.
Ещё заметил, что через My.keenetic на телефоне, в syslog эта ошибка в журнале не появляется никогда. Многократно проверил.

В сети есть один коммутатор hp(J9981A) управляемый, но он не занимается вообще ничем, никаких правил на нём нет. Да и до этого с ним работало всё нормально более года.
Это конечно слегка помпезно, но в принципе так всё работает нормально пока уже 48 часов. 500мбит по спидтесту выдаёт всегда, и других проблем в сети пока не заметил.

ipnat.txt

Изменено 10 марта, 2020 пользователем denikmenik

[denikmenik]

В файле каша-малаша конечно. Наверно позднее пришлю нормальный если требуется.

Изменено 10 марта, 2020 пользователем denikmenik

[denikmenik]

Ребят, есть мысли?

[denikmenik]

On 3/6/2020 at 4:06 PM, AndreBA said:

Ввел также, как Вы написали, в putty. Команда отработала и вывела информацию. 

Что то у Вас видать "глючит".

Сегодня вообще весь лог забит nf conntrack.

[denikmenik]

Спасибо всем. denikmenik Тебе особенно , всё решил . 

Изменено 11 марта, 2020 пользователем denikmenik

[martovich]

On 3/11/2020 at 7:48 PM, denikmenik said:

Спасибо всем. denikmenik Тебе особенно , всё решил . 

Поделись, как решил?

[denikmenik]

2 hours ago, martovich said:

Поделись, как решил?

Как как, интуитивно. Мне сказали куда копать , туда и полез. Хотя может быть не только это решило проблему.
Всю сеть вайршарком перервыл. Оказалось два придуря на своих компах поймали какой-то руткит\вирусню не помню. Но эта штука пыталась положить старый smb. Слава мне, что везде был аудит, и количество попыток было ограничено. Да и все политики безопасности для smbV1 были включены. И все компы были под паролями. Короч. 
Она стучала порты как из локалки , так и из wan. 
По закрывал все эти порты TCP на всех компах и роутере.  Компы полечил от вирусней, и ещё пару политик виндовых внедрил от кривых ручек.
445(smbv2) , 137,138,139,5000,1433.
Не знаю это ли точно помогло. Потому как после того как починил всю сетку, обновил прошивку роутера.
Более не стало таких проблем. 
Короч смб , особенно в1, надо уже уничтожать. Косячный он. Хотя в2 тоже не лучше. До сих пор какие-то заплатки выпускают.
 

Изменено 6 сентября, 2020 пользователем denikmenik