Если задано большое количество IPv4 routes, страница с их списком не может открыться

[mooq]

Версия: 5.1 beta

1. Заходим на страницу "Сетевые правила/Маршрутизация/Маршруты IPv4" ( /staticRoutes/ipv4 ).

2. Задаем много маршрутов: например, 4000 маршрутов.

3. Чем больше маршрутов задано, тем больше страница тормозит. При очень большом количестве маршрутов (примерно 3500) наступает такой момент, что время отображения страницы начинает превышать время сессии работы в web-интерфейсе. То есть, юзер получает сообщение "Время сессии истекло, авторизируйтесь еще раз".

4. Юзер переходит на страницу логина, еще раз заходит, но после логина происходит переадресация на последнюю страницу, с которой юзер работал, то есть на /staticRoutes/ipv4. В результате эта страница опять пытается открыться, web-сервер долго не отвечает, и в конце опять "Время сессии истекло, авторизируйтесь еще раз". И так по кругу.

 

Надо бы как-то сделать возможной работу со списком routes, когда их задано много. Даже со списком, где всего 900 routes, страница уже настолько тормозит, что браузер показывает сообщение "Страница не отвечает".

При загрузке страницы /staticRoutes/ipv4 CPU, по моим наблюдениям, загружен примерно на 4-5%, с пиком 9%.

Изменено 4 часа назад пользователем mooq

[Илья Картавенко]

6 минут назад, mooq сказал:

1. Заходим на страницу "Сетевые правила/Маршрутизация/Маршруты IPv4" ( /staticRoutes/ipv4 ).

2. Задаем много маршрутов: например, 4000 маршрутов.

3. Чем больше маршрутов задано, тем больше страница тормозит. При очень большом количестве маршрутов (примерно 3500) наступает такой момент, что время отображения страницы начинает превышать время сессии работы в web-интерфейсе. То есть, юзер получает сообщение "Время сессии истекло, авторизируйтесь еще раз".

4. Юзер переходит на страницу логина, еще раз заходит, но после логина происходит переадресация на последнюю страницу, с которой юзер работал, то есть на /staticRoutes/ipv4. В результате эта страница опять пытается открыться, web-сервер долго не отвечает, и в конце опять "Время сессии истекло, авторизируйтесь еще раз". И так по кругу.

 

Надо бы как-то сделать возможной работу со списком routes, когда их задано много.

Обратите внимание на загрузку ЦП при этом, какова она? Я тоже сталкивался с этим, пришел к выводу, что не стоит закидывать слишком много маршрутов.

[mooq]

32 минуты назад, Илья Картавенко сказал:

Обратите внимание на загрузку ЦП при этом, какова она?

Я уже на эту страницу заходить боюсь. Зайдешь и попадешь в бесконечный круг "Время сессии истекло, авторизирйтесь - Время сессии истекло, авторизирйтесь - Время..." и не выйдешь из него. Да и не понятно, как при этом посмотреть на загрузку CPU, если во время генерации страницы с routes никуда больше зайти нельзя. Впрочем, не думаю, что знание того, насколько загружен в этот момент CPU, как-то поможет. Чем оно может помочь?

32 минуты назад, Илья Картавенко сказал:

Я тоже сталкивался с этим, пришел к выводу, что не стоит закидывать слишком много маршрутов.

К сожалению, мне, как родившемуся русским, высшие силы диктуют необходимость задать 3800 routes. Родился бы американцем, не знал бы такой проблемы.

Изменено 8 часов назад пользователем mooq

[Илья Картавенко]

54 минуты назад, mooq сказал:

Я уже на эту страницу заходить боюсь. Зайдешь и попадешь в бесконечный круг "Время сессии истекло, авторизирйтесь - Время сессии истекло, авторизирйтесь - Время..." и не выйдешь из него. Да и не понятно, как при этом посмотреть на загрузку CPU, если во время генерации страницы с routes никуда больше зайти нельзя. Впрочем, не думаю, что знание того, насколько загружен в этот момент CPU, как-то поможет. Чем оно может помочь?

К сожалению, мне, как родившемуся русским, высшие силы диктуют необходимость задать 3800 routes. Родился бы американцем, не знал бы такой проблемы.

Просто будет понимание насколько роутер будет загружен в этот момент. Посмотреть загрузку можно и в приложении на телефоне.

[Илья Картавенко]

56 минут назад, mooq сказал:

Я уже на эту страницу заходить боюсь. Зайдешь и попадешь в бесконечный круг "Время сессии истекло, авторизирйтесь - Время сессии истекло, авторизирйтесь - Время..." и не выйдешь из него. Да и не понятно, как при этом посмотреть на загрузку CPU, если во время генерации страницы с routes никуда больше зайти нельзя. Впрочем, не думаю, что знание того, насколько загружен в этот момент CPU, как-то поможет. Чем оно может помочь?

К сожалению, мне, как родившемуся русским, высшие силы диктуют необходимость задать 3800 routes. Родился бы американцем, не знал бы такой проблемы.

Ну, чтобы попасть на ютуб или телегу столько маршрутов задавать не нужно.

[Leshiyart]

1 час назад, mooq сказал:

Надо бы как-то сделать возможной работу со списком routes, когда их задано много.

используйте либо через раздел DNS маршрутизация
либо свою портянку маршрутов добавляйте в отдельную политику доступа ip policy PolicyX route xxxxxx

[mooq]

25 минут назад, Илья Картавенко сказал:

Ну, чтобы попасть на ютуб или телегу столько маршрутов задавать не нужно.

Возможно. Я портянку брал с известного сайта, там только на один утуб 700+ routes. Соответственно, если добавить кроме него еще нужные вещи, то получается... вот столько и получается. Возможно, можно как-то сократить - что-то объединить. Но в любом случае, маршрутов будет 2000+.

[Leshiyart]

1 минуту назад, mooq сказал:

на один утуб 700+ routes.

нужно штук пять доменов всего

[VVS]

5 минут назад, mooq сказал:

Возможно. Я портянку брал с известного сайта, там только на один утуб 700+ routes. Соответственно, если добавить кроме него еще нужные вещи, то получается... вот столько и получается. Возможно, можно как-то сократить - что-то объединить. Но в любом случае, маршрутов будет 2000+.

Я тоже брал с известного сайта.

FaceBook+Instagram+Telegram+WhatsApp+YouTube - ~1100 записей.

[mooq]

7 минут назад, VVS сказал:

Я тоже брал с известного сайта.

У меня этот набор уже обошелся на 200 routes больше. А если кроме этого набора добавить еще другие вещи, то будет еще больше.

 

В общем, безотносительно наших особенностей национальной сети, будет неплохо, если гномы-прошивкостаратели пофиксят проблему работы с большим количеством routes.

[FLK]

42 минуты назад, Leshiyart сказал:

нужно штук пять доменов всего

700 маршрутов для трубы это действительно хардкор... Куда проще сделать все через DNS-маршруты:

ЮТ - 5 доменов, ФБ - 4, ИНСТ - 3, ТВИТР - 3, ЖПТ - 5, КЛАУДЕ - 5, РТРКЕР - 2, ТВИЧ - 6, ТЛГА - 9 подсетей

ВСЁ!

Никогда не понимал и до сих не понимаю людей, усложняющих себе и роутеру жизнь, внося в Стат-маршруты по 10000 записей)

Изменено 6 часов назад пользователем FLK

[VVS]

4 минуты назад, FLK сказал:

700 маршрутов для трубы это действительно хардкор... Куда проще сделать все через DNS-маршруты:

ЮТ - 5 доменов, ФБ - 4, ИНСТ - 3, ТВИТР - 3, ЖПТ - 5, КЛАУДЕ - 5, РТРКЕР - 2, ТВИЧ - 6, ТЛГА - 9 подсетей

ВСЁ!

Никогда не понимал и до сих не понимаю людей, усложняющих себе и роутеру жизнь, внося в Стат-маршруты по 10000 записей)

Но ведь ниоткуда не следует, что множество IP-маршрутов совпадает с множеством DNS-маршрутов, т.е. DNS-маршруты могут не покрыть всех адресов...

[FLK]

14 минут назад, VVS сказал:

Но ведь ниоткуда не следует, что множество IP-маршрутов совпадает с множеством DNS-маршрутов, т.е. DNS-маршруты могут не покрыть всех адресов...

ну все работает, это главное)

[hoaxisr]

1 час назад, VVS сказал:

Но ведь ниоткуда не следует, что множество IP-маршрутов совпадает с множеством DNS-маршрутов, т.е. DNS-маршруты могут не покрыть всех адресов...

Но ведь главная задача это обеспечить маршрутизацию, а не иметь совпадающие множества адресов, тем более не каждому пользователю нужны все IP сервиса, они могут ему вообще не отдаваться. 

Изменено 4 часа назад пользователем hoaxisr

[Илья Картавенко]

20 минут назад, VVS сказал:

Но ведь ниоткуда не следует, что множество IP-маршрутов совпадает с множеством DNS-маршрутов, т.е. DNS-маршруты могут не покрыть всех адресов...

Так и когда сайт работает напрямую, без необходимости обходов и задания маршрутов, то так же не охватывается весь его ip диапазон.

[VVS]

20 минут назад, hoaxisr сказал:

Но ведь главная задача это обеспечить маршрутизацию, а не иметь совпадающие множества адресов, тем более не каждому пользователю нужны все IP сервиса, они могут ему вообще отдаваться. 

А Вы уверены, что в указанные DNS-маршруты попадают все имена нужного сервиса или что завтра владелец сервиса не зарегит новое имя?

Я не говорю, что IP-маршрутизация+DNS-маршрутизация решают все проблемы, но IMHO такой вариант уменьшает вероятность их возникновения.

[hoaxisr]

42 минуты назад, VVS сказал:

А Вы уверены, что в указанные DNS-маршруты попадают все имена нужного сервиса или что завтра владелец сервиса не зарегит новое имя?

Я не говорю, что IP-маршрутизация+DNS-маршрутизация решают все проблемы, но IMHO такой вариант уменьшает вероятность их возникновения.

Если это произойдет, то я добавлю новый домен в маршрутизацию.

Аналогично я могу задать тот же вопрос, а вы уверены, что ASN/CIDR сервиса всегда постоянен и не может меняться? Почему-то я думаю, что домены более постоянная сущность, чем множество IP, именно для этого и были придуманы домены в том числе, что можно произвольно менять назначение куда указывает доменное имя не передавая пользователю новые наборы IP. 

Изменено 4 часа назад пользователем hoaxisr

[bzzztomas77]

2 hours ago, mooq said:

Возможно. Я портянку брал с известного сайта, там только на один утуб 700+ routes. Соответственно, если добавить кроме него еще нужные вещи, то получается... вот столько и получается. Возможно, можно как-то сократить - что-то объединить. Но в любом случае, маршрутов будет 2000+.

странно, мне хватает 9. причем на разных провайдерах.

 

[VVS]

3 минуты назад, hoaxisr сказал:

Если это произойдет, то я добавлю новый домен в маршрутизацию.

Это ж ещё нужно будет узнать его имя.

4 минуты назад, hoaxisr сказал:

Аналогично я могу задать тот же вопрос, а вы уверены, что ASN/CIDR сервиса всегда постоянен и не может меняться?

Нет, конечно не уверен.

Поэтому я и пишу, что такой подход уменьшит вероятность возникновения проблемы, но ни в коей мере не считаю, что он полностью устранит возможность возникновения проблемы.

[hoaxisr]

3 часа назад, VVS сказал:

Это ж ещё нужно будет узнать его имя.

Нет, конечно не уверен.

Поэтому я и пишу, что такой подход уменьшит вероятность возникновения проблемы, но ни в коей мере не считаю, что он полностью устранит возможность возникновения проблемы.

По первому пункту:
1. Узнать домены куда хочет попасть приложение или сервис довольно просто -- для этого есть инструменты как на телефонах (Apple встроенное, Android - бесплатное), на компе есть расширение браузера, которое соберет все в авто режиме. Т.е. это не большая проблема, плюс маршритузация по доменам работает с маской и покрывает все субдомены.
2. Узнать IP тоже не проблема конечно тем же механизмом. И маршрутизация по IP работает в КинетикОС пока явно стабильнее. (но это проблема реализации, а не концепции)

Так что корень зла только в том, что при IP маршрутизации люди используют весьма широкие CIDR сомнительного происхождения.

[VVS]

8 минут назад, hoaxisr сказал:

По первому пункту:
1. Узнать домены куда хочет попасть приложение или сервис довольно просто -- для этого есть инструменты как на телефонах (Apple встроенное, Android - бесплатное), на компе есть расширение браузера, которое соберет все в авто режиме.

Это, если речь идёт о доступе по http/https.
А, если речь о каком-то сервисе?
Ну, например, у меня не так давно отвалилось обновление OCCT - говорит, что есть обнова, но скачивание обламывается.
Это я в качестве первого попавшегося примера, есть и другие.
Да, конечно, есть Process Monitor, правда он выдаст IP, а не URL, так что не всё так просто, как Вы пишете.

[Кинетиковод]

Многие пользователи так и не поняли преимущество доменной маршрутизации перед CIDR. Даже Ультру 1812 умудрились довести до тормозов. Это надо было особо постараться. Открою вам тайну, доменная маршрутизация летает даже на 7628. Заканчивайте CIDR извращения и переходите на домены. CIDR нужны лишь небольшому количеству сервисов. Обычно CIDR портянку заменяет несколько доменов, нагрузка от которых на роутер ноль. 

[hoaxisr]

4 минуты назад, VVS сказал:

Это, если речь идёт о доступе по http/https.
А, если речь о каком-то сервисе?
Ну, например, у меня не так давно отвалилось обновление OCCT - говорит, что есть обнова, но скачивание обламывается.
Это я в качестве первого попавшегося примера, есть и другие.
Да, конечно, есть Process Monitor, правда он выдаст IP, а не URL, так что не всё так просто, как Вы пишете.

Я думаю, что если вы захотите найти домены - вы найдете способ, их много. 

Я лишь говорю, что к маршрутизации по IP нужно подходить аккуратно. 20K строк в списков CIDRов это перебор. Я лишь об этом.

[VVS]

4 минуты назад, hoaxisr сказал:

Я лишь говорю, что к маршрутизации по IP нужно подходить аккуратно. 20K строк в списков CIDRов это перебор. Я лишь об этом.

С этим полностью согласен.