Ну лимиты подкручены так, чтобы реально ОЗУ не сжиралось до упора.
Это сложно объяснить, но сейчас ОС так устроены, что они не могут использовать всю память на 100% до конца. CPU могут, а ОЗУ - нет. Если им позволить все сожрать, то крэши начнутся в непредсказуемых местах: прикладной софт не умеет правильно обрабатывать отказы в выделении памяти, начинается жуткая фрагментация кучи, и в конце концов ядро не сможет даже свои внутренние нужды обработать. Плюс ядро будет постоянно обрабатывать page fault и искать "кого бы выкинуть", оттого недостаток памяти сперва выглядит как нагрузка на CPU.
Попробуйте отключить zram и выделить swap-раздел на диске. Если у вас есть диск внешний, то предпочтительнее иметь swap на нем. zram включен по-умолчанию для тех, у кого нет диска (таких большинство).