Таку картину можна впізнати й без складного інструментарію. Сайт ще відповідає, але один процес протягом дня стає дедалі більшим. Потім система його завершує, хтось запускає заново, і все ніби нормалізується до наступного повтору. У цей момент дуже легко переплутати тимчасове полегшення з поясненням причини.
Поруч часто згадують повільні запити, та це не завжди та сама історія. Важке читання може підняти споживання пам’яті й потім відпустити її після завершення роботи. Довгоживучий процес, навпаки, здатен працювати швидко, але після кожної задачі залишати собі невеликий залишок. Якщо сайт оживає тільки після перезапуску, варто спершу назвати дію, після якої розмір не повертається, а не шукати новий сервер.
1. Спершу опишіть саму форму збою
Фраза «нам треба більше RAM» зазвичай змішує кілька різних спостережень. Їх краще розвести по пунктах: який саме процес завершується, чи справді перезапуск повертає сайт до нормальної роботи, і скільки триває спокій після цього. Процес, що росте поступово й падає через годину, — не те саме, що один великий запит, який відпрацював і зник. Час між перезапуском і наступним збоєм тут важливіший за загальне враження.
Називайте не «сервер», а конкретний процес. Звичайний PHP-запит зазвичай завершується і віддає пам’ять назад, тому підозра частіше падає на те, що живе довше: воркер черги, планувальник, процес на Node або інший фоновий компонент. Якщо не знати, що саме система вбиває, дуже легко купити ресурси для всієї машини через одну невдалу частину.
2. Повторіть одну дію багато разів
Виберіть одну дію: сторінку, яку відкриває людина, або одну задачу воркера. Зафіксуйте розмір процесу до старту, потім пік під час виконання, а тоді ще раз — після того, як процес знову стоїть без роботи. Один такий цикл майже нічого не доводить. Двадцять повторів уже показують, чи бачите ви разовий стрибок, чи справжню сходинку.
Якщо під час дії пам’ять зростає, а потім повертається до звичного рівня, перед вами важка операція, а не витік. Це все ще може бути проблемою для конкретного запиту, але лікується інакше: вужчим читанням, потоковою обробкою, лімітами, меншими наборами даних за один прохід. Додаткова пам’ять у такій ситуації лише дозволяє проковтнути більший шматок за тією самою схемою.
Якщо ж розмір піднявся і після завершення не спав, щось продовжує тримати пам’ять. Тут часто винні дуже приземлені речі: кеш без межі, список, у який лише дописують, клієнт, відкритий на кожну задачу без закриття, або буфер, що живе на об’єкті довше, ніж треба. Перезапуск допомагає тільки тому, що викидає весь цей накопичений шар. Наступний цикл починає будувати його знову.
Якщо жодного зв’язку з обраною дією немає, це теж корисний результат. Значить, треба міняти не сервер, а гіпотезу: інший процес, інша задача, інший сценарій. Слабке спостереження не варто перетворювати на бюджетне рішення.
3. Де це найчастіше ховається
Для нічного або денного повільного набору пам’яті звичайний PHP-запит не найкращий підозрюваний, бо він закінчується. Тому спершу дивляться на все, що переживає один запит: воркери, планувальники, окремі процеси на Node, допоміжні служби. Саме ці частини часто з’являються після спроб зробити інтерфейс швидшим, тож проблема пам’яті нерідко приходить слідом за виправленням швидкодії.
Сам запит, утім, теж може бути важким. Типовий випадок — коли код тягне в процес надто багато рядків і тримає їх до формування відповіді. Таку ситуацію краще читати як проблему запитів і великих читань. Як розбирати slow log і чому цикл із багатьох звернень легко недооцінити, я описав у матеріалі reading the slow log before you split the service.
Коли розмір після дії не повертається, залишайтеся на довгоживучому процесі. Воркер, що складає результат «на потім» у словник без межі, може виглядати цілком здоровим на двадцятому проході й упасти значно пізніше. Те саме буває з процесом на Node, який переносить між задачами буфер, сокет або масив, що тільки збільшується. Межу між запитом і окремим процесом я розбирав у матеріалі when a Node process belongs beside Laravel. Черга не виправляє об’єкт, який нічого не відпускає; вона лише дає йому довше життя.
4. Чого не купить більший обсяг пам’яті
Він не назве дію, яка залишає пам’ять у процесі. Він тільки відсуне момент збою. На спокійному продукті це може виглядати переконливо кілька тижнів, на активнішому — до наступного дня, але в обох випадках змінюється лише година падіння.
Він також не доводить, що сервіс треба розносити або переписувати. Дуже часто причина сидить у дрібному утриманні: кеші без межі, клієнті без закриття, масиві, який накопичується заради звіту, що нікому не потрібен. Якщо перенести ті самі звички в новий сервіс, проблема переїде разом із ними.
5. Порядок, який варто повторювати
Назвіть процес, який завершує система. Підтвердьте, що саме перезапуск повертає сайт, і зафіксуйте, на скільки часу. Підніміть копію з реальними даними. Візьміть одну дію й двадцять разів запишіть три числа: до, пік, після. Якщо розмір спадає, працюйте далі із запитами та читанням. Якщо він лишається вищим, шукайте об’єкт, який переживає дію, і перевіряйте його вже поіменно.
Таку нотатку варто лишати поруч з інцидентом у простих словах, щоб черговий міг пройти її вночі без додаткових здогадів. Фраза «перезапусти» робить із проблеми звичку. Три числа роблять із неї перевірку.
Коли просити другий погляд
Команда цілком може сама назвати процес і прогнати повтори. Другий погляд потрібен тоді, коли розмір не спадає, а джерело утримання не видно; коли проблема сидить у воркері, який небезпечно чіпати, бо він ще й надсилає листи або проводить списання; або коли є лише продакшен, а копії для перевірки досі немає.
Саме з такими ситуаціями я й працюю: з’ясувати, чи процес повертає пам’ять на вашій поточній системі, і прибрати утримання до того, як хтось почне збільшувати сервер. Послуги охоплюють таку роботу зі швидкодією на продакшені. Роботи показують результат поруч із конкретною операцією, а не перетворюють один інцидент на історію про всю платформу. Пам’ять, що безперервно росте, зупиняє всю роботу, тож послуга продуктивності та масштабованості починається з процесу, який тримає пам’ять, і правила утримання, а не з більшого сервера. Якщо потрібен другий погляд, напишіть мені назву процесу, дію, яку ви повторювали, і чи повернувся розмір униз. Ключі від системи лишаються у вас.