Wątek: Obecne zużycie zasobów serwerowych

Strona: 1 z 1

1 z 16: pajper

Pomyślałem, że sprawę warto podsumować i, być może, regularnie monitorować. Przedstawiam obecny poziom zużycia zasobów serwera przez Eltena.

1. Dysk:
Mamy dwa dyski NVMe SSD, 500GB każdy. Obecnie ustawione są w trybie Raid1, multiplikacja danych. Stanowi to kopię zapasową na wypadek awarii jednego dysku, ogranicza jednak miejsce do 500GB. Jeśli przekroczymy 500GB, zamienię Raid1 na Raid0, podwajając dostępne miejsce.
Obecnie użyte jest 284,7GB, więc niecała jedna trzecia dostępnej przestrzeni. W tym:
* System i zainstalowane aplikacje około 6GB,
* Baza danych Eltena, bez treści audio 12GB,
* Lokalne kopie bazy danych 48GB,
* Logi około 4,5GB,
* Blogi 79,5GB (w tym 900MB dane Wordpressa, a reszta to wpisy audio),
* Fora głosowe 19,5GB,
* Wiadomości głosowe 31GB,
* Załączniki do prywatnych wiadomości i wpisów na forum 32GB,
* Pozostałe dane, w tym awatary, certyfikaty poświadczeń automatycznego logowania, raporty użytkowania (beta), tematy dźwiękowe i podobne około 5GB,
* Strona Internetowa, w tym Elten z historią wersji, instalatory uaktualnień około 3GB,
* Przestrzeń wymiany Swap 32GB,
* Inne serwisy uruchomione na serwerze, w tym hosting moich aplikacji, strona "Srebrnego labiryntu" i podobne 3GB.

2. Łączność:
Do dyspozycji mamy łączność symetryczną 10gbps. Profil obciążenia łącza jest dość trudny do przewidzenia, gdyż Elten 2.4 wprowadza poprawki w komunikacji, w szczególności zmianę podejścia do powiadomień "Co nowego", które odpowiadają za znaczną część przekazywanych danych.
Trudno więc powiedzieć, jak obecny profil jest kształtowany przez stabilkę, a jak przez betę.
Obecnie powiadomienia są pobierane i sesje aktualizowane co 3 sekundy, na jednej sesji HTTP2. Można dalej odciążać łączność, zwiększając odstęp uaktualniania, stosując dalszą kompresję lub zmieniając protokoły.
Trudno jest dokładnie obliczyć poziom zużycia łącza, ale wymuszanie przepustowości 3/3 nie dawało żadnych zauważalnych dla mnie efektów, za to przy wymuszeniu 1/1 skarżono się tu na powolność działania serwisu.
Szacuję więc, że łączność obciążamy w ok. 20-30 procent.

3. Pamięć RAM:
Do dyspozycji mamy 32GB. Średnie zużycie pamięci w ostatnich 30 dniach wynosiło 5,3GB, a szczytowe 14,1GB. Zapas jest więc ogromny.

4. Procesor.
Co do obciążenia procesora, średnie wynosi w ostatnich 30 dniach 14,3 procent. Warto jednak zauważyć, że największe obciążenie wypadało w tym okresie na godzinę 19:00 czasu polskiego, kiedy to wartość średnia wynosi 24,3 procent, najmniejsze natomiast na godzinę 04:00 czasu polskiego z wynikiem średnim 3,1 procent.

To chyba tyle z najważniejszych wskaźników. :)

Podsumowując, zależnie od wskaźnika, serwer eksploatujemy w ok. 30 procentach, co daje spory zapas na, mam nadzieję, przynajmniej kilka lat.

Z uszanowaniem,
Dawid Pieper
#StandWithUkraine Shoot for the Moon. Even if you miss, you'll land among the stars.
21.09.2020 21:58

2 z 16: zywek

No ja CIę przepraszam bardzo, ale ta Twoja asynchronizacja http2 coś tam i tak nic nie dała. Nie sadzę, żęby mi przy łączu 1megabitowym niestety, bo mi operator zlejkował, nie mógłbym pobrać normalnie co nowego. Nie sądzę, żeby tam się pobierało 20 mb danych za każdym co nowego, a tak to się zachowuje.

21.09.2020 22:14

3 z 16: pajper

"Co nowego" to nie powiadomienia. "Co nowego" ma do zrobienia sporo zapytań, zwłaszcza do Wordpressa. I pewnie można to sporo zoptymalizować, ale na razie nie jest to priorytetem, skoro działa.
Ja optymalizowałem przesyłanie powiadomień, które są kolejkowane i wysyłane przy okazji odświeżania sesji, tylko jako klasa kategoria/dźwięk/treść.
#StandWithUkraine Shoot for the Moon. Even if you miss, you'll land among the stars.
21.09.2020 22:16

4 z 16: zywek

I tak się wszystko wali. A skoro już że tak powiem nie masz co robić, w sensie że nowego i tak niczego za bardzo nie dodasz, mógłbyś proszę na to zerknąć? Jestem uziemiony do nowego limitu.

21.09.2020 22:16

5 z 16: pajper

Otwórz zgłoszenie na forum "Błędy", podaj tam test łącza dla "Co nowego" i wykaz z logu.
#StandWithUkraine Shoot for the Moon. Even if you miss, you'll land among the stars.
21.09.2020 22:18

6 z 16: zywek

Hm, w sensie że co, że gdzie i jak?
Nie ogarniam, ja prosty chłop ze wsi.


21.09.2020 22:36

7 z 16: pajper

Wprowadzenie konferencji oraz znacznie większy ruch na serwerach w stosunku do września sprawiły, że pół roku od pierwszego wpisu sytuacja się nieco zmieniła.

Obecnie zajęte miejsce na dysku podskoczyło o ok. 40GB, do 328,7 GB. Głównym sprawcą są załączniki i, w mniejszym zakresie, audiowpisy blogowe i wiadomości głosowe. Czystki na forum głosowym sprawiły, że wpisy głosowe spadły z 19,5GB do 16,9GB.

W pierwszym wpisie donosiłem średnie obciążenie pamięci RAM w granicach 5,3GB (na 32). Obecnie jest to około dwa razy więcej, bo 11,1 GB.

Natomiast sytuacja procesorowa pozostaje, co ciekawe, prawie bez zmian. W pierwszym wpisie podawałem średnie obciążenie procesora 14,3%, obecnie jest to 17,1%, więc różnica niecałych 3%.
#StandWithUkraine Shoot for the Moon. Even if you miss, you'll land among the stars.
25.02.2021 14:44

8 z 16: zvonimirek222

I te czystki sprawiły taką różnicę, ponieważ tam było dużo wątków kolosów.
-- (pajper):
Wprowadzenie konferencji oraz znacznie większy ruch na serwerach w stosunku do września sprawiły, że pół roku od pierwszego wpisu sytuacja się nieco zmieniła.

Obecnie zajęte miejsce na dysku podskoczyło o ok. 40GB, do 328,7 GB. Głównym sprawcą są załączniki i, w mniejszym zakresie, audiowpisy blogowe i wiadomości głosowe. Czystki na forum głosowym sprawiły, że wpisy głosowe spadły z 19,5GB do 16,9GB.

W pierwszym wpisie donosiłem średnie obciążenie pamięci RAM w granicach 5,3GB (na 32). Obecnie jest to około dwa razy więcej, bo 11,1 GB.

Natomiast sytuacja procesorowa pozostaje, co ciekawe, prawie bez zmian. W pierwszym wpisie podawałem średnie obciążenie procesora 14,3%, obecnie jest to 17,1%, więc różnica niecałych 3%.

--
Student studentowi wszystko
25.02.2021 14:45

9 z 16: Paulinux

Jak się rozkłada zużycie zasobów o konkretnych porach?
ENTJ
25.02.2021 17:58

10 z 16: papierek

to ciekawe, bo konferencje niby nie obciążają jakoś bardzo serwera, a jednak ludzie odnotowali wyraźny spadek płynności, zawieszki, długie ładowanie for. Ciekawe, co jest przyczyną
po co mi sygnatura?
25.02.2021 20:29

11 z 16: pajper

Konferencje w pewnym zakresie, ale także nagły skok popularności. Teraz jest 80 zalogowanych użytkowników. Wieczorami ta liczba wynosi właśnie 75-85 osób, codziennie.
Nie mieliśmy tu przed premierą 2.4 takich ilości. Rekord 2020 roku to 91 zalogowanych użytkowników, ale na ogół rzadko przekraczaliśmy 70, zwykle to było 50-60 osób.
#StandWithUkraine Shoot for the Moon. Even if you miss, you'll land among the stars.
25.02.2021 21:34

12 z 16: pajper

Przyszłościowo może się okazać, że jeśli pojawią się wersje mobilne i będą popularne, zmuszą nas do przeskoku na jeszcze lepszy serwer. Ale to na razie tylko hipotetyczne rozważania, bo do mobilek sporo czasu jeszcze.
#StandWithUkraine Shoot for the Moon. Even if you miss, you'll land among the stars.
25.02.2021 21:37

13 z 16: balteam

Tylko, że teraz często po prostu tak mi się elten muli, że wolę dać eskejp i jeszcze raz wejść na forum i wątek załadować. Czasami jak wchodzę w wątek to z 5 sekund albo o 1 wiek dłużej muszę czekać, także mam nadzieję, że coś z tego serwera się jeszcze uda wycisnąć, :P Problem w miarę globalny, niektórzy z bardzo szybkim netem też narzekali, że czasami po prostu mają błąd i tyle.
ps. Teraz 80 ludzi, a elten działa prawie ok, nie muli te 5 sekund :D
Zapraszam osoby posiadające piesy, lub chcące je posiadać, do dołączenia do grupy o psach przewodnikach.
25.02.2021 21:48

14 z 16: lukasz1993258

no ja przedchfilom miałem chfilowe zawieszenie.

25.02.2021 21:49

15 z 16: pajper

Od dzisiaj przekonfigurowałem nieco ustawienia serwera tak, by powoływał więcej procesów FPM.
Łącząc to z ostatnimi optymalizacjami, wymaganymi niestety przez narastający ruch, wpłynęło to na użycie RAM-u, które w tej chwili utrzymuje się na poziomie 26 na 32 GB.
Na razie sytuacja jest stabilna, będę się temu przyglądał i najwyżej powrócimy do poprzednich wersji, bez ostatnich optymalizacji.

dpieper@elten:~$ sudo inxi
CPU: 6-Core Intel Xeon E-2136 (-MT MCP-) speed/min/max: 4200/800/4500 MHz Kernel: 4.19.0-5-amd64 x86_64 Up: 49d 15h 54m
Mem: 25256.5/31954.2 MiB (79.0%) Storage: 476.94 GiB (51.2% used) Procs: 295 Shell: bash 5.0.3 inxi: 3.0.32
#StandWithUkraine Shoot for the Moon. Even if you miss, you'll land among the stars.
02.03.2021 22:25

16 z 16: zywek

Jeśli dodatkowe zużycie ramu jest optymalizacją, to ja nie wiem gdzie żyję dziś.

14.03.2021 20:27