Deszyński, Kawczyński, Malinowski , Red-Sky

1. Optymalizacja serwisów internetowych
Piotr Deszyński, Łukasz Kawczyński, Rafał Malinowski
26.02.2010

2. Z czym się zmagamy?
✤ 24 miliony unikalnych użytkowników miesięcznie
✤ 10 milionów zapytań do wyszukiwarki na dobę
✤ Ponad 50 milionów rekordów w bazie danych
Rozkład obciążenia serwerów
68%
600 sesji na sekundę do load balancera
15%
static frontend openx
17%

3. Infrastruktura serwisu
✤ 18 maszyn do obsługi frontendu
✤ 3 maszyny do przechowywania statycznej zawartości
✤ 14 serwerów do Sphinxa
✤ 6 serwerów bazodanowych
✤ 3 load balancery rozdzielające ruch
✤ Wydzielenie serwerów ułatwia monitorowanie oraz replikowanie
poszczególnych węzłów danych

4. „Premature optimization
is the root of all evil”
Donald Knuth

5. Początki serwisu
✤ Wyszukiwarka multimediów
✤ Jeden fizyczny serwer na którym znajdował się serwer HTTP, baza danych
oraz interpreter PHP
✤ Wyszukiwanie oparte o MySQL (full-text search)
✤ Rosnący ruch - problemy z MySQL

6. Prawdziwy start
✤ Decyzje:
✤ Przepisanie frontendu z użyciem Zend Framework
✤ Wykorzystanie Zend_Search_Lucene
✤ Problemy:
✤ Długie czasy wyszukiwań
✤ Długie czasy przebudowy indeksów, problemy ze stabilnością
✤ Próby integracji Lucene Java

7. Sphinx
✤ API - prosta i szybka integracja z PHP
✤ Budowa indexów z danych pobranych z MySQL
✤ Szybka przebudowa indeksów
✤ Możliwości filtrowania - filtry numeryczne i tekstowe

8. Sphinx - skalowalność
Frontend
Szukaj
Serwer HTTP
Żądanie
Sphinx distributed search
index 1/n index 1/n index 1/n ......... index 1/n

9. Sphinx - wydajność
Frontend
Szukaj
Serwer HTTP
Żądanie
Load balancer Wybranie serwera
Sphinx 1 Sphinx 2 Sphinx 3 ..... Sphinx n Repliki

10. Sphinx - optymalizacja
✤ Podział na klastry usługowe
✤ Podział indexów wg schematu main+delta
✤ Główny index przebudowywany bardzo rzadko
✤ Delty przebudowywane kilka razy dziennie
✤ Cachowanie zapytań i mechanizmy odświeżania
✤ Pomijanie słów kluczowych - przykładowo "rar"

11. Optymalizacje odwołań I/O
✤ Kompresja CSS/JavaScript/HTML
✤ Redukcja ilości odwołań do JavaScript/CSS
✤ Grafika oparta na sprite-ach
✤ Użycie akceleratora PHP (xcache)

12. Sharding - optymalizacja na przyszłość
Dane
PHP Decyzja wyboru sharda
Zapis danych do odpowiedniej bazy
Shard 1 Shard 2
✤ Podział danych na dwie bazy
✤ Możliwość późniejszego skalowania - manipulowanie danymi
✤ Denormalizacja bazy

13. Optymalizować, ale kiedy ?
✤ Optymalizacja na etapie wytwarzania oprogramowania nie koniecznie jest
dobra
✤ Optymalizacja powinna być reakcją na wzrastające obciążenie
✤ Optymalizacja powinna wynikać z obserwacji działania aplikacji
✤ ilość wizyt/odsłon - sprawa oczywista
✤ obciążenie serwerów/usług - load i/o sieciowe, i/o dysków, zapytania
do serwerów http, bazy danych, systemów cache itp.

14. Plany na przyszłość
✤ W planach testy takich rozwiązań jak:
✤ PHP HipHop
✤ Cassandra

15. Pytania ?