Data Science
Artificial Intelligence
Jak skalowaliśmy model Bert, aby obsłużyć ponad miliard dziennych zapytań na procesorze
Author
Venue
Szczyt Data + AI 2021
Abstract
Uczenie maszynowe stanowi kluczowy element naszej zdolności do skalowania ważnych usług dla naszej ogromnej społeczności. W tym wykładzie opowiemy o naszej drodze do skalowania klasyfikatorów tekstu opartych na głębokim uczeniu, tak aby przetwarzały ponad 50 tys. żądań na sekundę przy opóźnieniach poniżej 20 ms. Opowiemy, w jaki sposób udało nam się nie tylko sprawić, że BERT działa wystarczająco szybko dla naszych użytkowników, ale także jest na tyle ekonomiczny, że można go uruchamiać w środowisku produkcyjnym przy rozsądnych kosztach obciążenia procesora.
