Data Science
Artificial Intelligence
我們如何將 BERT 擴展以在 CPU 上處理每日超過 10 億次請求
Author
Venue
2021 年資料與人工智慧峰會
Abstract
機器學習是我們將重要服務擴展至龐大社群的關鍵要素。本次演講中，我們將分享將深度學習文字分類器擴展至每秒處理 5 萬筆以上請求，且延遲低於 20 毫秒的歷程。我們將說明如何不僅讓 BERT 具備足夠的速度以滿足用戶需求，同時也使其在 CPU 上以可控成本運行於生產環境中，兼具經濟效益。
