Data Science
Artificial Intelligence
Cách chúng tôi mở rộng quy mô Bert để xử lý hơn 1 tỷ yêu cầu hàng ngày trên CPU
Author
Venue
Hội nghị thượng đỉnh về Dữ liệu và Trí tuệ nhân tạo 2021
Abstract
Học máy là yếu tố then chốt giúp chúng tôi mở rộng các dịch vụ quan trọng cho cộng đồng khổng lồ của mình. Trong bài thuyết trình này, chúng tôi chia sẻ hành trình mở rộng các bộ phân loại văn bản học sâu để xử lý hơn 50.000 yêu cầu mỗi giây với độ trễ dưới 20ms. Chúng tôi sẽ chia sẻ cách chúng tôi không chỉ làm cho BERT đủ nhanh cho người dùng mà còn đủ tiết kiệm để chạy trong môi trường sản xuất với chi phí hợp lý trên CPU.
