Data Science
Artificial Intelligence
আমরা কীভাবে CPU-তে প্রতিদিন ১+ বিলিয়ন অনুরোধ পূরণ করতে Bert স্কেল করেছি
Author
Venue
ডেটা + এআই সামিট ২০২১
Abstract
মেশিন লার্নিং আমাদের বিশাল সম্প্রদায়ের জন্য গুরুত্বপূর্ণ সেবাগুলো স্কেল করার ক্ষমতার একটি মূল অংশ। এই আলোচনায়, আমরা আমাদের গভীর শিক্ষার টেক্সট ক্লাসিফায়ারগুলোকে স্কেল করার যাত্রা শেয়ার করছি, যাতে সেকেন্ডে ৫০,০০০+ অনুরোধ ২০ মিলিসেকেন্ডের নিচে ল্যাটেন্সিতে প্রক্রিয়া করা যায়। আমরা জানাবো কীভাবে আমরা BERT-কে শুধুমাত্র আমাদের ব্যবহারকারীদের জন্য যথেষ্ট দ্রুতই নয়, বরং CPU-তে উৎপাদন পর্যায়ে পরিচালনা করার জন্যও সাশ্রয়ী মূল্যে চালাতে সক্ষম হয়েছি।
