أعمال مختارة
2024 · ذكاء اصطناعي
أوكتاف للصوت
واجهة استنساخ صوتي فوري تدعم ١٢ لغة بزمن استجابة وسطي ٢٤٠ مللي ثانية، تعمل على عقدة GPU واحدة.
أوكتاف للصوت
العميل
أوكتاف
الدور
مهندس تعلّم آلي
السنة
2024
التخصص
ذكاء اصطناعي
(01)
المشكلة
واجهات استنساخ الصوت إما بطيئة جدًا للاستخدام الفوري (أكثر من ٢ ثانية) أو مكلفة جدًا للتوسّع. احتاج أوكتاف لخدمة ١٢ لغة بزمن أقل من ٣٠٠ مللي ثانية دون أسطول GPU ضخم.
(02)
الحل
قمت بتقطير نموذج مخصص إلى ١.٤ مليار معامل، وخدمته عبر Triton مع batching ديناميكي، واستخدمت ONNX runtime لمُفكّك الصوت. عقدة A100 واحدة تتعامل مع ٨٠ تدفقًا متزامنًا مع هامش إضافي.
(03)
النتيجة
زمن وسطي: ٢٤٠ مللي ثانية عبر ١٢ لغة. ٨٠ تدفقًا متزامنًا على GPU واحد. هامش ربح ٨٧٪ بـ ٠.٠٠٤ دولار لكل طلب.
240ms
زمن وسطي
12
لغة
80
تدفقات متزامنة
87%
هامش الربح
التقنيات
PyTorchONNXTritonFastAPIRedis
الحالة التالية