در کمتر از یک سال، ری‌ولووت اعلام کرد که با استفاده از مدل‌های خود- میزبانی در جای‌جای خدمات تجاری مانند کلود، هزینه‌های رمزنگاری مدل‌های هوش مصنوعی خود را حدود 90 درصد کاهش داده‌است.
در کنفرانس مهندسین هوش مصنوعی در نیویورک ماه گذشته، داوید ابیتبول، سرپرست عملیات و زیرساخت‌های شرکت فیناآنگلیسی british، شرح داد که پس از توزیع ابزارهای هوش مصنوعی برای حدود 2000 مهندس، زمان کدنویسی 60 درصد بهبود یافته و زمان انجام 70 درصد بهبود یافته‌است. ری‌ولووت ابتدا از GLM-5.1 استفاده کرد و سپس به GLM-5.3 تغییر کرد که اکنون با استفاده از 56 GPU Nvidia B200 ارائه می‌شود.
قبل از تغییر به GLM، ری‌ولووت در سال 2025 از جیمنی و در سال 2026 از کلود کد استفاده کرد. "ما از هزینه‌های هوش مصنوعی مشکوک بودیم. می‌دیدیم مهندسان ماهیانه زندگی 1000 دلار، 10000 دلار خرج می‌کردند وयहیچ بازگشت مناسبی نداشت، بنابراین当تی که آنرا راه‌اندازی کردیم با محدودیت‌های بودجه محدود و دقیق راه‌اندازی کردیم"، ابیتبول گفت.
به همین دلیل، مهندسان دسترسی محدود به توکن‌ها داشتند، بنابراین شرکت شروع به تحقیق در مورد خود- میزبانی مدل‌ها کرد. در حالی که خود- میزبانی GLM-5.1 حدود یک دهم هزینه استفاده از کدکس اپن‌آی یا کلود کد آنتروپیک بود، هنگامی که توکن‌ها ارزان هستند، دیگر نگران تعداد آنها یا نحوه استفاده از آنها نیستید.
در حالی که ری‌ولووت بهبود در سرعت کدنویسی را مشاهده کرد، ابیتبول گفت که رنجک بزرگتر در واقع کد نبود، بلکه مدل‌های هوش مصنوعی در حال درمانش با اشکال‌زدایی و تیکت‌های جی‌یرا و کانفلوئنس بود. "وقتی توکن‌های نامحدود داریید، می‌تونید اینها را انجام دهید. دیگر ناگزیر نیستید که توکن‌ها را برای پایان سه‌ماهه یا وظایف دشوار ذخیره کنید ".
در بخش دوم، مدل حقوق توسعه Z.ai، GLM 5.1 نه یک مدل کوچک است. با حدود 754 میلیارد پارامتر در کل (40 میلیارد پارامتر فعال برای هر کلاینت تولید شده)، این مدل نیاز به حدود 380 گیگابایت حافظه‌ی جی‌پی‌یو تنها برای نگه‌داری وزن‌ها و 6 تا 26 گیگابایت برای هر کاربر برای حفظ متن به‌درستی دارد، در fonction of precision.
برای خدمت‌رسانی به مقیاس GLM-5.3، ریوولو 56 کارت گرافیکی Nvidia B200 را vicepresidente و با این کار، تعداد کارت‌های گرافیکی معادل هفت سیستم Nvidia DGX B200 هشت-کارت را داشت. اما ابیبول گفت که بهترین عملکردی که حاصل شد، از افزودن کارت‌های گرافیکی نبود، بلکه از تنظیم پارامتر‌های هیپر و تغییر به استفاده از کدوم‌سازی NVFP4 و پیاده‌سازی پر-فیل و دکد desacreted و تنظیم طول متن‌ها حاصل شد.
یکی از نکات مهم این بود که پشتیبانی از پنجره‌ی متن با یک میلیون توکن، این پنجره‌ی طولانی را مفید یا مؤثر نمی‌کند. "متن طولانی کلاهبرداری است. باید از این امر برنداشتید," ابیبول گفت. "نگاه کنید، می‌توانید یک میلیون توکن را خدمت‌رسان کنید، اما 256 هزار توکن واقعاً آنچه را که نیاز دارید."
با این بهینه‌سازی‌ها، ابیبول گفت که شرکت قادر به رسیدن به زمان اول تا 3 ثانیه برای پنجره‌ی متن حدود 256 هزار توکن و سرعت تولید حدود 200 توکن در ثانیه شده است، که هر دو این معیارها در نقطه‌ی شیرین برای مهندسان نرم‌افزار شرکت هستند.
"آیا می‌خواهید زمان اول تا 3 ثانیه داشته باشید. این نهضت است. اگر 5 ثانیه را براساسید، درباکس اسلک من پر می‌شود," ابیبول گفت. "در مورد سطح پذیرش، مهم نیست. ما در مورد تعاملی، 200 توکن در ثانیه خدمت‌رسان می‌کنیم. مردم با این امر راضی هستند. به طور کل، مردم کارها را در موازی اجرا می‌کنند و زمانی که کار انجام شده، باز می‌گردند."
اکنون، او می‌گوید مهندسانی که بعد از ساعت ۵ عصر وارد سیستم می‌شوند، سرعت تولید توکن نزدیک به ۸۰۰ توکن در ثانیه را تجربه می‌کنند.
با این حال، توجه داشته باشید که GLM به طور کامل جایگزین GPT یا Claude نشده است. این مدل چینی تنها از متن پشتیبانی می‌کند، بنابراین برای کارهایی مانند توسعه رابط کاربری (UI) ایده‌آل نیست. به همین دلیل، Revolut از یک مسیریاب مدل (model router) استفاده کرده تا پرس‌وجوهای بصری را به مدل‌هایی مانند Gemini یا GPT Luna هدایت کند، در حالی که تولید کد روی GLM ادامه دارد.
آبیتبول گفت: «منبع باز (Open source) اکنون یک اولویت در Revolut است و اقتصادیات ما مناسب است. صورتحساب‌ها نرخ ثابت دارند، ما در پایان ماه هیچ شوک صورتحسابی نداریم، و استفاده از مدل‌های پیشرو (frontier) استثنا است.»
با وجود این، آبیتبول می‌پذیرد که مدل‌های چینی با وزن‌های باز (open weights) ممکن است از منظر حریم خصوصی و امنیت نگرانی‌برانگیز باشند، اما تأکید می‌کند که نگرانی اصلی در دسترسی به آنها از طریق APIهایی است که در چین اجرا می‌شوند. وقتی این مدل‌ها در محیط داخلی (on-prem) یا روی منابع ابری منطقه‌ای اجرا می‌شوند، واقعاً هیچ نگرانی وجود ندارد.
تیم ترجمه تحریریه گیلانی جان - محمد رمضانی - سیده رقیه پوراشرفی
دیدگاه‌ها
هنوز دیدگاهی ثبت نشده است. اولین نفر باشید!
ارسال دیدگاه