NVIDIA Dynamo: Açık Kaynak Verimliliği ile Yapay Zekâ Çıkarımını Geliştirme

21.03.2025

NVIDIA, yapay zekâ fabrikalarında akıl yürütme modellerini optimize etmek ve ölçeklendirmek için tasarlanmış açık kaynaklı AI çıkarım yazılımı Dynamo'yu tanıttı. Büyük GPU kümeleri arasında çıkarım isteklerini verimli bir şekilde yöneterek Dynamo, hesaplama verimliliğini artırırken operasyonel maliyetleri azaltıyor ve yapay zekâ fabrikalarının maksimum jeton üretimi ile gelir elde etmesini sağlıyor.

NVIDIA Triton Inference Server’ın yerini alan Dynamo, büyük dil modellerinin (LLM) işleme ve üretim aşamalarını farklı GPU'lara ayıran "ayrıştırılmış sunum" yöntemini kullanıyor. Bu yaklaşım, her aşamayı bağımsız olarak optimize ederek kaynak kullanımını iyileştiriyor. Gelişmiş çıkarım optimizasyonları sayesinde Dynamo, Llama modellerinin performansını iki katına çıkarabilir ve DeepSeek-R1 modeli için büyük ölçekli GPU kümelerinde GPU başına jeton üretimini 30 kat artırabilir.

Dynamo’nun temel özellikleri arasında gerçek zamanlı GPU tahsisi ayarlamaları, yeniden hesaplamaları en aza indiren akıllı istek yönlendirme ve çıkarım verilerini uygun maliyetli depolamaya verimli bir şekilde aktarma yetenekleri bulunuyor. GPU iş yüklerini dinamik olarak yöneterek Dynamo, çıkarım verimini önemli ölçüde artırıyor ve gecikmeleri azaltarak yapay zekâ hizmet sağlayıcıları için kritik bir araç haline geliyor.

Açık kaynaklı yapısı sayesinde Dynamo, PyTorch, NVIDIA TensorRT-LLM ve vLLM gibi popüler çerçevelerle uyumluluk sunarak işletmeler ve araştırmacılar için sorunsuz entegrasyon sağlıyor. AWS, Google Cloud, Microsoft Azure ve Meta gibi büyük yapay zekâ şirketlerinin, Dynamo’nun çıkarım iş yüklerini verimli bir şekilde ölçeklendirme yeteneğinden yararlanması bekleniyor.

Dynamo’nun en önemli yeniliklerinden biri, saklanan çıkarım verilerini GPU'lar arasında akıllı bir şekilde eşleştirmesi ve yeni istekleri en uygun hesaplama düğümlerine yönlendirerek gereksiz hesaplamaları azaltmasıdır. Gelişmiş zamanlama, düşük gecikmeli iletişim ve modüler mimarisiyle Dynamo, yapay zekâ çıkarımını büyük ölçekte optimize etmek için önemli bir araç olmaya hazırlanıyor.