Google Unveils Implicit Caching to Lower Costs of Accessing New AI Models

09.05.2025

Google, Gemini API’sinde "implicit caching" (örtük önbellekleme) adı verilen yeni bir özellik tanıttı. Bu özellik, son teknoloji AI modellerini kullanmanın maliyetini önemli ölçüde azaltmayı hedefliyor. Gemini API’si üzerinden modellere geçirilen tekrarlayan bağlamlarda ’e kadar tasarruf sağlamayı amaçlayan bu özellik, gelişmiş AI yeteneklerine erişim için artan maliyetlerle karşılaşan üçüncü taraf geliştiricilere fayda sağlayacak. Özellik, Gemini 2.5 Pro ve 2.5 Flash modellerini destekliyor.

Implicit caching, otomatik olup, Gemini 2.5 modelleri için varsayılan olarak etkinleştirilmiştir ve geliştiricilerin herhangi bir manuel müdahale olmadan maliyet tasarrufu sağlamasına olanak tanır. Önceki explicit caching (açık önbellekleme) yönteminin aksine, geliştiricilerin en sık kullanılan istemleri manuel olarak tanımlamak zorunda olduğu bir sistem, implicit caching ise ortak isteği desenlerini otomatik olarak tespit eder ve önceki isteklerden verileri yeniden kullanır. Bu, sadece hesaplama yükünü azaltmakla kalmaz, aynı zamanda geliştiriciler için maliyetleri de düşürür.

Bu özellik, yeni bir istek önceki isteklerle benzer bir bağlam veya önek paylaştığında maliyet tasarrufu sağlar ve tekrarlayan görevler için daha verimli hale getirir. Implicit caching’i tetiklemek için gerekli minimum istem token sayısı 2.5 Flash için 1.024 token, 2.5 Pro için ise 2.048 token’dır, bu da geliştiricilerin tasarruf sağlamak için büyük miktarda veri sunmalarının gerekmediği anlamına gelir.

Bu yeni önbellekleme özelliği umut verici görünse de, Google, geliştiricilere tekrarlayan bağlamı isteklerin başına yerleştirmelerini, böylece önbellek erişimi şansını artırmalarını tavsiye etmektedir. Sıklıkla değişebilecek bağlamların ise isteklerin sonuna yerleştirilmesi gerektiği belirtilmiştir. Ancak, Google bu otomatik tasarrufların beklentileri karşılayacağına dair üçüncü taraf doğrulaması sağlamamıştır, bu nedenle özelliğin etkinliği, erken kullanıcıların geri bildirimleriyle daha iyi anlaşılacaktır.

Implicit caching’in bu şekilde sunulması, özellikle karmaşık ve beklenmedik ücretlendirme eleştirileri alan önceki explicit caching sisteminden olumsuz etkilenmiş geliştiriciler için olumlu bir gelişme olarak beklenmektedir.