Bu b\u00f6l\u00fcm, vLLM ile llama.cpp aras\u0131ndaki farklara odaklan\u0131r. \u0130\u00e7indekiler<\/p>\n
Bu k\u0131lavuzun ilk ad\u0131m\u0131ndan itibaren vLLM ile llama.cpp aras\u0131ndaki farklar merkezi \u00f6neme sahiptir. Do\u011fru \u00e7\u0131kar\u0131m motorunu se\u00e7mek, veri m\u00fchendisleri ve makine \u00f6\u011frenimi operasyonlar\u0131 uzmanlar\u0131 i\u00e7in kritik bir mimari karard\u0131r. vLLM ve llama.cpp aras\u0131ndaki se\u00e7im, b\u00fcy\u00fck dil modeli da\u011f\u0131t\u0131m\u0131n\u0131z\u0131n performans tavan\u0131n\u0131, donan\u0131m maliyetlerini ve operasyonel karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 belirler. Bu iki motor, verimlilik yelpazesinin u\u00e7lar\u0131n\u0131 temsil eder. vLLM, geli\u015fmi\u015f bellek y\u00f6netimini kullanarak binlerce e\u015fzamanl\u0131 iste\u011fi sunmak \u00fczere y\u00fcksek veri aktar\u0131m h\u0131z\u0131na sahip, GPU’nun bol oldu\u011fu ortamlar i\u00e7in tasarlanm\u0131\u015ft\u0131r. Buna kar\u015f\u0131l\u0131k, llama.cpp eri\u015filebilirlik ve kaynak verimlili\u011fine \u00f6ncelik vererek, agresif kuantizasyon sayesinde b\u00fcy\u00fck modellerin t\u00fcketici s\u0131n\u0131f\u0131 donan\u0131mlarda da\u011f\u0131t\u0131lmas\u0131n\u0131 sa\u011flar.<\/p>\n
Bu makale, bu iki bask\u0131n \u00e7\u0131kar\u0131m motoru aras\u0131nda kesin ve teknik a\u00e7\u0131dan do\u011fru bir kar\u015f\u0131la\u015ft\u0131rma sunar. Y\u00fczeysel k\u0131yaslama \u00f6l\u00e7\u00fctlerinin \u00f6tesine ge\u00e7erek temel mimari farkl\u0131l\u0131klar\u0131, donan\u0131m gereksinimlerini ve operasyonel \u00f6d\u00fcnle\u015fimleri inceliyoruz. vLLM’deki PagedAttention mekanizmas\u0131n\u0131 ve llama.cpp’deki GGUF kuantizasyon stratejilerini anlayarak, belirli gecikme gereksinimlerinize ve b\u00fct\u00e7e k\u0131s\u0131tlamalar\u0131n\u0131za uygun, bilgilendirici bir karar verebilirsiniz. \u0130ster \u00fcretim API’sini \u00f6l\u00e7eklendiriyor olun ister yerel deneyler y\u00fcr\u00fct\u00fcn, a\u015fa\u011f\u0131daki k\u0131lavuz ba\u015far\u0131l\u0131 bir da\u011f\u0131t\u0131m sa\u011flamak i\u00e7in uygulanabilir se\u00e7im kriterleri ve ad\u0131m ad\u0131m uygulama protokolleri sunar.<\/p>\n
vLLM veya llama.cpp’nin kullan\u0131ma al\u0131nmas\u0131 \u00f6nemli mali ve teknik sonu\u00e7lar do\u011furur. Yanl\u0131\u015f motor se\u00e7imi, gereksiz GPU altyap\u0131s\u0131na sermaye israf\u0131na veya yetersiz veri aktar\u0131m h\u0131z\u0131 nedeniyle hizmet bozulmas\u0131na yol a\u00e7abilir. Teknik altyap\u0131n\u0131n i\u015f hedefleriyle uyumlu hale getirilmesinde bu etkilerin anla\u015f\u0131lmas\u0131 \u015fartt\u0131r.<\/p>\n
vLLM, NVIDIA GPU’lar i\u00e7in optimize edilmi\u015ftir. A100 veya H100 k\u00fcmeleri gibi y\u00fcksek performansl\u0131 donan\u0131mlara eri\u015fim varsayar. Bu yap\u0131 ola\u011fan\u00fcst\u00fc performans sa\u011flasa da sahip olma maliyeti y\u00fcksektir. GPU saatleri pahal\u0131d\u0131r ve kullan\u0131lmayan kapasite b\u00fct\u00e7e israf\u0131na do\u011frudan yans\u0131r. \u0130\u015f y\u00fck\u00fcn\u00fcz devasa e\u015fzamanl\u0131l\u0131k gerektirmiyorsa, vLLM’\u0131n kullan\u0131ma al\u0131nmas\u0131 ekonomik verimsizlik olu\u015fturabilir.<\/p>\n
Tersine, llama.cpp donan\u0131m agnostisizmi i\u00e7in tasarlanm\u0131\u015ft\u0131r. CPU’lar, entegre grafikler ve ayr\u0131k GPU’lar \u00fczerinde \u00e7al\u0131\u015fabilir. Bu esneklik, kurulu\u015flar\u0131n mevcut altyap\u0131dan faydalanmas\u0131n\u0131 ve uzman donan\u0131m sat\u0131n alma ihtiyac\u0131n\u0131 azaltmas\u0131n\u0131 sa\u011flar. Ba\u015flang\u0131\u00e7 a\u015famas\u0131ndaki \u015firketler veya b\u00fct\u00e7e k\u0131s\u0131t\u0131 olan ekipler i\u00e7in, llama.cpp arac\u0131l\u0131\u011f\u0131yla bir MacBook Pro M2 \u00fczerinde 7B parametreli bir modeli \u00e7al\u0131\u015ft\u0131rmak, pahal\u0131 bulut GPU \u00f6beklerini sa\u011flaman\u0131n yerine ge\u00e7er bir alternatif olabilir.<\/p>\n
Gecikme gereksinimleri motor se\u00e7imini belirler. \u0130nteraktif sohbet botlar\u0131 veya kodlama asistanlar\u0131 gibi ger\u00e7ek zamanl\u0131 uygulamalar, d\u00fc\u015f\u00fck ilk-jeton s\u00fcresi (TTFT) ve y\u00fcksek jeton \u00fcretim h\u0131z\u0131 gerektirir. vLLM, verimli KV \u00f6nbellek y\u00f6netimi sayesinde y\u00fcksek e\u015fzamanl\u0131l\u0131k alt\u0131nda genellikle \u00e7ok daha d\u00fc\u015f\u00fck gecikme sa\u011flayarak bu alanda \u00fcst\u00fcnd\u00fcr.<\/p>\n
Bununla birlikte, b\u00fcy\u00fck belgelerin \u00f6zetlenmesi veya \u00e7evrimd\u0131\u015f\u0131 veri analizi gibi toplu i\u015flem g\u00f6revlerinde, toplam tamamlama s\u00fcresinden daha kritik olan saniye ba\u015f\u0131na veri aktar\u0131m h\u0131z\u0131d\u0131r. Bu senaryolarda, llama.cpp’nin tek i\u015f par\u00e7ac\u0131kl\u0131 veya s\u0131n\u0131rl\u0131 \u00e7oklu i\u015f par\u00e7ac\u0131kl\u0131 yakla\u015f\u0131m\u0131 yeterli olabilir. llama.cpp ile y\u00fczlerce e\u015fzamanl\u0131 kullan\u0131c\u0131y\u0131 i\u015flemeyi planlayan bir ekip muhtemelen darbo\u011fazlarla kar\u015f\u0131la\u015facakt\u0131r; \u00e7\u00fcnk\u00fc veri aktar\u0131m h\u0131z\u0131, e\u015fzamanl\u0131l\u0131k art\u0131\u015f\u0131 ne olursa olsun genellikle bir plato noktas\u0131na ula\u015f\u0131r.<\/p>\n
\u00d6l\u00e7eklenebilirlik temel bir ay\u0131r\u0131c\u0131d\u0131r. vLLM, modellerin birden fazla GPU aras\u0131nda b\u00f6l\u00fcnmesine olanak tan\u0131yan tens\u00f6r paralelli\u011fini destekler. Bu yetenek, tek bir GPU’nun belle\u011fine s\u0131\u011fmayacak \u00e7ok b\u00fcy\u00fck modellerin (70B+ parametre) kullan\u0131ma al\u0131nmas\u0131n\u0131 sa\u011flar. llama.cpp, katmanlar\u0131 CPU RAM’ine aktararak b\u00fcy\u00fck modelleri \u00e7al\u0131\u015ft\u0131rabilsede, \u00e7oklu d\u00fc\u011f\u00fcmler aras\u0131nda vLLM’in sundu\u011fu kadar kusursuz ve ger\u00e7ek da\u011f\u0131t\u0131lm\u0131\u015f \u00e7\u0131kar\u0131m\u0131 desteklemez. Bu k\u0131s\u0131tlama, kullan\u0131m\u0131 b\u00fcy\u00fck \u00f6l\u00e7ekli, da\u011f\u0131t\u0131lm\u0131\u015f \u00fcretim ortamlar\u0131nda s\u0131n\u0131rland\u0131r\u0131r.<\/p>\n
vLLM ile llama.cpp aras\u0131ndaki performans farkl\u0131l\u0131\u011f\u0131, bellek y\u00f6netimi ve hesaplama konusundaki temel mimari yakla\u015f\u0131mlar\u0131ndan kaynaklanmaktad\u0131r. Bu mekanizmalar\u0131 anlamak, her bir motorun y\u00fck alt\u0131ndaki davran\u0131\u015f\u0131n\u0131n tahmin edilmesi i\u00e7in kritik \u00f6neme sahiptir.<\/p>\n
vLLM’nin temel yenili\u011fi, i\u015fletim sistemi sanal belle\u011finden esinlenen PagedAttention ad\u0131 verilen bir bellek y\u00f6netim tekni\u011fidir. Geleneksel dikkat (attention) mekanizmalar\u0131, Key-Value (KV) \u00f6nbelle\u011fi i\u00e7in ard\u0131\u015f\u0131k bellek bloklar\u0131 gerektirdi\u011finden \u00f6nemli d\u00fczeyde par\u00e7alanma ve bellek israf\u0131na yol a\u00e7ar. PagedAttention, KV \u00f6nbelle\u011fini daha k\u00fc\u00e7\u00fck, sabit boyutlu bloklara b\u00f6ler. Bu yakla\u015f\u0131m, vLLM’nin belle\u011fi dinamik olarak tahsis etmesini sa\u011flayarak par\u00e7alanmay\u0131 azalt\u0131r ve bellek kullan\u0131m verimlili\u011fini art\u0131r\u0131r.<\/p>\n
Bu sayede vLLM, daha y\u00fcksek grup (batch) boyutlar\u0131 ve daha iyi aktar\u0131m h\u0131z\u0131 elde edebilir. Motor, GPU \u00e7ekirdeklerinin tam kapasiteyle kullan\u0131lmas\u0131n\u0131 sa\u011flamak \u00fczere isteklerin zamanlamas\u0131n\u0131 s\u00fcrekli optimize eder. Bu durum, bellek y\u00f6netimi y\u00fck\u00fcn\u00fcn minimize edildi\u011fi, \u00e7ok say\u0131da k\u00fc\u00e7\u00fck iste\u011fin e\u015fzamanl\u0131 olarak kar\u015f\u0131lanmas\u0131 gereken senaryolarda \u00f6zellikle faydal\u0131d\u0131r.<\/p>\n
llama.cpp, kuantizasyon yoluyla verimlilik odakl\u0131d\u0131r. Q4_K_M (4-bit) veya Q8_0 (8-bit) gibi \u00e7e\u015fitli kuantizasyon seviyelerini destekleyen GGUF dosya format\u0131n\u0131 kullan\u0131r. Kuantizasyon, model a\u011f\u0131rl\u0131klar\u0131n\u0131n hassasl\u0131\u011f\u0131n\u0131 azaltarak bellek ayak izini ve hesaplama gereksinimlerini d\u00fc\u015f\u00fcr\u00fcr. Bu durum model do\u011frulu\u011funda hafif bir kay\u0131pa neden olsa da, \u00f6zellikle ama\u00e7 s\u0131n\u0131rl\u0131 donan\u0131mlarda daha b\u00fcy\u00fck modelleri \u00e7al\u0131\u015ft\u0131rmak oldu\u011funda, \u00e7o\u011fu kullan\u0131m senaryosu i\u00e7in bu \u00f6d\u00fcn kabul edilebilir d\u00fczeydedir.<\/p>\n
llama.cpp y\u00fcksek derecede ta\u015f\u0131nabilirdir. C++ dilinde yaz\u0131lm\u0131\u015f olup, CPU h\u0131zland\u0131rmas\u0131 i\u00e7in SIMD komutlar\u0131n\u0131 (AVX2, AVX-512) kullan\u0131r. Bu \u00f6zellik, ARM tabanl\u0131 Mac’lerden standart x86 i\u015flemcilere kadar geni\u015f bir mimari yelpazesinde \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flar. NVIDIA CUDA ile s\u0131k\u0131 \u015fekilde ba\u011fl\u0131 olan vLLM’in aksine, llama.cpp yerel \u00e7\u0131kar\u0131m i\u00e7in evrensel bir \u00e7\u00f6z\u00fcm sunar.<\/p>\n
\u00c7al\u0131\u015ft\u0131rma modelleri de \u00f6nemli \u00f6l\u00e7\u00fcde farkl\u0131l\u0131k g\u00f6sterir. vLLM, asenkron ve y\u00fcksek e\u015fzamanl\u0131l\u0131k gerektiren sunucu ortamlar\u0131 i\u00e7in tasarlanm\u0131\u015ft\u0131r. Birden fazla iste\u011fi e\u015fzamanl\u0131 olarak y\u00f6netir ve \u00f6ncelik olarak aktar\u0131m h\u0131z\u0131n\u0131 (throughput) maksimize eder. llama.cpp ise varsay\u0131lan yap\u0131land\u0131rmas\u0131nda genellikle senkron, tek istekli \u00e7\u0131kar\u0131m i\u015flemleri i\u00e7in kullan\u0131l\u0131r. CPU’lar \u00fczerinde \u00e7oklu i\u015f par\u00e7ac\u0131\u011f\u0131 deste\u011fi sa\u011flarsa da, GPU’lar \u00fczerinde vLLM kadar e\u015fzamanl\u0131l\u0131kla sorunsuz \u00f6l\u00e7eklenemez.<\/p>\n
Herhangi bir motoru uygulamadan \u00f6nce donan\u0131m k\u0131s\u0131tlamalar\u0131n\u0131z\u0131 de\u011ferlendirmek esast\u0131r. Optimal performans sa\u011flamak amac\u0131yla her motorun belirli minimum ve \u00f6nerilen teknik \u00f6zellikleri bulunmaktad\u0131r.<\/p>\n
vLLM, CUDA deste\u011fine sahip NVIDIA GPU’lar\u0131n\u0131 gerektirir. Topluluk \u00e7abalar\u0131 devam etse de, AMD GPU’lar\u0131 veya Apple Silicon ile haz\u0131r olarak uyumlu de\u011fildir.<\/p>\n
llama.cpp, donan\u0131m konusundan \u00e7ok daha esnektir.<\/p>\n