Prompt caching
Në shqip: Cache-i i prompt-eve
ShpjegimiSQ
Kur dërgon shumë herë të njëjtin fillim të gjatë (udhëzime, dokumente), API-të e LLM-ve mund ta ruajnë në cache — përgjigjet bëhen më të shpejta dhe deri në 90% më të lira për atë pjesë.
EnglishEN
When you send the same long beginning many times (instructions, documents), LLM APIs can cache it — responses get faster and that part becomes up to 90% cheaper.
Si ta mendosh
Si një mësues që s'ka pse ta rilexojë gjithë librin para çdo pyetjeje.
Lexoje në anglisht
Like a teacher who needn't reread the whole book before every question.