Të dhëna & IA

Si mësojnë kompjuterët nga të dhënat, dhe çfarë janë vërtet mjetet IA që përdor çdo ditë. · 202 terma

A short history of AI

Historia e shkurtër e AI-së

1950: Testi i Turingut → 1956: lind termi „AI“ → „dimrat e AI-së“ (vite pa progres) → 1997: Deep Blue mund Kasparovin → 2012: deep learning fiton ImageNet → 2016: AlphaGo → 2017: Transformer-at → 2022: ChatGPT sjell AI-në te të gjithë.

A/B testing

Testimi A/B

Te testimi A/B, gjysma e përdoruesve shohin versionin A (butoni blu) dhe gjysma versionin B (butoni jeshil); pastaj statistikat tregojnë cili funksionon më mirë. Kështu vendosin kompanitë si Netflix dhe Google.

Accuracy, precision & recall

Saktësia, precizioni dhe recall-i

Këto janë mënyrat si matet sa mirë punon një model: accuracy — sa përqind e përgjigjeve janë të sakta; precision — nga ato që i tha „po“, sa ishin vërtet „po“; recall — nga të gjitha „po“-të e vërteta, sa i gjeti.

Activation functions (ReLU, sigmoid, softmax)

Funksionet e aktivizimit

Pas çdo shtrese, një funksion aktivizimi vendos sa „ndizet“ neuroni: ReLU (0 për negativët — më i përdoruri), sigmoid (0–1 për probabilitete), softmax (kthen numrat në probabilitete që mblidhen në 1). Pa to, rrjeti do të ishte thjesht regresion linear.

Agent frameworks (LangChain, LlamaIndex, Agent SDK)

Kornizat për agjentë AI

Libraritë si LangChain, LlamaIndex, LangGraph dhe Claude Agent SDK ndihmojnë të ndërtosh agjentë: lidhje me vegla, kujtesë, RAG dhe rrjedha me shumë hapa. Për raste të thjeshta, shpesh mjafton API-ja direkt.

AGI (artificial general intelligence)

Inteligjenca e përgjithshme artificiale

AI-ja e sotme është kryesisht e „ngushtë“ — e mirë në detyra të caktuara. AGI është ideja e një AI-je që mund të bëjë pothuajse çdo punë intelektuale si njeriu. Kur (dhe nëse) do të arrihet, është debat i madh.

AI & NLP for the Albanian language

AI dhe përpunimi i gjuhës shqipe

Shqipja është gjuhë me „pak burime“: ka shumë më pak tekste në internet se anglishtja, prandaj modelet e kuptojnë dhe e shkruajnë më keq, dhe token-izimi kushton më shumë. Projekte si zëri Edon i folsh.ai (përdorur në këtë fjalor) dhe dataset-et shqip po e përmirësojnë.

AI agent

Agjent IA

Agjenti IA është një program me LLM që jo vetëm përgjigjet, por edhe vepron vetë, hap pas hapi, për të kryer një detyrë — kërkon në internet, shkruan dhe ekzekuton kod, përdor mjete — dhe e kontrollon rezultatin.

AI benchmarks (MMLU, SWE-bench)

Pikëzimet e AI-së

Modelet AI krahasohen me teste standarde: MMLU (njohuri të përgjithshme), SWE-bench (rregullimi i bug-eve reale në GitHub), GPQA (shkencë e avancuar). Rezultatet e mira s'garantojnë që modeli është i mirë për detyrën tënde.

AI coding assistant

Asistent IA për kod

Asistenti IA për kod është një mjet në IDE ose në terminal që të ndihmon të shkruash kod: sugjeron rreshtat e radhës, shpjegon gabimet dhe mund të bëjë ndryshime vetë. Është ndihmë e madhe, por kodin duhet ta kuptosh dhe ta kontrollosh vetë.

AI ethics & responsible AI

Etika e AI-së

AI-ja ngre pyetje serioze: paragjykime ndaj grupeve të caktuara, privatësia e të dhënave, të drejtat e autorit, keqinformimi dhe humbja e vendeve të punës. Akti i BE-së për AI rregullon përdorimet me rrezik të lartë.

AI evals

Vlerësimet e AI-së

Si e di nëse aplikacioni yt me AI po përmirësohet? Me „evals“: një grup pyetjesh me përgjigje të pritura që i ekzekuton pas çdo ndryshimi të prompt-it ose modelit. Pa evals, po ndryshon gjëra verbërisht.

AI jobs & opportunities in the region

Punët dhe mundësitë me AI në rajon

Kompanitë në Shqipëri dhe Kosovë kërkojnë gjithnjë e më shumë analistë të dhënash, inxhinierë ML dhe zhvillues që integrojnë AI në produkte — shpesh për klientë europianë. Një portofol me projekte reale (edhe me të dhëna shqip) bën diferencë.

AI limitations

Kufizimet e AI-së

LLM-të mund të shpikin fakte (halucinacione), kanë njohuri deri në një datë („knowledge cutoff“), gabojnë në llogaritje të gjata pa vegla, dhe mund të jenë shumë të sigurta edhe kur gabojnë. Verifiko gjithmonë gjërat e rëndësishme.

AI red teaming & jailbreaks

Testimi sulmues i AI-së

„Red teaming“ do të thotë të provosh qëllimisht ta mashtrosh modelin që të bëjë gjëra të dëmshme („jailbreak“), për të gjetur dobësitë para se t'i gjejnë të tjerët. Kompanitë e AI-së e bëjnë para çdo publikimi.

AI safety & alignment

Siguria dhe përputhja e IA-së

„Alignment“ do të thotë që një sistem IA të bëjë atë që njerëzit duan vërtet dhe të jetë i dobishëm, i ndershëm dhe i padëmshëm. Kjo fushë studion si të ndërtohen modele të sigurta ndërsa bëhen gjithnjë më të afta.

AI training data & copyright

Të dhënat e trajnimit dhe të drejtat e autorit

LLM-të trajnohen me sasi gjigante teksti nga interneti, libra dhe kod. Kjo ngre pyetje për të drejtat e autorit dhe privatësinë, dhe ka sot shumë gjyqe dhe rregulla të reja për mënyrën se si mblidhen këto të dhëna.

AI-generated content & watermarks

Përmbajtja e krijuar nga AI

Detektorët e tekstit të AI-së janë shumë të pasaktë dhe shpesh akuzojnë gabimisht studentët. Për imazhe dhe video, standardet si C2PA dhe „watermark“-et e padukshme po bëhen mënyra kryesore për të treguar origjinën.

Anomaly detection

Zbulimi i anomalive

Gjen sjellje të pazakonta në të dhëna: një transaksion me kartë në një vend tjetër në mes të natës, një server që befas përdor 100% CPU. Bankat dhe ekipet e sigurisë e përdorin vazhdimisht.

Apache Spark & big data tools

Apache Spark dhe mjetet e të dhënave të mëdha

Kur të dhënat s'nxënë në një kompjuter, Apache Spark i përpunon në shumë makina paralelisht (me PySpark ose SQL). Databricks e ofron në cloud. Hadoop ishte paraardhësi i tij.

Artificial intelligence (AI)

Inteligjencë artificiale (IA)

Inteligjenca artificiale janë programe që mësojnë nga shumë shembuj, në vend që t'u shkruhet çdo rregull një nga një. Kështu njohin foto, përkthejnë tekste ose u përgjigjen pyetjeve — por mund të gabojnë, ndaj kontrolloji gjithmonë.

Attention mechanism

Mekanizmi i vëmendjes

„Vëmendja“ i lejon modelit, për çdo fjalë, të vendosë sa të rëndësishme janë fjalët e tjera të fjalisë. Është ideja kryesore e Transformer-ave (2017) dhe e të gjitha LLM-ve moderne.

AutoML

AutoML provon automatikisht shumë modele, veçori dhe hiperparametra dhe zgjedh më të mirin. I dobishëm për fillim të shpejtë ose ekipe pa specialistë, por s'e zëvendëson kuptimin e të dhënave.

Backpropagation

Përhapja mbrapsht

Backpropagation llogarit sa ndikoi çdo peshë e rrjetit në gabim, duke shkuar nga fundi drejt fillimit me rregullin e zinxhirit, që gradient descent t'i rregullojë. PyTorch dhe TensorFlow e bëjnë automatikisht (autograd).

Baseline models

Modelet bazë për krahasim

Para një modeli të ndërlikuar, ndërto një „bazë“ të thjeshtë: parashiko gjithmonë mesataren ose klasën më të shpeshtë, ose përdor regresion linear. Po modeli yt i shtrenjtë s'e mund bazën, diçka nuk shkon.

Batch, epoch & iteration

Grupi, epoka dhe përsëritja

Të dhënat ndahen në „batch“-e (p.sh. 32 shembuj); çdo hap trajnimi mbi një batch është një „përsëritje“; kur modeli ka parë të gjitha të dhënat një herë, kalon një „epokë“. Trajnimi zgjat zakonisht disa deri në qindra epoka.

Bayes' theorem

Teorema e Bayes-it

Teorema e Bayes-it tregon si ta përditësosh besimin kur vjen informacion i ri. Shembull: edhe një test mjekësor 99% i saktë mund të japë shumë pozitivë të rremë kur sëmundja është shumë e rrallë. Baza e shumë algoritmeve ML.

Bias (AI)

Paragjykim (IA)

Bias-i ndodh kur një model IA jep rezultate të padrejta ose të njëanshme, sepse të dhënat me të cilat u trajnua nuk ishin të balancuara. P.sh. një model i trajnuar kryesisht me tekste në anglisht mund ta kuptojë më keq shqipen.

Chain of thought & reasoning models

Arsyetimi hap pas hapi

Kur një model IA „mendon hap pas hapi“ para se të përgjigjet, gabon më rrallë në matematikë dhe logjikë. Modelet e reja të arsyetimit e bëjnë këtë vetë, duke shkruar një mendim të brendshëm para përgjigjes.

Chatbot

Chatbot-i është një program me të cilin bisedon me shkrim (ose me zë), si me një person. Chatbot-et e sotme si ChatGPT ose Claude përdorin LLM, ndërsa ato më të thjeshtat në faqet e dyqaneve ndjekin vetëm disa rregulla të gatshme.

Choosing an AI model

Zgjedhja e modelit AI

Modelet „frontier“ (më të fuqishmit) janë më të mirë për detyra të vështira por më të shtrenjtë; modelet e vogla e të shpejta mjaftojnë për klasifikim, përmbledhje dhe nxjerrje të dhënash. Testoji me evals mbi detyrën tënde reale.

Choosing the right chart

Zgjedhja e grafikut të duhur

Shtyllat për krahasime mes kategorive, vija për ndryshime në kohë, shpërndarja (scatter) për lidhjen mes dy numrave, histogrami për shpërndarjen e një vlere. Grafiku „byrek“ vetëm për pak pjesë të një tërësie.

Chunking & retrieval in RAG

Ndarja e dokumenteve në RAG

Te RAG, dokumentet ndahen në copa („chunks“) që kthehen në embedding. Madhësia e copave ka shumë rëndësi; kërkimi hibrid (fjalë kyçe + semantik) dhe një „reranker“ që rirendit rezultatet e përmirësojnë shumë cilësinë.

Classification

Klasifikim

Klasifikimi është një detyrë e IA-së ku modeli vendos në cilën kategori bën pjesë diçka — p.sh. nëse një email është spam, nëse në foto ka mace apo qen, ose nëse një koment është pozitiv apo negativ.

Clustering (k-means)

Grupimi (clustering)

Clustering i grupon të dhënat e ngjashme pa etiketa paraprake — p.sh. klientët sipas sjelljes së blerjeve. K-means zgjedh k qendra dhe i cakton çdo pikë te qendra më e afërt.

Computer vision

Shikim kompjuterik

Shikimi kompjuterik është fusha e IA-së që i mëson kompjuterët të „shohin“: të njohin objekte, fytyra, tekst ose targa makinash në foto dhe video.

Computer-use & browser agents

Agjentët që përdorin kompjuterin

Disa agjentë AI mund të përdorin kompjuterin si njeri: shohin ekranin, klikojnë, shkruajnë dhe navigojnë faqe web për të kryer detyra. Të fuqishëm, por kërkojnë kujdes të madh me lejet dhe me përmbajtje të pasigurt në faqe.

Confidence intervals

Intervalet e besueshmërisë

Në vend të një numri të vetëm („mesatarja është 7,4“), një interval besueshmërie thotë „me 95% besueshmëri, mesatarja e vërtetë është mes 7,1 dhe 7,7“. Tregon sa i sigurt je — sondazhet e quajnë „marzhi i gabimit“.

Confusion matrix

Matrica e ngatërrimit

Një tabelë që tregon ku gabon modeli: pozitivë të vërtetë, negativë të vërtetë, pozitivë të rremë (alarm i rremë) dhe negativë të rremë (e humbi rastin). Te testet mjekësore, negativët e rremë janë shumë më të rrezikshëm.

Context engineering

Inxhinieria e kontekstit

Rezultati i një LLM-je varet shumë nga konteksti që i jep: dokumentet, shembujt, rregullat e projektit (p.sh. CLAUDE.md), historia e bisedës. „Inxhinieria e kontekstit“ është arti i zgjedhjes së informacionit të duhur.

Context window

Dritarja e kontekstit

Dritarja e kontekstit është sa tekst mund të „mbajë mend“ një LLM njëherësh — bisedën, dokumentet dhe përgjigjen e vet, të matura në token-a. Kur biseda bëhet shumë e gjatë, pjesët e vjetra mund të harrohen.

Convolutional neural networks (CNN)

Rrjetet neurale konvolucionale

CNN-të janë rrjete neurale të specializuara për imazhe: „filtrat“ e tyre gjejnë fillimisht skaje, pastaj forma, pastaj objekte të plota. Fuqizojnë njohjen e fytyrave dhe veturat autonome.

Correlation vs causation

Korrelacioni kundrejt shkakësisë

Dy gjëra mund të rriten bashkë pa që njëra ta shkaktojë tjetrën: shitjet e akulloreve dhe mbytjet në det rriten në verë — por shkaku është vapa. Mos nxirr përfundime shkakësore vetëm nga të dhënat.

Cross-entropy loss

Humbja cross-entropy

Cross-entropy është funksioni i humbjes më i përdorur për klasifikim: dënon shumë modelin kur është i sigurt por gaboi. LLM-të trajnohen pikërisht duke minimizuar cross-entropy-në e fjalës së radhës.

Curse of dimensionality

Mallkimi i dimensioneve

Sa më shumë veçori (kolona), aq më shumë të dhëna duhen që modeli të mësojë mirë — dhe distancat mes pikave humbasin kuptimin. Prandaj shpesh është më mirë të zgjedhësh pak veçori të mira sesa shumë të dobëta.

Dashboards (Power BI, Tableau)

Panelet e të dhënave

Një dashboard bashkon disa grafikë dhe numra kyç në një faqe, që përditësohen vetë — p.sh. shitjet e ditës. Power BI, Tableau dhe Looker Studio janë mjetet më të përdorura në biznes, shpesh pa kod.

Data analyst vs data scientist vs ML engineer

Analist, shkencëtar apo inxhinier i të dhënave

Analisti i të dhënave përgjigjet pyetjeve me SQL, Excel dhe grafikë; shkencëtari i të dhënave ndërton modele statistikore; inxhinieri ML i vendos modelet në prodhim; inxhinieri i të dhënave ndërton „tubacionet“ që i sjellin të dhënat.

Data annotation & AI training jobs

Punët e etiketimit të të dhënave

Kompanitë e AI-së punësojnë njerëz për të etiketuar të dhëna, vlerësuar përgjigjet e modeleve dhe shkruar shembuj — shpesh nga distanca dhe në shumë gjuhë, përfshirë shqipen. Mund të jetë hyrje në botën e AI-së.

Data augmentation

Shtimi artificial i të dhënave

Kur ke pak të dhëna, krijon variante të reja nga ato ekzistuese: rrotullon, pret ose ndryshon ndriçimin e fotove, ose parafrazon tekstet. Modeli mëson të mos varet nga detaje të parëndësishme.

Data cleaning

Pastrimi i të dhënave

Të dhënat reale janë rrëmujë: vlera që mungojnë, gabime shkrimi, përsëritje, vlera absurde (mosha 250). Pastrimi zë shpesh 80% të kohës së një projekti të të dhënave — dhe është thelbësor.

Data governance & data ethics

Qeverisja dhe etika e të dhënave

Kush i zotëron të dhënat, kush ka qasje, sa kohë ruhen dhe për çfarë lejohet të përdoren? Qeverisja e të dhënave i përcakton këto rregulla. Etika pyet edhe më thellë: edhe po lejohet, a është e drejtë?

Data labelling & annotation

Etiketimi i të dhënave

Mësimi i mbikëqyrur kërkon të dhëna me etiketa („kjo foto ka mace“). Etiketimi bëhet shpesh nga njerëz, me mjete si Label Studio — dhe cilësia e etiketave përcakton cilësinë e modelit.

Data leakage

Rrjedhja e të dhënave në model

„Leakage“ ndodh kur modeli sheh gjatë trajnimit informacion që s'do ta ketë në realitet — p.sh. kolona „u kthye produkti“ për të parashikuar nëse do të kthehet. Rezultatet duken fantastike, por modeli dështon në praktikë.

Data pipelines (Airflow, dbt)

Tubacionet e të dhënave

Një tubacion të dhënash i merr të dhënat nga burime të ndryshme, i pastron dhe i ngarkon në një magazinë të dhënash çdo ditë automatikisht. Airflow i orkestron hapat, dbt i transformon me SQL.

Data science

Shkenca e të dhënave

Shkenca e të dhënave është përdorimi i programimit, statistikës dhe njohurive për një fushë për të nxjerrë përfundime nga të dhënat — p.sh. cilat produkte shiten më shumë dhe pse. Python-i, pandas-i dhe Jupyter-i janë mjetet e saj kryesore.

Data storytelling

Tregimi me të dhëna

Analiza vlen vetëm po kuptohet. Fillo me përfundimin („regjistrimet u rritën 40% pas fushatës“), trego një grafik të qartë që e mbështet, hiq gjithçka të panevojshme dhe thuaj çfarë duhet bërë më pas.

Data visualization

Vizualizim i të dhënave

Vizualizimi i të dhënave është kthimi i numrave në grafikë — shtylla, vija, harta — që njerëzit t'i kuptojnë me një shikim. Një grafik i mirë e tregon menjëherë atë që një tabelë me 1000 rreshta e fsheh.

Data visualization tools (Plotly, Observable, Streamlit)

Mjetet e vizualizimit

Streamlit dhe Gradio kthejnë një skript Python në aplikacion web interaktiv me pak rreshta; Observable është për vizualizime në JavaScript; Metabase dhe Apache Superset japin panele falas mbi databazat.

DataFrames

Një DataFrame është tabelë në kod (si një fletë Excel) me rreshta dhe kolona me emër. Pandas dhe Polars në Python të lejojnë ta filtrosh, grupohesh dhe vizualizosh me pak rreshta.

Dataset

Grup të dhënash

Dataset-i është një koleksion i organizuar të dhënash për një temë — p.sh. një tabelë me notat e mijëra nxënësve ose me çmimet e banesave. Përdoret për analiza dhe për të trajnuar modele të inteligjencës artificiale.

DBSCAN & hierarchical clustering

DBSCAN dhe grupimi hierarkik

Përveç k-means, DBSCAN gjen grupe me çfarëdo forme dhe i shënon pikat e vetmuara si „zhurmë“; grupimi hierarkik ndërton një pemë (dendrogram) që tregon si bashkohen grupet hap pas hapi.

Decision trees & random forests

Pemët e vendimeve

Një pemë vendimesh bën pyetje me radhë („mosha > 18?“, „ka punë?“) derisa arrin te përgjigja. Random forest kombinon qindra pemë; XGBoost i ndërton njëra pas tjetrës. Shumë të fuqishme për të dhëna në tabela.

Deep learning

Mësim i thellë

Deep learning është machine learning me rrjete nervore me shumë shtresa („të thella“). Kjo i lejon të mësojnë gjëra shumë të ndërlikuara — të njohin fytyra, të kuptojnë zërin ose të shkruajnë tekst.

Deepfake

Deepfake-et janë video, foto ose zëra të rremë të krijuar me IA, që duken sikur janë njerëz të vërtetë. Mund të përdoren për mashtrime — prandaj kontrollo burimin para se t'i besosh një videoje të çuditshme.

Descriptive vs inferential statistics

Statistika përshkruese dhe nxjerrëse

Statistika përshkruese përmbledh të dhënat që ke (mesatarja, mediana, grafikët). Statistika nxjerrëse përdor një mostër për të nxjerrë përfundime për një grup më të madh (testet, intervalet e besueshmërisë).

Diffusion model (AI images)

Model difuzioni

Modelet e difuzionit janë IA-ja që krijon foto nga teksti. Mësojnë duke parë si „prishet“ një foto me zhurmë, dhe pastaj bëjnë të kundërtën: nisin nga zhurma dhe e pastrojnë hap pas hapi, derisa del fotoja e përshkruar.

Dimensionality reduction (PCA, t-SNE, UMAP)

Zvogëlimi i dimensioneve

Kur të dhënat kanë qindra kolona, PCA i ngjesh në pak „drejtime“ që ruajnë shumicën e informacionit; t-SNE dhe UMAP i shfaqin në 2D që të shohësh grupet me sy. Përdoret edhe për të vizualizuar embedding-e.

Edge AI & TinyML

AI në pajisje

Jo çdo AI ka nevojë për cloud: modelet e vogla ekzekutohen direkt në telefon (Core ML, TensorFlow Lite), në shfletues (WebGPU) ose edhe në mikrokontrollues (TinyML) — më shpejt, pa internet dhe pa ua dërguar të dhënat të tjerëve.

Embedding

Embedding-u e kthen një tekst (ose foto) në një listë numrash, ku kuptimet e ngjashme marrin numra të afërt. Kështu kompjuteri e kupton që „makinë“ dhe „veturë“ janë pothuajse e njëjta gjë.

Embedding models & similarity

Modelet e embedding-ut

Modelet e embedding-ut (p.sh. nga OpenAI, Voyage, Cohere ose open source si BGE) e kthejnë një tekst në një varg numrash. Tekstet me kuptim të ngjashëm kanë vektorë të afërt — matur me ngjashmërinë kosinus.

Encoder-decoder models

Modelet encoder–decoder

Një „encoder“ lexon dhe kupton hyrjen, një „decoder“ gjeneron daljen fjalë pas fjale. Përkthimi është shembulli klasik (T5, modeli origjinal Transformer). GPT-të përdorin vetëm decoder, BERT vetëm encoder.

Ensemble methods (bagging & boosting)

Metodat e ansamblit

Shumë modele të dobëta së bashku bëjnë një model të fortë: „bagging“ (random forest) i trajnon paralelisht dhe voton; „boosting“ (XGBoost, LightGBM, CatBoost) i trajnon njëri pas tjetrit, ku secili rregullon gabimet e të mëparshmit. Fitojnë shumicën e garave me të dhëna tabelare.

Excel & Google Sheets for analysis

Excel dhe Google Sheets për analiza

Shumë analiza bëhen ende në spreadsheet: XLOOKUP/VLOOKUP (gjej vlera në tabelë tjetër), tabelat pivot (përmbledhje sipas grupeve), SUMIFS, filtrat dhe grafikët. Aftësi e kërkuar në pothuajse çdo zyrë.

Experiment tracking (MLflow, W&B)

Ndjekja e eksperimenteve

Gjatë trajnimit provon qindra kombinime. MLflow dhe Weights & Biases regjistrojnë çdo provë — parametrat, metrikat, grafikët dhe modelin — që të dish saktë cili funksionoi më mirë dhe ta rikrijosh.

F1 score, ROC & AUC

F1, ROC dhe AUC

F1 kombinon precision dhe recall në një numër (i dobishëm kur klasat janë të pabalancuara). Kurba ROC tregon kompromisin mes zbulimeve të sakta dhe alarmeve të rreme; AUC (0.5–1) e përmbledh — 1 është perfekt, 0.5 sa hedhja e monedhës.

Feature engineering

Inxhinieria e veçorive

Krijimi i veçorive të dobishme nga të dhënat e papërpunuara — p.sh. nga data e lindjes llogarit moshën, nga adresa nxjerr qytetin. Shpesh ndikon më shumë në rezultat se zgjedhja e modelit.

Feature scaling & normalization

Shkallëzimi i veçorive

Nëse një kolonë është në mijëra (paga) dhe tjetra 0–1 (nota), shumë modele i japin peshë të gabuar të parës. Normalizimi (0–1) ose standardizimi (mesatare 0, devijim 1) i vendos në të njëjtën shkallë.

Features & labels

Veçoritë dhe etiketat

Te mësimi makinerik, „veçoritë“ janë të dhënat hyrëse (sipërfaqja, dhomat, lagjja e një shtëpie) dhe „etiketa“ është ajo që duam të parashikojmë (çmimi). Modeli mëson lidhjen mes tyre.

Few-shot prompting

Prompt me shembuj

Few-shot do të thotë t'i japësh modelit disa shembuj në prompt para pyetjes — p.sh. dy terma të shpjeguar në stilin që do — dhe ai e ndjek atë model. Zero-shot është pa asnjë shembull.

Fine-tuning

Përshtatje e imët

Fine-tuning do të thotë ta marrësh një model të trajnuar tashmë dhe ta trajnosh edhe pak me të dhënat e tua, që të bëhet i mirë në një punë të caktuar — p.sh. t'u përgjigjet pyetjeve për produktet e një kompanie.

Fine-tuning vs RAG vs prompting

Fine-tuning, RAG apo prompt?

Për të përshtatur një LLM: fillo gjithmonë me prompt-e të mira; shto RAG kur i duhen njohuri specifike ose të përditësuara (dokumentet e kompanisë); fine-tuning vetëm kur duhet një stil, format ose sjellje që prompt-i s'e arrin.

GANs & autoencoders

GAN-et dhe autoenkoderët

Një GAN ka dy rrjete që luftojnë: njëri krijon imazhe të rreme, tjetri përpiqet t'i dallojë — derisa të rremet duken reale. Një autoenkoder e ngjesh të dhënën në pak numra dhe e rindërton, i dobishëm për ngjeshje dhe zbulim anomalish.

Generative AI

IA gjeneruese

IA gjeneruese është inteligjenca artificiale që krijon diçka të re — tekst, foto, muzikë, video ose kod — në vend që vetëm të klasifikojë ose të parashikojë. ChatGPT-ja, Claude-i dhe gjeneratorët e fotove janë shembuj.

GPUs & AI hardware

GPU-të dhe hardueri për AI

Trajnimi dhe ekzekutimi i AI-së kërkon miliarda shumëzime njëkohësisht — punë ideale për GPU-të, që kanë mijëra bërthama të vogla. NVIDIA (me CUDA) dominon; Google ka TPU-të e veta.

Gradient descent

Zbritja e gradientit

Gradient descent-i është mënyra si një model IA mëson gjatë trajnimit: e mat sa gabon dhe i ndryshon pak numrat e vet në drejtimin që e zvogëlon gabimin — hap pas hapi, mijëra herë.

Guardrails for AI apps

Kufizimet e sigurisë për aplikacionet AI

Guardrails janë kontrolle rreth LLM-së: filtrojnë hyrjet e dëmshme, kontrollojnë daljet (format, fakte, të dhëna personale), kufizojnë veglat që mund të përdorë agjenti dhe kërkojnë konfirmim njerëzor për veprime të rrezikshme.

Hallucination (AI)

Halucinacion

Halucinacioni ndodh kur një model IA jep një përgjigje që tingëllon e sigurt dhe e saktë, por është e shpikur — një fakt i rremë, një burim që s'ekziston ose kod që s'punon. Prandaj përgjigjet e IA-së duhen kontrolluar.

Handling missing values

Trajtimi i vlerave që mungojnë

Të dhënat reale kanë boshllëqe. Mund t'i heqësh rreshtat (po janë pak), t'i mbushësh me mesataren/medianën, me vlerën më të shpeshtë, ose me një model. Ndonjëherë vetë mungesa është informacion i dobishëm.

Hugging Face

Hugging Face është „GitHub-i i IA-së“: një faqe ku gjen mijëra modele, dataset-e dhe demo falas, plus libraria transformers për t'i përdorur me pak rreshta Python. Zëri Edon i këtij fjalori shkarkohet prej andej.

Hyperparameter tuning (grid & random search)

Akordimi i hiperparametrave

Për të gjetur cilësimet më të mira, provon shumë kombinime: grid search i provon të gjitha, random search zgjedh rastësisht (shpesh më efikas), Optuna mëson nga provat e mëparshme. Gjithmonë me cross-validation.

Hyperparameters

Hiperparametrat

Hiperparametrat janë cilësimet që i zgjedh ti para trajnimit: shpejtësia e mësimit (learning rate), sa herë kalon nëpër të dhëna (epochs), madhësia e grupit (batch size). Ndikojnë shumë në rezultat.

Hypothesis testing & p-values

Testimi i hipotezave dhe vlera p

Testimi i hipotezave pyet: „a është ky ndryshim i vërtetë apo thjesht rastësi?“. Vlera p tregon sa e mundshme do të ishte të shihje këtë rezultat po s'kishte asnjë efekt. Zakonisht p < 0,05 quhet „statistikisht domethënës“ — por s'do të thotë „i rëndësishëm“.

Image & video generation

Gjenerimi i imazheve dhe videove

Modelet si Stable Diffusion, Midjourney, DALL·E dhe Imagen krijojnë imazhe nga përshkrime me tekst; modelet e reja krijojnë edhe video. Ngrenë pyetje për të drejtat e autorit, deepfake-t dhe punën e artistëve.

Imbalanced data

Të dhënat e pabalancuara

Po 99% e transaksioneve janë të ligjshme, një model që thotë gjithmonë „i ligjshëm“ ka 99% saktësi — por s'kap asnjë mashtrim. Zgjidhjet: metrika si precision/recall, pesha klasash, oversampling (SMOTE) ose undersampling.

Inference

Inferencë

Inferenca është momenti kur një model i trajnuar vihet në punë: i jep diçka të re dhe ai jep përgjigjen. Sa herë që i shkruan një chatbot-i, po bëhet inferencë.

Interpretability & explainable AI

Kuptueshmëria e modeleve

Pse vendosi modeli kështu? Për modele klasike, SHAP dhe LIME tregojnë cilat veçori ndikuan më shumë. Për LLM-të, „interpretueshmëria mekanike“ studion çfarë ndodh brenda neuroneve — fushë kërkimi shumë aktive.

JSONL & data formats for ML

JSONL dhe formatet e të dhënave

JSONL (një objekt JSON për rresht) është formati standard për dataset-e LLM dhe për fine-tuning — lexohet rresht pas rreshti pa ngarkuar gjithë skedarin. Për tabela të mëdha përdoret Parquet.

Jupyter notebooks

Fletoret Jupyter

Jupyter është një „fletore“ ku përzien kod, rezultate, grafikë dhe tekst — çdo qelizë ekzekutohet veç e veç. Google Colab e jep falas në shfletues, me GPU. Mjeti standard i shkencëtarëve të të dhënave.

k-nearest neighbours (KNN)

k fqinjët më të afërt

KNN klasifikon një pikë të re sipas k fqinjëve më të afërt: po 3 nga 5 më të afërtit janë „mace“, edhe kjo është mace. S'mëson asgjë paraprakisht — thjesht krahason kur pyet.

Kaggle

Kaggle-i është një faqe me gara machine learning, dataset-e falas dhe notebook-e ku mëson nga të tjerët. Vendi ideal për të ushtruar shkencën e të dhënave me probleme të vërteta.

Knowledge graphs

Grafet e njohurive

Një graf njohurish ruan fakte si lidhje: (Tirana) –kryeqytet i→ (Shqipëria). Google e përdor për kutitë me informacion në kërkim, dhe „GraphRAG“ e kombinon me LLM-të për përgjigje më të sakta.

KPIs & metrics

Treguesit kryesorë të performancës

KPI janë numrat që një kompani ndjek për të ditur nëse po ecën mirë: përdorues aktivë, shitje, sa njerëz largohen (churn). Të zgjedhësh metrikat e duhura është po aq e rëndësishme sa t'i masësh.

Learning data & AI: a roadmap

Si t'i mësosh të dhënat dhe AI-në

Rruga e zakonshme: Python → statistikë bazë → pandas dhe grafikë → SQL → scikit-learn (regresion, klasifikim) → projekte me të dhëna reale → deep learning me PyTorch → LLM-të dhe API-të. Kaggle Learn dhe fast.ai janë falas.

Linear regression

Regresioni linear

Regresioni linear gjen vijën e drejtë që i përshtatet më mirë pikave — p.sh. çmimi i shtëpisë sipas sipërfaqes. Modeli më i thjeshtë i ML-së, dhe ende shumë i dobishëm sepse kuptohet lehtë.

LLM (Large Language Model)

Model i madh gjuhësor

LLM-ja është një model IA i trajnuar me sasi të mëdha teksti, që mëson të parashikojë fjalën e radhës. Kështu mund të shkruajë, të përkthejë, të shpjegojë kod dhe t'u përgjigjet pyetjeve — por mund edhe të shpikë gjëra që s'janë të vërteta.

LLM cost & latency

Kostoja dhe shpejtësia e LLM-ve

Paguan për token-at hyrës dhe dalës (daljet kushtojnë më shumë), dhe modelet më të mëdha janë më të mençura por më të ngadalta e të shtrenjta. Zgjidh modelin më të vogël që e bën mirë punën, dhe përdor cache dhe batch kur mundesh.

LLM-as-a-judge

LLM si gjykatës

Për të vlerësuar përgjigje të hapura (a është e sjellshme? a përmban faktin?), një LLM tjetër mund t'i notojë sipas një rubrike. I shpejtë dhe i lirë, por duhet krahasuar herë pas here me vlerësime njerëzore.

Logistic regression

Regresioni logjistik

Pavarësisht emrit, regresioni logjistik përdoret për klasifikim: jep probabilitetin (0–1) që diçka i përket një klase — „spam“ apo „jo spam“. I shpejtë, i kuptueshëm dhe shpesh pikënisja e mirë.

Logits & probabilities

Logit-et dhe probabilitetet

Para se të zgjedhë fjalën e radhës, LLM-ja jep një „rezultat“ (logit) për çdo fjalë të mundshme; softmax i kthen në probabilitete. API-të mund të të japin „logprobs“ — sa e sigurt ishte modeli për çdo fjalë.

Long context & the “lost in the middle” problem

Konteksti i gjatë dhe informacioni që humbet

Edhe pse modelet sot pranojnë qindra mijëra token-a, nuk e përdorin çdo pjesë njësoj mirë — informacioni në mes të një konteksti shumë të gjatë ndonjëherë injorohet. Vendos gjërat më të rëndësishme në fillim ose në fund.

LoRA & parameter-efficient fine-tuning

LoRA dhe përshtatja efikase

Përshtatja e plotë e një LLM-je kërkon GPU të shtrenjta. LoRA ndryshon vetëm një pjesë shumë të vogël të peshave (nëpërmjet „adapterëve“), kështu modelet përshtaten edhe në një GPU të vetme — dhe adapterët zënë vetëm disa MB.

Loss function

Funksioni i humbjes

Funksioni i humbjes është numri që tregon sa gabon një model: sa më i madh, aq më keq. Gjatë trajnimit, qëllimi është ta zvogëlosh këtë numër sa më shumë.

Machine learning

Mësim automatik

Machine learning është mënyra si kompjuteri mëson nga shembujt: në vend që t'i shkruash rregullat, i jep shumë të dhëna me përgjigjet e sakta, dhe ai e gjen vetë modelin. Është pjesa kryesore e inteligjencës artificiale sot.

Machine translation

Përkthimi automatik

Përkthimi automatik u përmirësua shumë me rrjetet neurale dhe Transformer-at (vetë Transformer-i u shpik fillimisht për përkthim). Sot LLM-të përkthejnë mirë edhe shqip, por kontrollo gjithmonë termat teknikë dhe emrat.

MCP (Model Context Protocol)

MCP-ja është një standard i hapur që lidh asistentët IA me mjete dhe të dhëna — skedarë, databaza, GitHub, kalendar. Një „MCP server“ i tregon modelit çfarë mund të bëjë dhe si.

Mean, median & mode

Mesatarja, mediana dhe moda

Mesatarja është shuma e vlerave pjesëtuar me numrin e tyre; mediana është vlera në mes kur i rendit; moda është vlera që përsëritet më shpesh. Mediana është më e drejtë kur ka vlera ekstreme — p.sh. te pagat.

Memory in AI assistants

Kujtesa e asistentëve AI

LLM-të s'mbajnë mend asgjë mes bisedave vetë. „Kujtesa“ ndërtohet duke ruajtur fakte në skedarë ose databazë dhe duke i futur në kontekst kur duhen — si preferencat e përdoruesit ose rregullat e projektit.

Mixture of experts (MoE)

Përzierja e ekspertëve

Një model MoE ka shumë „ekspertë“ (nënrrjete) dhe për çdo fjalë aktivizon vetëm disa prej tyre. Kështu modeli mund të jetë gjigant në total, por çdo përgjigje kushton sa një model shumë më i vogël.

MLOps

MLOps është DevOps për modelet ML: versionimi i të dhënave dhe modeleve, trajnimi automatik, testimi, publikimi, monitorimi në prodhim dhe ritrajnimi kur modeli fillon të gabojë. Shumica e modeleve dështojnë jo në trajnim, por në prodhim.

Model (AI)

Model

Modeli është ajo që del pasi një program machine learning „mëson“ nga të dhënat — një lloj formule e madhe që, kur i jep diçka të re, parashikon përgjigjen. Asistentët si ChatGPT ose Claude punojnë me modele shumë të mëdha.

Model deployment & serving

Publikimi i modeleve

Një model i trajnuar duhet të vihet në punë: zakonisht pas një API-je (FastAPI, BentoML), me GPU për modele të mëdha (vLLM për LLM), me cache dhe shkallëzim automatik. Shpejtësia dhe kostoja e çdo parashikimi kanë rëndësi.

Model distillation

Distilimi i modeleve

Te distilimi, një model i madh („mësuesi“) i mëson një modeli të vogël („nxënësit“) duke i dhënë përgjigjet e veta. Nxënësi bëhet pothuajse po aq i mirë, por shumë më i shpejtë dhe më i lirë.

Model drift & monitoring

Zhvendosja e modelit

Bota ndryshon dhe modeli plaket: të dhënat e reja ndryshojnë nga ato të trajnimit („data drift“) ose lidhjet mes tyre ndryshojnë („concept drift“) — p.sh. zakonet e blerjes pas një pandemie. Monitoro saktësinë dhe ritrajno kur duhet.

Model evaluation & cross-validation

Vlerësimi i modelit

Një model vlerësohet te të dhëna që s'i ka parë gjatë trajnimit. Me „cross-validation“, të dhënat ndahen në disa pjesë dhe çdo pjesë bëhet radhazi set testi — kështu rezultati është më i besueshëm.

Multi-agent systems

Sistemet me shumë agjentë

Në vend të një agjenti që bën gjithçka, disa agjentë të specializuar punojnë bashkë: njëri planifikon, të tjerët kërkojnë, shkruajnë kod ose kontrollojnë punën. Të fuqishëm për detyra të mëdha, por më të shtrenjtë dhe më të vështirë për t'u kontrolluar.

Multimodal AI

IA multimodale

IA multimodale është një model që punon me disa lloje të dhënash njëherësh — tekst, foto, zë, video. P.sh. mund t'i dërgosh foton e një detyre matematike dhe ta pyesësh me zë si zgjidhet.

Naive Bayes

Naive Bayes përdor teoremën e Bayes-it për të llogaritur probabilitetin e një klase nga fjalët ose veçoritë. Supozon që veçoritë janë të pavarura (rrallë e vërtetë), por funksionon çuditërisht mirë — filtrat e parë të spam-it ishin të tillë.

Named entity recognition (NER)

Njohja e emrave të përveçëm

NER gjen dhe klasifikon emrat në tekst: persona („Arta“), vende („Tirana“), organizata, data, shuma parash. Përdoret për të nxjerrë të dhëna nga dokumente, email-e dhe lajme. spaCy është libraria klasike.

Neural network

Rrjet nervor

Rrjeti nervor është një model i frymëzuar nga truri: shumë „neurone“ të vogla, të lidhura në shtresa, që i kalojnë numra njëri-tjetrit. Gjatë trajnimit, lidhjet forcohen ose dobësohen derisa rrjeti të japë përgjigje të sakta.

NLP (Natural Language Processing)

Përpunim i gjuhës natyrore

NLP-ja është fusha e IA-së që merret me gjuhën e njerëzve: përkthim, kuptim i tekstit, përmbledhje, njohje e zërit. LLM-të janë hapi më i madh i NLP-së deri tani.

Normal distribution (bell curve)

Shpërndarja normale

Shumë gjëra (gjatësia, notat, gabimet e matjeve) shpërndahen si „kambanë“: shumica afër mesatares, pak në skaje. Rreth 68% e vlerave janë brenda një devijimi standard nga mesatarja.

Notebook best practices

Praktikat e mira me fletoret Jupyter

Fletoret Jupyter bëhen shpejt rrëmujë: qeliza të ekzekutuara jashtë rendit, variabla që s'ekzistojnë më. Bëj „Restart & Run All“ rregullisht, mbaji qelizat në rend, dhe kur kodi piqet, kaloje në skedarë .py me teste.

NumPy arrays

Vargjet NumPy

NumPy jep vargje numrash shumë të shpejta për llogaritje matematikore — mbledh, shumëzo ose llogarit mesataren e miliona numrave me një rresht. Pothuajse çdo librari AI dhe të dhënash në Python ndërtohet mbi të.

Object detection & segmentation

Zbulimi i objekteve dhe segmentimi

Zbulimi i objekteve gjen çfarë ka në foto dhe ku (kuti rreth çdo makine ose personi) — YOLO e bën në kohë reale. Segmentimi shënon çdo piksel (ky është rrugë, ky këmbësor). Përdoret në vetura autonome dhe kamera sigurie.

OCR (optical character recognition)

Njohja optike e teksteve

OCR e kthen tekstin nga fotot ose dokumentet e skanuara në tekst të redaktueshëm. Tesseract është falas; modelet moderne multimodale lexojnë edhe dorëshkrime, tabela dhe fatura — edhe shqip.

One-hot & label encoding

Kodimi i kategorive

Modelet kuptojnë numra, jo fjalë. „One-hot“ e kthen një kolonë me qytete në disa kolona 0/1 (Tirana, Prishtina, Shkodra); „label encoding“ u jep numra (0, 1, 2) — por kujdes, modeli mund të mendojë se 2 > 1 ka kuptim.

ONNX & model formats

ONNX dhe formatet e modeleve

Modelet ruhen në formate të ndryshme: ONNX (për ta kaluar nga PyTorch në çdo platformë), safetensors (format i sigurt i Hugging Face), GGUF (për modele lokale me llama.cpp dhe Ollama).

Open data & public datasets

Të dhënat e hapura

Shumë institucione publikojnë të dhëna falas: INSTAT në Shqipëri, ASK në Kosovë, Eurostat, Banka Botërore, Kaggle. Projekte me të dhëna reale vendore janë shumë të vlefshme në portofol.

Open-source AI models (Llama, Mistral, Qwen)

Modelet AI me kod të hapur

Përveç modeleve të mbyllura, ka modele me pesha të hapura që i shkarkon dhe i ekzekuton vetë: Llama (Meta), Mistral, Qwen, DeepSeek, Gemma (Google). Të dobishme për privatësi, kosto dhe përshtatje.

Open-weight model

Model me pesha të hapura

Modeli me pesha të hapura është një model IA që publikohet që ta shkarkosh dhe ta përdorësh vetë, edhe në kompjuterin tënd pa internet — p.sh. Llama ose Mistral. Ndryshon nga modelet që i përdor vetëm përmes faqes ose API-së së një kompanie.

Optimizers (SGD, Adam)

Optimizuesit

Optimizuesi vendos si ndryshohen peshat pas çdo hapi: SGD (i thjeshtë), me momentum (mban drejtimin), Adam (përshtat shpejtësinë për çdo peshë — parazgjedhja më e zakonshme). Shpesh shpejtësia e mësimit ulet gradualisht gjatë trajnimit.

Outliers

Vlerat e jashtëzakonshme

Një „outlier“ është vlerë shumë larg të tjerave — p.sh. një pagë 100 herë më e madhe. Mund të jetë gabim, ose ngjarje e rëndësishme (mashtrim). E prish mesataren, prandaj mediana është shpesh më e besueshme.

Overfitting

Mbipërshtatje

Overfitting ndodh kur një model i mëson përmendësh shembujt e trajnimit, në vend që ta kuptojë rregullin. Te të dhënat që i ka parë del i përsosur, por me të dhëna të reja gabon shumë.

Parquet & data file formats

Parquet dhe formatet e skedarëve të të dhënave

Për shumë të dhëna, CSV-ja është e ngadaltë dhe e madhe. Parquet i ruan të dhënat sipas kolonave dhe të ngjeshura — shpesh 10 herë më i vogël dhe shumë më i shpejtë për analiza. Apache Arrow është formati në memorie.

Percentiles, quartiles & box plots

Percentilet dhe kuartilet

Percentili i 90-të është vlera nën të cilën bien 90% e të dhënave. Kuartilet ndajnë të dhënat në katër pjesë; „box plot“ i shfaq në një grafik me medianën, kutinë (50% e mesit) dhe vlerat e jashtëzakonshme.

Positional encoding

Kodimi i pozicionit

Transformer-at i shohin të gjitha fjalët njëkohësisht, prandaj duhet t'u thuhet ku është secila në fjali („qeni kafshoi njeriun“ ≠ „njeriu kafshoi qenin“). Kodimi i pozicionit (si RoPE) shton këtë informacion.

Pretraining vs fine-tuning

Para-trajnimi kundrejt përshtatjes

Para-trajnimi i mëson një modeli gjuhën nga sasi gjigante teksti (muaj dhe miliona euro) — rezultati quhet „model bazë“. Fine-tuning e përshtat më pas për detyra të veçanta me shumë më pak të dhëna.

Probability basics

Bazat e probabilitetit

Probabiliteti mat sa e mundshme është një ngjarje, nga 0 (e pamundur) në 1 (e sigurt). AI-ja bazohet tek ai: një model klasifikimi s'thotë „mace“, por „92% mace“.

Prompt

Prompt-i është teksti ose pyetja që i shkruan një modeli të inteligjencës artificiale. Sa më i qartë dhe më i detajuar të jetë prompt-i, aq më e mirë del përgjigjja.

Prompt caching

Cache-i i prompt-eve

Kur dërgon shumë herë të njëjtin fillim të gjatë (udhëzime, dokumente), API-të e LLM-ve mund ta ruajnë në cache — përgjigjet bëhen më të shpejta dhe deri në 90% më të lira për atë pjesë.

Prompt engineering techniques

Teknikat e shkrimit të prompt-eve

Prompt-et e mira: jepi modelit kontekst dhe qëllim të qartë, ndaj pjesët me etiketa (<dokument>…</dokument>), jepi shembuj, kërko formatin e daljes, dhe lëre të mendojë hap pas hapi për probleme të vështira. Provoji me evals.

Prompt injection

Injektimi i prompt-it

Prompt injection ndodh kur dikush fsheh udhëzime në tekstin që lexon një model IA — në një faqe, email ose dokument — me shpresë që modeli t'i ndjekë në vend të udhëzimeve të përdoruesit. Është rreziku kryesor i sigurisë për agjentët IA.

Quantization

Kuantizimi

Kuantizimi i ruan peshat e modelit me më pak bit (p.sh. 4 në vend të 16), kështu modeli zë 4 herë më pak memorie dhe punon më shpejt, me pak humbje cilësie. Kështu modelet e mëdha nxënë në laptop.

RAG (Retrieval-Augmented Generation)

RAG është një teknikë ku, para se LLM-ja të përgjigjet, programi gjen dokumentet më të përshtatshme (p.sh. me embedding-e) dhe ia jep modelit bashkë me pyetjen. Kështu përgjigjja bazohet në informacion të vërtetë dhe të freskët, jo vetëm në kujtesën e modelit.

Reasoning models & test-time compute

Modelet që arsyetojnë

Modelet „arsyetuese“ mendojnë hap pas hapi para se të përgjigjen (si chain-of-thought i brendshëm), duke përdorur më shumë llogaritje gjatë përgjigjes. Janë shumë më të mira në matematikë, kod dhe probleme logjike, por më të ngadalta dhe më të shtrenjta.

Recommendation systems

Sistemet e rekomandimit

Sistemet e rekomandimit vendosin çfarë të të shfaqin — videot në TikTok dhe YouTube, këngët në Spotify, produktet në dyqane online — duke parë çfarë ke pëlqyer ti dhe njerëz të ngjashëm me ty.

Reducing hallucinations

Zvogëlimi i halucinacioneve

Halucinacionet zvogëlohen duke i dhënë modelit burimet (RAG) dhe duke i kërkuar të citojë, duke e lejuar të thotë „s'e di“, me temperaturë të ulët për fakte, dhe duke kontrolluar daljet e rëndësishme me evals ose me një njeri.

Regression (machine learning)

Regresioni

Regresioni është lloji i machine learning që parashikon një numër — çmimin e një banese, temperaturën e nesërme, notën në provim. Regresioni linear vizaton vijën më të mirë mes pikave.

Regression metrics (MAE, RMSE, R²)

Metrikat e regresionit

Për parashikime numrash: MAE është gabimi mesatar (p.sh. „gabojmë mesatarisht 3 000 €“), RMSE i dënon më shumë gabimet e mëdha, R² tregon sa nga ndryshimi i të dhënave shpjegon modeli (1 = perfekt).

Regularization & dropout

Rregullimi (regularization)

Teknika që ndalojnë modelin të mësojë përmendsh: L1/L2 dënojnë peshat e mëdha, dropout „fik“ rastësisht neurone gjatë trajnimit, early stopping e ndal trajnimin kur rezultati te validimi fillon të keqësohet.

Reinforcement learning

Mësim përmes shpërblimit

Në mësimin përmes shpërblimit, programi mëson duke provuar: merr „shpërblim“ kur bën diçka mirë dhe „ndëshkim“ kur gabon, derisa e gjen strategjinë më të mirë. Kështu mësuan kompjuterët të fitojnë në shah dhe në Go.

Reproducibility in data & ML

Riprodhueshmëria në të dhëna dhe ML

Një rezultat që s'mund ta përsërisësh s'ka vlerë. Fikso „seed“-et e rastësisë, versionet e librarive (requirements, uv.lock), versionin e të dhënave dhe kodin — që ti ose kolegu të marrë të njëjtin rezultat pas një muaji.

RLHF (learning from human feedback)

Mësimi nga vlerësimet e njerëzve

Pas para-trajnimit, modelet si Claude dhe ChatGPT përmirësohen duke mësuar nga vlerësimet e njerëzve (cila përgjigje është më e mirë) — kështu bëhen më të dobishme, më të sinqerta dhe më të sigurta.

RNNs & LSTMs

Rrjetet rekurrente dhe LSTM

Rrjetet rekurrente lexojnë sekuenca (tekst, zë, seri kohore) element pas elementi duke mbajtur një „kujtesë“. LSTM dhe GRU e mbajnë kujtesën më gjatë. Sot Transformer-at i kanë zëvendësuar në shumicën e detyrave.

Sampling & sampling bias

Mostra dhe anshmëria e mostrës

Rrallë studiojmë të gjithë popullsinë — marrim një mostër. Po mostra s'është përfaqësuese (p.sh. pyet vetëm studentët e Tiranës për gjithë Shqipërinë), përfundimet janë të gabuara. „Survivorship bias“ është kur shohim vetëm suksesshmit.

Sampling: top-p, top-k & max tokens

Parametrat e gjenerimit

Përveç temperaturës, mund të kontrollosh: max_tokens (sa e gjatë përgjigjja), top-p/top-k (sa fjalë të mundshme merren parasysh), dhe stop sequences (ku ndalet). Për përgjigje të sakta, temperaturë e ulët; për kreativitet, më e lartë.

Scaling laws

Ligjet e shkallëzimit

Kërkimet treguan që LLM-të përmirësohen në mënyrë të parashikueshme kur rriten bashkë madhësia e modelit, sasia e të dhënave dhe fuqia llogaritëse. Kjo shpjegon garën për modele dhe qendra të dhënash gjithnjë e më të mëdha.

Self-supervised & semi-supervised learning

Mësimi vetë-mbikëqyrës

Te mësimi vetë-mbikëqyrës, modeli krijon vetë „etiketat“ nga të dhënat — p.sh. fsheh një fjalë dhe përpiqet ta gjejë. Kështu u trajnuan LLM-të mbi miliarda faqe pa etiketa njerëzore. Gjysmë-mbikëqyrës kombinon pak të dhëna të etiketuara me shumë pa etiketa.

Semantic search

Kërkimi semantik

Kërkimi semantik gjen tekste sipas kuptimit, jo sipas fjalëve të sakta: „si bëhet një cikël“ gjen edhe „for loop“. Tekstet kthehen në embedding dhe krahasohen me ngjashmëri kosinusi.

Sentiment analysis

Analiza e ndjenjave

Analiza e ndjenjave vendos nëse një tekst është pozitiv, negativ apo neutral — p.sh. komentet e klientëve ose postimet në rrjete sociale. Bizneset e përdorin për të ndjekur reputacionin.

Simpson's paradox

Paradoksi i Simpson-it

Një trend që shfaqet në çdo grup mund të zhduket ose të përmbyset kur grupet bashkohen — për shkak të një faktori të fshehur. Shembull klasik: një spital duket më i keq në total, por është më i mirë për çdo lloj pacienti.

Small & local models (Ollama)

Modelet e vogla dhe lokale

Jo çdo model duhet të jetë gjigant: modelet e vogla me „pesha të hapura“ punojnë në laptopin tënd me Ollama ose LM Studio — falas, pa internet dhe pa ua dërguar të dhënat të tjerëve.

Speech-to-text

Njohja e zërit

Speech-to-text e kthen zërin në tekst — si diktimi në telefon ose titrat automatike. Modele si Whisper e bëjnë këtë shumë mirë edhe për shqipen.

Speech-to-text (Whisper)

Kthimi i zërit në tekst

Modelet si Whisper (OpenAI, open source) e kthejnë audion në tekst në dhjetëra gjuhë, përfshirë shqipen — për titra, shënime takimesh dhe asistentë zanorë. Mund të ekzekutohen edhe lokalisht.

SQL for data analysts

SQL për analistët e të dhënave

Për analistët, SQL-ja është mjeti nr. 1: SELECT, WHERE, GROUP BY, JOIN dhe window functions mjaftojnë për shumicën e pyetjeve të biznesit. Shpesh kërkohet në çdo intervistë për analist të dhënash.

Streaming responses

Përgjigjet që vijnë me rrjedhë

Në vend që të presësh gjithë përgjigjen, API-të e LLM-ve e dërgojnë fjalë pas fjale (streaming, zakonisht me SSE) — prandaj ChatGPT dhe Claude „shkruajnë“ para syve të tu. Ndjehet shumë më i shpejtë.

Structured output & tool use

Rezultatet e strukturuara dhe përdorimi i veglave

LLM-të mund të kthejnë JSON sipas një skeme të caktuar, ose të „thërrasin vegla“ (funksione që ti i përcakton — p.sh. kërko motin, lexo databazën). Kështu ndërtohen agjentët dhe aplikacionet e besueshme me AI.

Supervised learning

Mësim i mbikëqyrur

Në mësimin e mbikëqyrur, modeli trajnohet me shembuj që e kanë përgjigjen e saktë të shënuar — p.sh. mijëra email-e të etiketuar „spam“ ose „jo spam“. Pastaj mëson t'i etiketojë vetë email-et e rinj.

Support vector machines (SVM)

Makinat me vektorë mbështetës

SVM gjen „rrugën më të gjerë“ që ndan dy klasa pikash. Me „kernel trick“ mund të ndajë edhe të dhëna që s'ndahen me vijë të drejtë. Shumë popullor para deep learning-ut.

Synthetic data

Të dhënat sintetike

Të dhënat sintetike krijohen nga programe ose AI në vend që të mblidhen nga bota reale — për të mbrojtur privatësinë, për rastet e rralla ose kur s'ka mjaftueshëm të dhëna. Rrezik: modeli mëson gabimet e gjeneratorit.

System prompt

Udhëzimet e sistemit

Prompt-i i sistemit janë udhëzimet që i jepen një chatbot-i para bisedës — rolin, tonin, rregullat. P.sh. „Je mësues i durueshëm që shpjegon programim në shqip“.

Temperature (AI)

Temperatura (IA)

Temperatura është një rregullim i LLM-së që vendos sa „i guximshëm“ është modeli kur zgjedh fjalët. Me temperaturë të ulët përgjigjet janë më të sigurta dhe të përsëritshme; me të lartë, më kreative por edhe më të paparashikueshme.

Text classification

Klasifikimi i teksteve

Klasifikimi i teksteve i cakton çdo teksti një kategori: spam/jo spam, tema e lajmit, departamenti që duhet t'i përgjigjet një email-i. Sot shpesh bëhet me embedding + model i thjeshtë, ose direkt me një LLM.

Text summarization

Përmbledhja e teksteve

Përmbledhja „ekstraktive“ zgjedh fjalitë më të rëndësishme nga teksti; „abstraktive“ shkruan një përmbledhje të re me fjalët e veta — si bëjnë LLM-të. Kujdes: përmbledhjet mund të harrojnë ose shpikin detaje.

Text-to-speech

Leximi me zë i tekstit

Text-to-speech e kthen tekstin në zë njerëzor. Butoni „Dëgjo“ në këtë fjalor përdor zërin shqip Edon nga folsh.ai, të krijuar me një model TTS.

Time series & forecasting

Seritë kohore dhe parashikimi

Të dhënat me kohë (shitjet, temperaturat, trafiku) kanë trend (rritje afatgjatë), sezonalitet (përsëritje javore ose vjetore) dhe zhurmë. Modelet si ARIMA, Prophet ose rrjetet neurale parashikojnë të ardhmen nga këto modele.

Token (AI)

Token (IA)

Për një LLM, teksti ndahet në copa të vogla që quhen token-a — zakonisht një fjalë ose pjesë fjale. Modeli lexon dhe shkruan token pas token-i, dhe shërbimet IA shpesh e matin përdorimin dhe çmimin me token-a.

Tokenization

Tokenizimi

Para se ta lexojë, LLM-ja e ndan tekstin në „token-a“ — copa fjalësh. Fjalët angleze të zakonshme janë një token; fjalët shqipe shpesh ndahen në disa, prandaj teksti shqip „kushton“ më shumë token-a.

Train / test split

Ndarja e të dhënave për trajnim dhe test

Para se të trajnosh një model, i ndan të dhënat: një pjesë e madhe për trajnim dhe një pjesë që modeli s'e sheh kurrë, për test. Vetëm kështu e di nëse modeli ka mësuar vërtet apo thjesht i ka mësuar përmendësh.

Training (AI)

Trajnim

Trajnimi është procesi kur një model IA shikon shumë shembuj dhe i rregullon vetë numrat e tij të brendshëm, derisa të gabojë sa më pak. Për modelet e mëdha, trajnimi zgjat javë dhe kërkon mijëra GPU.

Transfer learning

Transferimi i njohurive

Në vend që të trajnosh nga zero, merr një model të trajnuar tashmë mbi miliona foto ose tekste dhe e përshtat për detyrën tënde me pak të dhëna. Kështu edhe një student me një laptop mund të ndërtojë modele të fuqishme.

Transformer (AI)

Transformer-i është lloji i rrjetit nervor që qëndron pas LLM-ve të sotme si GPT-ja dhe Claude-i. Ideja kryesore quhet „attention“: për çdo fjalë, modeli shikon cilat fjalë të tjera në fjali janë më të rëndësishme për ta kuptuar atë.

Underfitting & the bias-variance tradeoff

Nën-përshtatja

Nën-përshtatja: modeli është shumë i thjeshtë dhe s'e kap as modelin te të dhënat e trajnimit. Mbi-përshtatja: e mëson përmendsh dhe dështon te të dhëna të reja. Qëllimi është balanca mes tyre.

Unsupervised learning

Mësim i pambikëqyrur

Në mësimin e pambikëqyrur, modeli merr të dhëna pa përgjigje dhe gjen vetë grupe ose modele të fshehura — p.sh. i ndan klientët e një dyqani në grupe sipas asaj që blejnë.

Using AI APIs

Përdorimi i API-ve të AI

Mund ta futësh një LLM në aplikacionin tënd përmes API-së (Anthropic, OpenAI, Google): dërgon mesazhet, merr përgjigjen. Paguan sipas token-ave. Mos e vendos kurrë çelësin e API-së në kodin e frontend-it.

Using AI to learn programming

Përdorimi i AI-së për të mësuar programim

AI-ja është mësues i shkëlqyer po e përdor mirë: kërko shpjegime, pyet „pse?“, kërko ushtrime dhe rishikim të kodit tënd. Mos e kopjo zgjidhjen pa e kuptuar — përndryshe s'mëson asgjë dhe s'e kalon intervistën.

Vanishing & exploding gradients

Gradientët që zhduken ose shpërthejnë

Në rrjete shumë të thella, gradientët mund të bëhen aq të vegjël (zhduken) ose aq të mëdhenj (shpërthejnë) sa trajnimi ngec. Zgjidhjet: ReLU, „batch normalization“ dhe lidhjet „residual“ (ResNet) — pjesë e çdo rrjeti modern.

Variance & standard deviation

Varianca dhe devijimi standard

Devijimi standard mat sa larg mesatares janë zakonisht vlerat. I vogël: notat janë afër njëra-tjetrës; i madh: shumë të shpërndara. Varianca është katrori i tij.

Vibe coding & agentic coding

„Vibe coding“ dhe kodimi me agjentë

„Vibe coding“ do të thotë t'i përshkruash AI-së çfarë do dhe ta lësh të shkruajë gjithë kodin. Agjentë si Claude Code mund të lexojnë projektin, të ekzekutojnë teste dhe të bëjnë commit-e. I fuqishëm — por duhet ta kuptosh dhe rishikosh atë që ndërtohet.

Voice AI & realtime assistants

Asistentët zanorë me AI

Asistentët zanorë modernë kombinojnë dëgjimin (speech-to-text), të menduarit (LLM) dhe të folurit (text-to-speech) — ose i bëjnë të gjitha në një model „realtime“ — për biseda të natyrshme me vonesë të vogël.

Word2Vec, BERT & GPT

Word2Vec, BERT dhe GPT

Word2Vec (2013) i ktheu fjalët në vektorë ku „mbret − burrë + grua ≈ mbretëreshë“. BERT (2018, encoder) kupton tekstin në të dyja drejtimet — i mirë për klasifikim. GPT (decoder) parashikon fjalën e radhës — i mirë për të shkruar.

Zero-shot vs few-shot

Pa shembuj dhe me pak shembuj

„Zero-shot“ do të thotë t'i kërkosh modelit një detyrë pa asnjë shembull; „few-shot“ i jep 2–5 shembuj në prompt. LLM-të mësojnë nga shembujt brenda kontekstit („in-context learning“) pa u ritrajnuar.