Embedding models & similarity
Në shqip: Modelet e embedding-ut
ShpjegimiSQ
Modelet e embedding-ut (p.sh. nga OpenAI, Voyage, Cohere ose open source si BGE) e kthejnë një tekst në një varg numrash. Tekstet me kuptim të ngjashëm kanë vektorë të afërt — matur me ngjashmërinë kosinus.
EnglishEN
Embedding models (e.g. from OpenAI, Voyage, Cohere or open-source ones like BGE) turn text into a list of numbers. Texts with similar meaning get nearby vectors — measured with cosine similarity.
Si ta mendosh
Si t'i vendosësh fjalët në një hartë ku kuptimet e ngjashme janë fqinjë.
Lexoje në anglisht
Like placing words on a map where similar meanings are neighbours.
Shembull kodipython
import numpy as np
def ngjashmeria(a, b):
return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))