Kûrkirina Têgihiştina Çawa AI Konteksên Cuda Fêm Dike
Ji hêla Kerem Muldur ve hatiye nivîsandin
Wekî mirovan, em dikarin bi jiyan û danûstandinê wateyên kontekstî yên têgehan fêm bikin. Mînakî, hûn dikarin fêm bikin ku “serokkomar” çi ye, ji ber ku hûn kirinên wî dibînin, li televîzyonê temaşeya wî dikin û hwd. Lêbelê, modelên zimanê yên mezin (LLM), wekî ChatGPT û Gemini, nikarin tiştên ku di cîhanê de diqewimin bi xwe biceribînin. Pirsê ku niha dê were hişê we ev e: “Ew çawa fêm dikin?” Hûn li cihê rast in ku vê yekê fêr bibin, ji ber ku di vê gotarê de em ê perdeyê ji ser pêvajoya ku AI-ya nûjen peyvan vediguherîne hejmaran, têkiliyên wan fêm dike û hevokên tevahî di carekê de pêvajoyê dike, rake. Ji bo fêmkirina vê yekê ne hewce ye ku hûn bawernameya bernamesaziyê hebin; tenê meraq û hezkirina fikirên mezin ên ku bi têgehên naskirî tên ravekirin bes e.
AI Çawa Peyvan Fêr Dibe?
Dema ku kesek dipirse gelo ördek û gol an jî balafir û pîlot bi hev ve girêdayî ne, em ê îhtîmal e bêjin erê. Lê AI çawa dikare vê têkiliyê mîna mejiyê me ava bike? Li vir rêya me bi qada vektorê re hevdu dibîne. Xeyal bikin ku qadeke pir mezin heye ku bi sedan eksên nedîtî tê de hene; ev eks ji X, Y û Z yên ku em nas dikin pir wêdetir in. Di vê cîhana pir-alî de, her peyv wekî xalekê dijî. Di destpêkê de, ev xalan bi awayekî bêpergal belav dibin, mîna ku kesek bi çavên girtî tîrê bavêje. Lê di dema perwerdekirinê de, model bi mîlyaran hevokan dixwîne û cihê her peyvê ji nû ve saz dike, da ku ew nêzî peyvên ku di kontekstên wekhev de derbas dibin bibe. Ji ber vê yekê, “padîşah” û “queen” nêzî hev tên bicihkirin, lê “padîşah” û “mûz” ji hev dûr dimînin. Ev pêvajoya domdar a sererastkirin û rastkirinê ye ku AI bi riya wê wateya peyvan “fêr dibe”.
Lîsteya hejmaran ku wekî vektor tê binavkirin û koordînatên peyvekê di wê qada pir-alî de nîşan dide, embedding tê gotin. Heke AI-ya me 768 alî bi kar bîne, wê demê her yek ji van 768 cihan taybetmendiyekê temsîl dike; dibe ku ev taybetmendî pirsên wekî “Ma ev têkildarî fêkiyan heye?”, “Ma ev erênî ye?” an jî “Ma ev di pijandinê de gelemperî ye?” bin. Bi berawirdkirina du vektoran, model dikare asta wekheviyê bipîve: heke ew nêzî hev bin, têkildar in; heke na, têkildar nînin.
Tokenîzekirin
Berî embeddingê, divê em hevokan bibirin perçeyên biçûk ên ku jê re token tê gotin. Token dikare peyveke tevahî be (“running”), beşek ji peyvekê be (“run” + “ning”), an jî tenê tîpên yekane be. Ev yek girîng e, ji ber ku bê vê yekê peyvên nû an kêm tê bikaranîn (mîna “chatGPT’ing”) dê ji destê modelê derkevin. Yek ji teknîkên populer ji bo pêkanîna tokenîzekirinê, bikaranîna Byte-Pair Encoding (BPE) ye. Di vê teknîkê de, hûn bi her tîpekê wekî tokeneke cuda dest pê dikin û dû re cotên herî gelemperî yên tîpên cîran gelek caran li hev dikin. Mînakî, “a” + “t” → “at”. Ev yek berdewam dike heta ku peyv û beşên peyvan ên têr û guncav ên ku dikarin werin bikaranîn, bên bidestxistin. Ev tevlihevî dihêle ku AI hem peyvên naskirî û hem jî peyvên bi tevahî nû bi hêsanî pêvajoyê bike.
RNN li hember Guhdariya Paralel
Dema ku peyv di qada vektorê de cihê xwe digirin, AI wan bi peyvên din re berawird dike da ku perwerdekirina xwe berdewam bike. Berî ku AI-ya nûjen bikaribe hevokên tevahî di carekê de pêvajoyê bike, ew Torên Nêral ên Dubare (RNN) bi kar dianî ku peyvan yek bi yek dixwendin; mîna lîstika ragihandina peyaman bi pispisî. Her peyv “rewşeke” veşartî digihand peyva paşîn: “The → cat → sat → on…” Piştî demekê, dibe ku peyama destpêkê bi tevahî winda bibe.
Ev pirsgirêk pirsê derxist holê: Çi dibe heke her peyv bikaribe di heman demê de hemû peyvên din bibîne? Li vir mekanîzmaya self-attention (baldariya xwe) derdikeve pêş, ku mîna sohbeteke komî dixebite. Hemû token di heman demê de pirs û bersivan diweşînin: “Niha tu ji bo min çiqas girîng î?” Ji ber ku ev pêvajo bi awayekî paralel pêk tê, heta peyva “not” a di destpêka hevokeke dirêj de jî bandorê li peyva “happy” a di dawiyê de dike.
Naskirina Transformer: Bikaranîna Self-Attention
Transformer tokenên ku di destpêkê de bi awayekî bêpergal hatine embeddingkirin digire û vektorên wan sererast dike. Bi gotineke din, ew ji çend gavan pêk tê ku tokenan di qada vektorê ya mezin de ji nû ve bicih dike, peyvên têkildar nêzî hev dike û hwd.
Naskirina Transformer: Bikaranîna Self-Attention
Transformer tokenên me yên ku bi awayekî bêpergal hatine embeddingkirin digire û bi rêzek gavan ên armancdar, peyvên têkildar di wê qada pir-alî de nêzî hev dike, di heman demê de peyvên netêkildar ji hev dûrtir dixe. Ew vê yekê bi modûlekê ya dubarebar pêk tîne ku jê re encoder layer tê gotin û ev modûl çend caran tê dubarekirin. Her qat komek vektorên tokenan wekî têketinê digire (wan wekî xalên li ser nexşeyekê bifikirin) û dû re self-attention, normalîzekirin û toreke nêral a biçûk bi kar tîne da ku cihê her tokenê hêdî hêdî sererast bike û wateya wê ya rastîn a di kontekstê de nîşan bide.
Projekerandina Tokenan bo Q, K û V
Di hundirê her qata encoderê de, her vektora tokenê ya X bi sê matrixên fêrkirî tê zêdekirin da ku vektorên Query (Q), Key (K) û Value (V) bên afirandin. Ev matrix bi tenê tabloyên hejmaran in ku model di dema perwerdekirinê de fêr bûye. Ew bi awayekî optimîze hatine amadekirin ku dema hûn vektora tokenekê bi yek ji van matrixan zêde dikin, mînakî, encam vektoreke “pirsê” ya guncav derdikeve ku li ser tokenên din agahî dixwaze. Ev projekerandin her tokenê ji bo berawirdkirina wekheviyê dixwîne.
Hesabkirina Wekheviyê û Derketinên Attention
Di gava din de, em Q-ya her tokenê digirin û bi rêya çêkirina hilberîna noktî (dot product), wê bi K-ya hemû tokenên din re berawird dikin. Hilberîna noktî ya bilindtir tê wê wateyê ku du token di heman alî de ne; bi gotineke din, ew wateyên hevpar hene. Dû re em fonksiyona softmaxê bi kar tînin da ku van puanên xav veguherînin giranîyên erênî yên ku berhev dikin 1. Di dawiyê de, vektora nû ya her tokenê wekî berhevkirina giranîdar a hemû vektorên V tê hesibandin. Ev derketina attention-ê tam nîşan dide ka her tokena cîran divê çiqas kontekstê zêde bike. Bi vî awayî, cihê her tokenê ji nû ve tê sererastkirin û ew nêzî wan tokenan dibe ku herî zêde girîngî didê.
Girêdanên Mayî, Normalîzekirin û Rêzkirina Qatan
Dema ku me derketina attention-ê bi dest xist, em wê li têketina orîjînal a tokenê zêde dikin (ev yek jê re residual connection tê gotin), da ku agahiyên ku me di destpêkê de hebûn winda nebin. Dû re em normalîzekirina qatan pêk tînin da ku nirxan nehêlin pir mezin bibin an jî winda bibin. Bi vê yekê, yek qata encoderê temam dibe. Em van vektorên normalîzekirî dixin qata paşîn û pêvajoya projekerandin, pîvandina wekheviyê, giranîdan û normalîzekirinê dubare dikin. Her derbasbûn cihê tokenan hê zêdetir rast dike; qatên destpêkê dikarin têkiliyên hêsan ên di navbera peyvan de nas bikin, lê qatên kûrtir şêwazên tevlihev ên kontekstî digirin. Ev pêvajo berdewam dike heta ku her token di cihê xwe yê guncav de bê bicihkirin.
Çavkanî:
1-Uma, C. (2024, June 3). What is text embedding for AI? Transforming NLP with AI. DataCamp. https://www.datacamp.com/blog/what-is-text-embedding-ai
2- Alammar, J. (2018, August 28). The illustrated Transformer. Retrieved June 29, 2025, from https://jalammar.github.io/illustrated-transformer
3- Reimers, N., & Gurevych, I. (2020). Contrastive learning of sentence embeddings. arXiv. https://arxiv.org/abs/2002.05642
4- Rogers, A., Kovaleva, O., & Rumshisky, A. (2020). A primer in BERTology: What we know about how BERT works. arXiv. https://arxiv.org/abs/2002.12327
5- Villas‑Boas, R. (2018, November 2). Making NLP easy: Simple techniques for word vectorization and cosine similarity. Medium. https://medium.com/@florvela/making-nlp-easy-simple-techniques-for-word-vectorization-and-cosine-similarity-e6ef94586f71
6- Zilliz. (2021, May 10). Vector search in production with HNSW and FAISS. Retrieved June 29, 2025, from https://zilliz.com/blog/vector-search-in-production-with-hnsw-and-faiss
7- Sidorov, G., Gelbukh, A., Gómez‑Adorno, H., & Pinto, D. (2014). Soft cosine measure. In Similarity Search and Applications (pp. 13–24). Springer. https://link.springer.com/chapter/10.1007/978-3-642-24551-9_13





Comments