What is a "token" in the context of how a Large Language Model processes text?

A small chunk of text, roughly a word or part of a word. An LLM first splits text into tokens. A token is roughly a word or part of a word. Research on subword units showed that a rare word can be written as several smaller pieces. The model then calculates a probability for every possible next token. The other options describe a security key, GPU memory and a training example. None of these is a token. Read more: SciTech0136 — Large Language Models (LLMs).

Modern Large Language Models are built on an architecture introduced in the 2017 paper "Attention Is All You Need". What is this architecture called?

Transformer. The 2017 paper proposed the Transformer. It is based only on attention and drops recurrence and convolutions. It trains faster because many computations run in parallel. GPT-3 uses transformer layers, and the largest Llama 3 model is a dense Transformer. Recurrent and convolutional networks were the older approach that the paper replaced. Read more: SciTech0136 — Large Language Models (LLMs).

During training, an LLM's prediction error is measured as a loss. Which kind of method then adjusts its parameters to reduce that loss?

Gradient-based optimisation, such as the Adam optimiser. Pre-training measures error as a cross-entropy loss. A gradient-based optimiser then nudges the parameters to lower it. GPT-3 used the Adam optimiser and clipped the gradient at 1.0. The Adam paper describes Adam as an algorithm for first-order gradient-based optimization. Retrieval is a separate technique that helps at answer time, not in training. Read more: SciTech0136 — Large Language Models (LLMs).

Consider the following statements about Large Language Models: 1. Biases in training data can lead an LLM to produce stereotyped content. 2. Hallucination means producing fluent, confident text that is false. 3. Fine-tuning with human feedback removes hallucination completely. Which of the statements given above is/are correct?

1 and 2 only. Statements 1 and 2 are correct. The GPT-3 paper warns that biased data can give stereotyped output. NIST defines confabulation as confidently stated but false content. Statement 3 is wrong. InstructGPT improved truthfulness with human feedback, but its authors say it still makes simple mistakes. Read more: SciTech0136 — Large Language Models (LLMs).

A PIB release of 13 February 2026 listed support under the IndiaAI Innovation Centre (Foundation Models) pillar. Which organisation received the largest total support?

BharatGen, the IIT Bombay-led consortium. BharatGen received Rs 1,058.52 crore, made of Rs 990.92 crore compute support and Rs 67.60 crore other costs. Sarvam received Rs 246.72 crore. Gnani received Rs 177.27 crore and Soket AI Rs 177.08 crore. Twelve organisations were selected in all. PIB of 25 November 2025 says BharatGen is supported under the NM-ICPS of the Department of Science and Technology. It says Rs 235 crore is channelled through the Technology Innovation Hub at IIT Bombay. Read more: SciTech0136 — Large Language Models (LLMs).

As of August 2026, from 506 applications, how many indigenous foundation model proposals had the Government selected under the IndiaAI Mission?

20. PIB's factsheet of 13 August 2026 says the Government selected 20 proposals from 506 applications. Twelve are large multimodal models and eight are small language models. Do not confuse this with the twelve organisations that PIB listed in February 2026. Eight is only the count of small language models. Read more: SciTech0136 — Large Language Models (LLMs).

The Cabinet approved the IndiaAI Mission on 7 March 2024. What budget outlay did it approve?

Rs 10,371.92 crore. The Cabinet approved Rs 10,371.92 crore for the IndiaAI Mission, to be run by the IndiaAI Independent Business Division under the Digital India Corporation. Rs 1,058.52 crore is BharatGen's support and Rs 246.72 crore is Sarvam's. Rs 76,000 crore is the Semicon 1.0 outlay, a separate semiconductor programme. Read more: SciTech0136 — Large Language Models (LLMs).

बड़े भाषा मॉडल (Large Language Models—LLMs)

LLM किसी उत्तर को खोजकर नहीं लाता। वह हर संभव अगले टोकन की संभावना की गणना करता है, एक टोकन चुनता है और यही प्रक्रिया दोहराता है। इसी एक चक्र से समझ आता है कि LLM की भाषा सहज क्यों लगती है, उसमें पक्षपात क्यों हो सकता है और वह कभी-कभी गलत बातें पूरे विश्वास से क्यों कहता है। UPSC ने 2026 में इन्हीं विचारों पर प्रश्न पूछे। यह पाठ पहले इस प्रक्रिया को चरण-दर-चरण समझाता है। फिर अगस्त 2026 तक के आँकड़ों के साथ भारत के अपने नियंत्रण वाले LLM विकसित करने के प्रयासों को बताता है।

विषय-सूची

LLM क्या है
टोकन
अगला शब्द चुनना
सेल्फ-अटेंशन
प्रशिक्षण और सुधार
जवाबों में पक्षपात क्यों हो सकता है
मनगढ़ंत जवाब (Hallucination)
2026 में भारत के LLM
UPSC ने इस पर कैसे प्रश्न पूछे
सही या गलत के पाँच सवाल
सोचकर जवाब देने वाले प्रश्न
संबंधित पाठ
अभ्यास के लिए 7 बहुविकल्पीय प्रश्न

ज़रूरी बातें: टोकन, अगला शब्द चुनने का चक्र और अटेंशन

लार्ज लैंग्वेज मॉडल (Large Language Model) क्या है और इसे "लार्ज" क्यों कहते हैं?

LLM एक न्यूरल नेटवर्क है, जिसे बहुत बड़ी मात्रा में पाठ पर प्रशिक्षित किया जाता है। उसका मूल कौशल अगले टोकन का अनुमान लगाना है। 2020 के एक शोधपत्र में वर्णित GPT-3 इसका एक स्पष्ट शुरुआती उदाहरण है। यह एक ऑटोरेग्रेसिव भाषा मॉडल है। ऑटोरेग्रेसिव का अर्थ है कि हर नया टोकन उससे पहले के टोकन के आधार पर बनाया जाता है।

Side view of an NVIDIA H100 accelerator card with a gold ribbed cooling shroud and the label H100, standing on a white table — NVIDIA H100 एक्सेलरेटर कार्ड। फोटो: Geekerwan, CC BY 3.0, Wikimedia Commons के माध्यम से। आकार बदला गया है।

“लार्ज” असल में किसका माप है?

“लार्ज” तीन ऐसी चीज़ों को दर्शाता है, जो साथ-साथ बढ़ती हैं।

पैरामीटर: मॉडल के भीतर मौजूद वे संख्याएँ, जिन्हें बदला जा सकता है। GPT-3 में थे 175 बिलियन.
प्रशिक्षण डेटा: GPT-3 को कुल इतने डेटा पर प्रशिक्षित किया गया था: 300 बिलियन टोकन.
गणना क्षमता (Compute): प्रशिक्षण के दौरान इस्तेमाल होने वाली प्रोसेसिंग क्षमता।

2020 के एक अध्ययन में पाया गया कि मॉडल का आकार, डेटा की मात्रा और गणना क्षमता बढ़ने पर मॉडल की त्रुटि एक नियमित ढंग से घटती है। शोधकर्ता इसे घात नियम (power law) कहते हैं। उसी अध्ययन के अनुसार मॉडल का आकार, डेटा और गणना क्षमता साथ-साथ बढ़ाने चाहिए।

मॉडल कितने बड़े हो गए हैं?

2024 में Meta ने Llama 3 का विवरण दिया। इसका सबसे बड़ा मॉडल एक डेंस ट्रांसफॉर्मर है, जिसमें हैं 405 बिलियन पैरामीटर। इसकी कॉन्टेक्स्ट विंडो की अधिकतम सीमा है 128K टोकन। कॉन्टेक्स्ट विंडो बताती है कि मॉडल एक बार में कितने पाठ को ध्यान में रख सकता है।

प्रशिक्षण के पाठ में क्या शामिल होता है?

GPT-3 के प्रशिक्षण डेटा में ज़्यादातर वेब से लिया गया पाठ था। प्रशिक्षण मिश्रण में दिए गए भार के हिसाब से छाँटे गए Common Crawl की हिस्सेदारी 60% थी। बाकी में WebText2, पुस्तकों के दो संग्रह और एक ऑनलाइन ज्ञानकोश शामिल थे। इस पाठ में मौजूद अच्छी या बुरी कोई भी सामग्री मॉडल को प्रभावित कर सकती है।

क्या बड़ा मॉडल हमेशा बेहतर होता है?

नहीं। 2022 के एक अध्ययन में 70 बिलियन पैरामीटर वाले Chinchilla मॉडल को Gopher की तुलना में चार गुना अधिक डेटा पर प्रशिक्षित किया गया। Chinchilla ने कई कार्यों में Gopher (280 बिलियन) और GPT-3 (175 बिलियन) से बेहतर प्रदर्शन किया। इससे सीख मिलती है कि मॉडल का आकार और प्रशिक्षण डेटा साथ-साथ बढ़ने चाहिए।

सही या गलत: अधिक पैरामीटर वाला मॉडल हमेशा छोटे मॉडल से बेहतर प्रदर्शन करता है, चाहे दोनों को किसी भी डेटा पर प्रशिक्षित किया गया हो।

स्रोत: GPT-3 शोधपत्र, arXiv 2005.14165; GPT-3 शोधपत्र PDF, तालिका 2.2 और खंड 2। यह भी देखें: न्यूरल भाषा मॉडलों के स्केलिंग नियम (Scaling Laws for Neural Language Models), arXiv 2001.08361; Llama 3 मॉडलों का समूह (The Llama 3 Herd of Models), arXiv 2407.21783। यह भी देखें: गणना क्षमता के सर्वोत्तम उपयोग के लिए बड़े भाषा मॉडलों का प्रशिक्षण (Training Compute-Optimal Large Language Models), arXiv 2203.15556.

पाठ टोकन में कैसे बदलता है?

सबसे पहले, टोकनाइज़र पाठ को छोटे हिस्सों में बाँटता है। इन हिस्सों को टोकन कहते हैं। इसके बाद, ट्रांसफॉर्मर शोधपत्र में बताई गई विधि में सीखी गई एम्बेडिंग का उपयोग करके इनपुट टोकन को संख्याओं के वेक्टर में बदला जाता है।

क्या टोकन और शब्द एक ही चीज़ हैं?

नहीं। एक टोकन पूरा शब्द हो सकता है। वह किसी शब्द का हिस्सा भी हो सकता है। 2015 के एक शोधपत्र ने दिखाया कि कम इस्तेमाल होने वाले और अज्ञात शब्दों को इनकी शृंखला के रूप में लिखा जा सकता है: शब्द के छोटे हिस्से (subword units)। शब्दों को इस तरह बाँटने के लिए शोधपत्र में डेटा संपीड़न की एक विधि, बाइट-पेयर एन्कोडिंग, को अपनाया गया।

भारतीय भाषाओं के लिए टोकन क्यों मायने रखते हैं?

Sarvam AI के अनुसार, उसका टोकनाइज़र 12 लिपियों में लिखी जाने वाली सभी 22 अनुसूचित भारतीय भाषाओं के पाठ को कुशलता से टोकन में बाँटने के लिए तैयार किया गया है। कंपनी के अनुसार, इससे भारतीय भाषाओं में सेवा देने की लागत और जवाब मिलने में लगने वाला समय सीधे घटता है।

सही या गलत: टोकन किसी शब्द का हिस्सा भी हो सकता है, केवल पूरा शब्द ही नहीं।

स्रोत: सबवर्ड इकाइयों से दुर्लभ शब्दों का न्यूरल मशीन अनुवाद (Neural Machine Translation of Rare Words with Subword Units), arXiv 1508.07909. यह भी देखें: Sarvam AI, Sarvam 30B और 105B को ओपन-सोर्स बनाना, 6 मार्च 2026; ट्रांसफॉर्मर शोधपत्र, एम्बेडिंग पर खंड 3.4 (PDF).

LLM अगला शब्द कैसे चुनता है?

ट्रांसफॉर्मर शोधपत्र में मॉडल के आउटपुट को अगले टोकन की अनुमानित संभावनाओं में बदला जाता है। इसमें मॉडल को ऑटो-रिग्रेसिव कहा गया है, यानी हर चरण में पहले से बनाए गए प्रतीकों का उपयोग होता है। किस टोकन का उपयोग करना है, यह डिकोडिंग का नियम तय करता है।

इसके चरण क्या हैं?

मॉडल अब तक के सभी टोकन पढ़ता है।
वह हर संभावित अगले टोकन की संभावना की गणना करता है।
डिकोडिंग का नियम एक टोकन चुनता है।
टोकन जोड़ दिया जाता है और मॉडल फिर चरण 1 से प्रक्रिया दोहराता है।

क्या मॉडल हमेशा सबसे अधिक संभावना वाला टोकन चुनता है?

हमेशा नहीं। हर बार सबसे अधिक संभावना वाला एक टोकन चुनने को ग्रीडी डिकोडिंग (greedy decoding) कहते हैं। 2019 के एक अध्ययन में पाया गया कि संभावना को डिकोडिंग का नियम बनाने से नीरस और अजीब तरह से बार-बार दोहराव वाला पाठ बनता है। लेखकों ने प्रस्ताव दिया: न्यूक्लियस सैंपलिंग (nucleus sampling). यह संभावना वितरण के सबसे अधिक संभावना वाले हिस्से से कोई एक टोकन यादृच्छिक रूप से चुनता है और कम संभावना वाले अविश्वसनीय हिस्से को हटा देता है।

इसलिए “सबसे अधिक संभावना वाला टोकन चुनता है” केवल एक नियम का वर्णन है। न्यूक्लियस सैंपलिंग एक वैकल्पिक नियम है।

मॉडल एक बार में एक टोकन लिखता है। वह हर टोकन के लिए यही चक्र दोहराता है। समझाने के लिए बनाया गया मौलिक आरेख।

स्रोत: न्यूरल टेक्स्ट के बिगड़ने का अनोखा मामला (The Curious Case of Neural Text Degeneration), arXiv 1904.09751; GPT-3 शोधपत्र, arXiv 2005.14165. यह भी देखें: अटेंशन ही सब कुछ है (Attention Is All You Need), arXiv 1706.03762v7 (PDF).

ट्रांसफॉर्मर' का सेल्फ-अटेंशन क्या करता है?

यह ट्रांसफॉर्मर GPT-3 और Llama 3 की मूल संरचना है। इसे 2017 के शोधपत्र “Attention Is All You Need” में प्रस्तुत किया गया था। शोधपत्र ने केवल अटेंशन पर आधारित नेटवर्क का प्रस्ताव दिया। इसमें रिकरेंस और कन्वोल्यूशन को पूरी तरह हटा दिया गया।

सेल्फ-अटेंशन क्या है?

सेल्फ-अटेंशन एक ऐसी व्यवस्था है जो एक ही अनुक्रम के अलग-अलग स्थानों के बीच संबंध बनाती है। यह उस अनुक्रम का निरूपण तैयार करने में मदद करती है। शोधपत्र के अनुसार, अटेंशन फ़ंक्शन एक क्वेरी और की-वैल्यू जोड़ियों से आउटपुट बनाता है। आउटपुट, वैल्यू का भारित योग होता है।

हर वैल्यू को दिया जाने वाला भार इस बात पर निर्भर करता है कि क्वेरी उसकी संबंधित की से कितनी मेल खाती है। इसकी गणना एक संगतता फ़ंक्शन करता है।

ट्रांसफॉर्मर क्यों आगे निकले?

2017 के शोधपत्र में दो लाभ बताए गए थे।

मॉडल में अधिक गणनाएँ समानांतर की जा सकती थीं। कई गणनाएँ एक ही समय पर चल सकती थीं।
इसे प्रशिक्षित करने में बहुत कम समय लगा। आठ GPUs पर 3.5 दिन के प्रशिक्षण के बाद एक परिणाम मिला।

क्या ट्रांसफॉर्मर पूरा उत्तर एक साथ लिखते हैं?

नहीं। शोधपत्र के अनुसार, मॉडल में अधिक गणनाएँ समानांतर की जा सकती हैं, इसलिए प्रशिक्षण तेज होता है। उत्तर बनाना अब भी चरण-दर-चरण होता है। शोधपत्र मॉडल को ऑटो-रिग्रेसिव बताता है। अगला प्रतीक बनाते समय वह पहले से बनाए गए प्रतीकों का उपयोग करता है।

स्रोत: अटेंशन ही सब कुछ है (Attention Is All You Need), arXiv 1706.03762; अटेंशन ही सब कुछ है (Attention Is All You Need), पूरा पाठ (PDF).

जानने योग्य बातें: प्रशिक्षण, पक्षपात और मनगढ़ंत जवाब

LLM को कैसे प्रशिक्षित किया जाता है और फिर अधिक मददगार कैसे बनाया जाता है?

प्रशिक्षण की शुरुआत कच्चे पाठ पर पूर्व-प्रशिक्षण से होती है। फिर लोग उसके व्यवहार को ढालते हैं। InstructGPT में यह प्रक्रिया तीन चरणों में दिखाई गई है।

पूर्व-प्रशिक्षण में क्या होता है?

मॉडल को पाठ दिखाकर अगला टोकन बताने को कहा जाता है। उसकी गलती को इस रूप में मापा जाता है: लॉस (loss). 2020 का स्केलिंग अध्ययन इस लॉस को क्रॉस-एंट्रॉपी के रूप में मापता है। फिर एक ऑप्टिमाइज़र लॉस घटाने के लिए पैरामीटर बदलता है। GPT-3 ने Adam ऑप्टिमाइज़र का उपयोग किया और ग्रेडिएंट को 1.0 पर सीमित किया। Adam का शोधपत्र इसे प्रथम-क्रम के ग्रेडिएंट पर आधारित अनुकूलन का एल्गोरिदम बताता है।

मानवीय प्रतिक्रिया से फाइन-ट्यूनिंग क्या है?

पूर्व-प्रशिक्षित मॉडल भी गलत, हानिकारक या गैर-मददगार जवाब दे सकता है। InstructGPT पर 2022 का शोधपत्र इसे सुधारने की प्रक्रिया चरणों में बताता है।

लेबल लगाने वाले लोगों ने अच्छे उत्तरों के उदाहरण लिखे। इनका उपयोग GPT-3 की फाइन-ट्यूनिंग में किया गया।
लेबल लगाने वाले लोगों ने मॉडल के कई उत्तरों को रैंक दी।
उन रैंकिंग का उपयोग मानवीय प्रतिक्रिया से पुनर्बलन अधिगम में किया गया, जिसे आम तौर पर कहते हैं: RLHF.

मानव मूल्यांकनकर्ताओं ने 175-बिलियन-पैरामीटर वाले GPT-3 की तुलना में 1.3-बिलियन-पैरामीटर वाले InstructGPT के उत्तरों को अधिक पसंद किया। शोधपत्र में उत्तरों की सत्यता बढ़ने और हानिकारक उत्तर घटने की बात भी बताई गई। फिर भी, इसमें कहा गया कि मॉडल साधारण गलतियाँ करते हैं।

पहले कच्चा पाठ आता है। लोगों के दिए उदाहरण और रैंकिंग बाद में आते हैं। समझाने के लिए बनाया गया मौलिक आरेख।

सही या गलत: प्रशिक्षण के पहले चरण के बाद LLM की फाइन-ट्यूनिंग में मानवीय प्रतिक्रिया का उपयोग किया जा सकता है।

स्रोत: न्यूरल भाषा मॉडलों के स्केलिंग नियम, arXiv 2001.08361; GPT-3 शोधपत्र PDF, परिशिष्ट B. यह भी देखें: मानवीय प्रतिक्रिया से भाषा मॉडलों को निर्देशों का पालन करना सिखाना, arXiv 2203.02155. यह भी देखें: Adam: स्टोकैस्टिक अनुकूलन की एक विधि, arXiv 1412.6980.

LLM के उत्तरों में पक्षपात क्यों हो सकता है?

LLM अपने प्रशिक्षण डेटा से सीखता है। उसमें निष्पक्षता की समझ पहले से मौजूद नहीं होती। इसलिए डेटा में मौजूद रुझान उसके उत्तरों में भी दिख सकते हैं।

प्रमाण क्या बताते हैं?

GPT-3 शोधपत्र के अनुसार, प्रशिक्षण डेटा में मौजूद पक्षपात के कारण मॉडल रूढ़ धारणाओं या पूर्वाग्रहों वाली सामग्री तैयार कर सकते हैं।
2016 के एक शोधपत्र में सामान्य वेब सामग्री पर एक वर्ड-एम्बेडिंग मॉडल को प्रशिक्षित किया गया। मॉडल में भी मनोवैज्ञानिक परीक्षणों में पाए गए इंसानों जैसे पक्षपात दिखे।
अमेरिका का राष्ट्रीय मानक और प्रौद्योगिकी संस्थान (NIST) “हानिकारक पक्षपात या एकरूपता” को जनरेटिव AI का एक जोखिम मानता है। जुलाई 2024 की इसकी जोखिम रूपरेखा में अलग-अलग समूहों या भाषाओं के बीच प्रदर्शन में अंतर शामिल है। इसकी एक संभावित वजह ऐसा प्रशिक्षण डेटा है जो सभी समूहों का उचित प्रतिनिधित्व नहीं करता।

भारत इसके लिए क्या कर रहा है?

IndiaAI मिशन में सुरक्षित और विश्वसनीय AI का एक स्तंभ है। PIB के अनुसार, इसका ध्यान पक्षपात कम करने, मशीन को सीखी हुई जानकारी भुलाने, निजता सुरक्षित रखने वाले डिज़ाइन, एल्गोरिदम की जाँच और डीपफेक की पहचान पर है। PIB ने इसके तहत 13 परियोजनाएँ चुने जाने की जानकारी दी।

परीक्षा के लिए क्या याद रखें?

यह दावा गलत है कि LLM “पक्षपात रहित उत्तर देते हैं”। पक्षपात एक प्रमाणित जोखिम है और शोधकर्ता इसे कम करने पर काम कर रहे हैं।

सही या गलत: LLM केवल सांख्यिकीय रूप से संभावित पाठ का अनुमान लगाता है, इसलिए उसके उत्तर पक्षपात से मुक्त होते हैं।

स्रोत: GPT-3 शोधपत्र PDF, खंड 6.2; भाषा के पाठ-संग्रहों से अपने आप निकाले गए अर्थों में इंसानों जैसे पक्षपात होते हैं, arXiv 1608.07187. यह भी देखें: NIST AI 600-1, जनरेटिव AI की रूपरेखा, जुलाई 2024; PIB, IndiaAI मिशन, 13 फरवरी 2026.

हैलुसिनेशन क्या है और क्या इसे ठीक किया जा सकता है?

हैलुसिनेशन ऐसा गलत पाठ है जो सहज भाषा और पूरे विश्वास के साथ प्रस्तुत किया जाता है। NIST इसके लिए यह शब्द इस्तेमाल करता है: कॉन्फैब्युलेशन (confabulation). इसकी परिभाषा है: पूरे विश्वास से प्रस्तुत की गई ऐसी सामग्री जिसमें त्रुटियाँ हों या जो गलत हो। आम बोलचाल में इसे हैलुसिनेशन या मनगढ़ंत सामग्री कहते हैं।

ऐसा क्यों होता है?

2022 के एक सर्वेक्षण के अनुसार, डीप लर्निंग पर आधारित पाठ निर्माण में अनचाहा और मनगढ़ंत पाठ उत्पन्न होने की प्रवृत्ति होती है।
सितंबर 2025 का एक शोधपत्र तर्क देता है कि मॉडल इसलिए हैलुसिनेशन करते हैं क्योंकि प्रशिक्षण और परीक्षण में अनिश्चितता स्वीकार करने से अधिक इनाम अनुमान लगाने पर मिलता है। शोधपत्र इसकी तुलना कठिन परीक्षा में छात्र के अनुमान लगाने से करता है।

इसे कम करने में क्या मदद करता है?

बाहरी जानकारी खोजकर उत्तर तैयार करना (Retrieval-augmented generation, RAG)। 2020 के एक शोधपत्र में भाषा मॉडल को बाहरी मेमोरी से जोड़ा गया। लेखकों के अनुसार, सामान्य मॉडलों को जानकारी का स्रोत बताने और अपना ज्ञान अपडेट करने में कठिनाई होती है। उनके अनुसार, स्पष्ट रूप से संग्रहीत जानकारी तक पहुँच रखने वाला मॉडल इस समस्या को दूर कर सकता है।
मानवीय प्रतिक्रिया। InstructGPT के उत्तरों की तथ्यात्मक सटीकता बेहतर हुई, लेकिन वह फिर भी साधारण गलतियाँ करता था।

स्रोत: NIST AI 600-1, जनरेटिव AI की रूपरेखा, जुलाई 2024; प्राकृतिक भाषा निर्माण में हैलुसिनेशन का सर्वेक्षण, arXiv 2202.03629. यह भी देखें: भाषा मॉडल हैलुसिनेशन क्यों करते हैं, arXiv 2509.04664, सितंबर 2025; अधिक जानकारी की जरूरत वाले NLP कार्यों के लिए बाहरी जानकारी खोजकर पाठ निर्माण, arXiv 2005.11401. यह भी देखें: InstructGPT शोधपत्र, arXiv 2203.02155.

जानने योग्य: भारत' के मॉडल और 2026 का UPSC प्रश्न

अगस्त 2026 तक भारत क्या बना रहा है?

भारत ऐसे LLM बनाना चाहता है जिन्हें भारतीय भाषाओं और डेटा पर प्रशिक्षित किया गया हो। यह प्रयास IndiaAI मिशन का हिस्सा है। शिखर सम्मेलन की जानकारी SciTech0139, AI इम्पैक्ट समिट 2026 में है। अनुसंधान केंद्रों और कौशल प्रशिक्षण प्रयोगशालाओं की जानकारी SciTech0044, भारत में AI उत्कृष्टता केंद्र में है। दोनों के लिंक संबंधित पाठों के अंतर्गत दिए गए हैं।

A technician crouches beside black server racks in a data centre, working on a laptop on the floor next to bundles of network cables — अमेरिका के NERSC डेटा केंद्र में एक तकनीशियन सर्वर रैक के पास काम कर रहा है। इतने बड़े पैमाने की कंप्यूटिंग के लिए ऐसे कमरों में उपकरण रखे जाते हैं। चित्र श्रेय: डेरिक कोएट्ज़ी (Derrick Coetzee), CC0 के तहत जारी, स्रोत विकिमीडिया कॉमन्स (Wikimedia Commons)। आकार बदला गया है।

IndiaAI मिशन क्या है?

7 मार्च 2024 को मंत्रिमंडल ने मिशन के लिए इतनी राशि मंजूर की: Rs 10,371.92 करोड़. डिजिटल इंडिया कॉरपोरेशन के अंतर्गत IndiaAI स्वतंत्र व्यवसाय प्रभाग इसे चलाता है। इसके सात घटक हैं।

कंप्यूटिंग क्षमता
नवाचार केंद्र
डेटासेट प्लेटफॉर्म
अनुप्रयोग विकास
भविष्य के कौशल (FutureSkills)
स्टार्टअप के लिए वित्तीय सहायता
सुरक्षित और विश्वसनीय AI

फाउंडेशन मॉडल कौन बना रहा है और कितनी सहायता से?

PIB की 13 फरवरी 2026 की विज्ञप्ति के अनुसार, नवाचार केंद्र (फाउंडेशन मॉडल) घटक के तहत बारह संगठनों का चयन किया गया था। सहायता में कंप्यूटिंग की वास्तविक लागत शामिल है। कंप्यूटिंग खर्च के अतिरिक्त 25% की राशि डेटासेट और कर्मचारियों के लिए रखी गई है। PIB के परिशिष्ट में दी गई पाँच सबसे बड़ी कुल सहायता राशियाँ नीचे हैं।

संगठन	कुल सहायता (रुपये करोड़ में)
भारतजेन (BharatGen) (IIT Bombay के नेतृत्व वाला समूह)	1,058.52
सर्वम (Sarvam)	246.72
जेंटिक (Zenteiq)	206.49
ज्ञानी (Gnani)	177.27
सॉकेट एआई (Soket AI)	177.08

कुल सहायता, रुपये करोड़ में। भारतजेन बाकी संगठनों से बहुत आगे है। समझाने के लिए बनाया गया मौलिक चित्र।

भारतजेन की कुल सहायता में कंप्यूटिंग के लिए 990.92 करोड़ रुपये और अन्य खर्चों के लिए 67.60 करोड़ रुपये शामिल हैं। PIB (25 नवंबर 2025) के अनुसार, भारतजेन को विज्ञान और प्रौद्योगिकी विभाग के NM-ICPS के तहत सहायता मिलती है। IIT Bombay के प्रौद्योगिकी नवाचार केंद्र (Technology Innovation Hub) के माध्यम से 235 करोड़ रुपये दिए जा रहे हैं।

दो प्रमुख मॉडल कौन-से हैं?

Sarvam 30B और 105B। सर्वम के अनुसार, दोनों तर्क करने वाले मॉडल हैं। इन्हें भारत में IndiaAI Mission से मिली कंप्यूटिंग सुविधा पर शुरू से प्रशिक्षित किया गया है। दोनों में Mixture-of-Experts ट्रांसफॉर्मर का उपयोग होता है। हर टोकन पर केवल कुछ विशेषज्ञ हिस्से काम करते हैं। 30B मॉडल में 2.4 अरब सक्रिय पैरामीटर हैं और इसे 16 लाख करोड़ टोकन पर प्रशिक्षित किया गया था। 105B मॉडल को 12 लाख करोड़ टोकन पर प्रशिक्षित किया गया था। सर्वम ने दोनों को Apache 2.0 के तहत ओपन सोर्स के रूप में जारी किया।
BharatGen Param2 17B। भारतजेन के अनुसार, यह 17 अरब पैरामीटर वाला Mixture-of-Experts मॉडल है, जिसमें हर टोकन के लिए 2.4 अरब पैरामीटर सक्रिय होते हैं। इसे लगभग 22 लाख करोड़ टोकन पर प्रशिक्षित किया गया था। यह अंग्रेज़ी और सभी 22 अनुसूचित भाषाओं में काम करता है। PIB (25 नवंबर 2025) के अनुसार, भारतजेन समूह का नेतृत्व IIT Bombay करता है।

अब तक क्या प्रगति हुई है?

अगस्त 2026 तक सरकार ने 506 आवेदनों में से 20 स्वदेशी फाउंडेशन मॉडल प्रस्तावों का चयन किया था। इनमें बारह बड़े बहुमाध्यमी मॉडल और आठ छोटे भाषा मॉडल हैं।
साझा कंप्यूटिंग सुविधा में GPU की संख्या 45,000 GPUs से अधिक हो गई थी, जून 2026 तक।
राष्ट्रीय डेटासेट मंच AIKosh पर जुलाई 2026 तक 14,000 से अधिक डेटासेट और 331 AI मॉडल उपलब्ध थे।

भारत में AI के संचालन और निगरानी के नियम क्या हैं?

MeitY ने 5 नवंबर 2025 को भारत AI शासन दिशानिर्देश जारी किए। ये सात सूत्रों पर आधारित हैं।

विश्वास
लोगों को प्राथमिकता
पाबंदियों से अधिक नवाचार को प्राथमिकता
निष्पक्षता और समता
जवाबदेही
शुरू से समझने योग्य बनावट
सुरक्षा, संकटों से उबरने की क्षमता और टिकाऊपन

IIT Madras के प्रो. बलरामन रविंद्रन (Balaraman Ravindran) की अध्यक्षता वाली समिति ने ये दिशानिर्देश तैयार किए। दिशानिर्देश जोखिम के आधार पर नियम तय करने का समर्थन करते हैं। इनमें AI शासन समूह, प्रौद्योगिकी और नीति विशेषज्ञ समिति तथा AI सुरक्षा संस्थान बनाने का प्रस्ताव है। MeitY के सचिव ने कहा कि जहाँ संभव हो, मौजूदा कानूनों का उपयोग करने पर ध्यान है।

Mixture-of-Experts मॉडल हर टोकन के लिए अपने कुछ ही पैरामीटर का उपयोग करते हैं। समझाने के लिए बनाया गया मौलिक चित्र।

सही या गलत: PIB's परिशिष्ट में शामिल बारह फाउंडेशन मॉडल संगठनों में सर्वम को सबसे अधिक कुल सहायता मिली।

स्रोत: PIB, मंत्रिमंडल ने IndiaAI Mission को मंज़ूरी दी, 7 मार्च 2024. यह भी देखें: PIB, India AI Mission की नींव, 13 फरवरी 2026, परिशिष्ट I सहित; PIB, 25 नवंबर 2025. यह भी देखें: Sarvam AI, Sarvam 30B और 105B को ओपन सोर्स बनाना; BharatGen, टेक्स्ट मॉडल का पृष्ठ. यह भी देखें: PIB तथ्यपत्र, सेमीकंडक्टर और AI क्रांति, 13 अगस्त 2026; PIB, भारत AI शासन दिशानिर्देश, 5 नवंबर 2025.

UPSC ने 2026 में LLM पर क्या पूछा और उत्तर कैसे निकालें?

सिविल सेवा (प्रारंभिक) परीक्षा 2026 का आयोजन 24 मई 2026 को हुआ था। सामान्य अध्ययन प्रश्नपत्र I, सेट A का प्रश्न 42 इस प्रकार था।

मशीन लर्निंग में उपयोग किए जाने वाले बड़े भाषा मॉडल (LLMs) के संबंध में निम्नलिखित में से कौन-सा/से कथन सही है/हैं?
1. LLM अगले संभावित शब्दों की प्रायिकताएँ तय करते हैं और फिर सबसे अधिक प्रायिकता वाला शब्द चुनते हैं।
2. LLM पूर्वानुमान की त्रुटियाँ कम करने के लिए गणितीय अनुकूलन के माध्यम से डेटा संसाधित करते हैं।
3. LLM पक्षपात रहित परिणाम देते हैं।
नीचे दिए गए कूट का उपयोग करके उत्तर चुनिए :
(a) केवल 1
(b) केवल 1 और 2
(c) केवल 2 और 3
(d) 1, 2 और 3

इसका उत्तर कैसे निकालें?

कथन 2 सही है। प्रशिक्षण में अनुमान की त्रुटि को लॉस (loss) के रूप में मापा जाता है। ऑप्टिमाइज़र इसे कम करता है (खंड 5)।
कथन 3 गलत है। LLMs में उनके डेटा से पक्षपात आ जाता है (खंड 6)।
कथन 1 को ध्यान से समझना ज़रूरी है। मॉडल अगले टोकन की संभावनाएँ तय करता है। “सबसे अधिक संभावना वाला चुनें” डिकोडिंग का एक नियम है, और कई प्रणालियाँ सैंपलिंग करती हैं (खंड 3)।
गलत विकल्प हटाएँ। कथन 3 गलत है, इसलिए विकल्प (c) और (d) हट जाते हैं। कथन 2 सही है, इसलिए विकल्प (a) हट जाता है। केवल (b), “केवल 1 और 2”, बचता है।

UPSC अंतिम परिणाम के बाद ही अपनी आधिकारिक उत्तर कुंजी जारी करता है। कथन 1 की सटीकता पर संदेह है। फिर भी, गलत विकल्प हटाने पर केवल (b) बचता है।

कौन-सी गलतियाँ अक्सर होती हैं?

LLM के उत्तर को “पक्षपात रहित” या “सत्यापित” मान लेना।
पैरामीटर की संख्या और प्रशिक्षण टोकन की संख्या में भ्रम करना।
भारतजेन (BharatGen) के 1,058.52 करोड़ रुपये और IndiaAI मिशन के 10,371.92 करोड़ रुपये में भ्रम करना।
12 संगठनों और 20 चुने गए प्रस्तावों में भ्रम करना।

स्रोत: UPSC, CSP 2026 सामान्य अध्ययन प्रश्नपत्र I (PDF), सेट A, प्रश्न 42. यह भी देखें: UPSC प्रेस नोट, 18 जून 2026 (PDF); न्यूरल टेक्स्ट जनरेशन में गिरती गुणवत्ता का अनोखा मामला (The Curious Case of Neural Text Degeneration), arXiv 1904.09751. यह भी देखें: NIST AI 600-1.

अपनी समझ जाँचें

हर उत्तर के बाद दी गई प्रतिक्रिया पढ़ें। समझ जाँच का स्कोर इस पेज के मौजूदा सत्र तक रहता है।

दोबारा प्रयास करने के लिए जाँच रीसेट करें। यह स्कोर नीचे दिए गए नेटिव प्रैक्टिस (Native Practice) के स्कोर से अलग है।

आपकी समझ की जाँचउत्तर दिए 0 में से 5 · सही 0

पेज दोबारा लोड होने पर यह स्कोर रीसेट हो जाता है।

सोचने के लिए प्रश्न

गलत होने पर भी LLM का जवाब इतना पक्का क्यों लगता है?

मॉडल को संभावित पाठ तैयार करने का प्रशिक्षण मिलता है, तथ्यों की जाँच करने का नहीं। सितंबर 2025 का एक शोधपत्र बताता है कि जाँच के तरीके अक्सर ईमानदारी से “मुझे पक्का नहीं पता” कहने के बजाय अनुमान लगाने पर अधिक अंक देते हैं। इसलिए पूरे भरोसे के साथ गलत उत्तर देना एक आम विफलता है, कोई दुर्लभ तकनीकी गड़बड़ी नहीं।

क्या “सबसे अधिक संभावना वाला शब्द चुनना” हमेशा सबसे अच्छा नियम है?

नहीं। 2019 के एक अध्ययन में पाया गया कि हमेशा सबसे अधिक संभावना वाला टोकन चुनने से नीरस और दोहराव वाला पाठ बनता है। प्रायिकता वितरण के सबसे अधिक संभावना वाले हिस्से से सैंपलिंग करने पर पाठ मानव लेखन के अधिक करीब था। ग्रीडी डिकोडिंग (Greedy decoding) एक विकल्प है, एकमात्र विकल्प नहीं।

विदेशी मॉडल मौजूद हैं, तो भारत अपने LLMs क्यों चाहता है?

PIB के अनुसार, लक्ष्य भारतीय डेटासेट और भाषाओं पर प्रशिक्षण देकर देश की अपनी स्वतंत्र क्षमता विकसित करना है। सर्वम (Sarvam) के अनुसार, उसका टोकनाइज़र सभी 22 अनुसूचित भाषाओं के लिए बनाया गया है। इन भाषाओं के लिए बना मॉडल कम लागत और कम समय में सेवाएँ दे सकता है।

क्या छोटा मॉडल बड़े मॉडल से बेहतर हो सकता है?

हाँ, इसके दो उदाहरण दर्ज हैं। 70 बिलियन पैरामीटर वाले चिनचिला (Chinchilla) ने अधिक डेटा पर प्रशिक्षण के बाद बड़े मॉडलों से बेहतर प्रदर्शन किया। मानव मूल्यांकनकर्ताओं ने 175 बिलियन पैरामीटर वाले GPT-3 की तुलना में 1.3 बिलियन पैरामीटर वाले InstructGPT को अधिक पसंद किया। केवल आकार से गुणवत्ता तय नहीं होती।

नेटिव प्रैक्टिस (Native Practice)

काम करने के तरीकों, जोखिमों और भारत से जुड़े आँकड़ों की अपनी समझ का उपयोग करें। हर उत्तर के बाद उससे जुड़ी व्याख्या पढ़ें।

Was this helpful?

Take a Science and Technology QuizRandom practice question from this subject →