शोध पत्र कार्यकारी सारांश
शोध पत्र → अध्ययन गाइड के लिए 5-वाक्यीय कार्यकारी सारांश।
इनपुट और आउटपुट का पूर्वावलोकन देखें
इनपुट
- file
- vaswani-attention-is-all-you-need.pdf (15 pages)
- summary_length
- executive
- audience
- non-specialist
- include_key_findings
- yes
आउटपुट (अंश)
इस पेपर में प्रस्तुत किया गया: ट्रांसफ़ॉर्मर, एक सीक्वेंस‑टू‑सीक्वेंस आर्किटेक्चर जो पुनरावृत्ति को मल्टी‑हेड सेल्फ‑अटेंशन से बदलता है। क्यों महत्वपूर्ण है: प्रशिक्षण तेज़ है (कोई क्रमिक निर्भरता नहीं), और मॉडल कम कंप्यूट के साथ राज्य‑ऑफ़‑द‑आर्ट अनुवाद गुणवत्ता प्राप्त करता है। मुख्य निष्कर्ष: (1) सेल्फ‑अटेंशन अकेले RNN/CNN एन्कोडर्स के साथ प्रतिस्पर्धी है, (2) पोज़िशनल एन्कोडिंग्स क्रम को पुनरावृत्ति के बिना बनाए रखती हैं, (3) आठ अटेंशन हेड्स लगातार सिंगल‑हेड से बेहतर प्रदर्शन करते हैं। व्यावहारिक निष्कर्ष: 2018 से अब तक का हर प्रमुख LLM इस आर्किटेक्चर का प्रत्यक्ष वंशज है।