“नई स्टडी का दावा: ChatGPT से सीखना आसान तो है, लेकिन दिमाग कम जानकारी पकड़ पाता है

2022 के आखिर में ChatGPT के रिलीज़ होने के बाद से, लाखों लोगों ने जानकारी पाने के लिए बड़े लैंग्वेज मॉडल का इस्तेमाल करना शुरू कर दिया है। और उनकी अपील को समझना आसान है: एक सवाल पूछें, एक अच्छा सिंथेसिस पाएं, और आगे बढ़ें – यह बिना किसी मेहनत के सीखने जैसा लगता है। हालांकि, एक नया पेपर जिसे मैंने को-ऑथर किया है, एक्सपेरिमेंटल सबूत देता है कि इस आसानी की एक कीमत हो सकती है: जब लोग किसी टॉपिक पर जानकारी को समराइज़ करने के लिए बड़े लैंग्वेज मॉडल पर भरोसा करते हैं, तो वे स्टैंडर्ड Google सर्च से सीखने की तुलना में उसके बारे में कम जानकारी डेवलप करते हैं। को-ऑथर जिन हो यून और मैं, दोनों मार्केटिंग के प्रोफेसर हैं, ने 10,000 से ज़्यादा पार्टिसिपेंट्स के साथ सात स्टडीज़ पर आधारित एक पेपर में इस फाइंडिंग की रिपोर्ट दी। ज़्यादातर स्टडीज़ में एक ही बेसिक पैराडाइम का इस्तेमाल किया गया: पार्टिसिपेंट्स को किसी टॉपिक के बारे में सीखने के लिए कहा गया – जैसे कि सब्ज़ी का बगीचा कैसे उगाएं – और उन्हें ChatGPT जैसे LLM या “पुराने तरीके” से, स्टैंडर्ड Google सर्च का इस्तेमाल करके लिंक्स को नेविगेट करके ऐसा करने के लिए रैंडमली असाइन किया गया।

उन्होंने टूल्स का इस्तेमाल कैसे किया, इस पर कोई रोक नहीं लगाई गई थी; वे जब तक चाहें Google पर सर्च कर सकते थे और अगर उन्हें और जानकारी चाहिए तो वे ChatGPT पर प्रॉम्प्ट करते रह सकते थे। अपनी रिसर्च पूरी करने के बाद, उनसे कहा गया कि वे जो सीखा, उसके आधार पर उस टॉपिक पर किसी दोस्त को सलाह लिखें। डेटा से एक जैसा पैटर्न पता चला: जिन लोगों ने LLM के ज़रिए किसी टॉपिक के बारे में सीखा, वेब सर्च के मुकाबले उन्हें लगा कि उन्होंने कम सीखा, बाद में अपनी सलाह लिखने में कम मेहनत की, और आखिर में ऐसी सलाह लिखी जो छोटी, कम फैक्ट्स वाली और ज़्यादा जेनेरिक थी। बदले में, जब यह सलाह रीडर्स के एक इंडिपेंडेंट सैंपल को दी गई, जिन्हें यह नहीं पता था कि टॉपिक के बारे में जानने के लिए किस टूल का इस्तेमाल किया गया था, तो उन्हें सलाह कम जानकारी देने वाली, कम मददगार लगी, और उनके इसे अपनाने की संभावना भी कम थी। हमने पाया कि ये अंतर अलग-अलग कॉन्टेक्स्ट में मज़बूत थे। उदाहरण के लिए, LLM यूज़र्स द्वारा छोटी और ज़्यादा जेनेरिक सलाह लिखने का एक संभावित कारण यह है कि LLM रिज़ल्ट यूज़र्स को Google रिज़ल्ट की तुलना में कम अलग-अलग तरह की जानकारी देते हैं।

इस संभावना को कंट्रोल करने के लिए, हमने एक एक्सपेरिमेंट किया जिसमें पार्टिसिपेंट्स को उनके Google और ChatGPT सर्च के रिज़ल्ट में एक जैसे फैक्ट्स दिखाए गए। इसी तरह, एक और एक्सपेरिमेंट में, हमने सर्च प्लेटफ़ॉर्म – Google – को एक जैसा रखा और यह बदला कि पार्टिसिपेंट्स ने स्टैंडर्ड Google रिज़ल्ट से सीखा या Google के AI ओवरव्यू फ़ीचर से। नतीजों से यह कन्फर्म हुआ कि, फैक्ट्स और प्लेटफ़ॉर्म को एक जैसा रखने पर भी, सिंथेसाइज़्ड LLM रिस्पॉन्स से सीखने से स्टैंडर्ड वेब लिंक के ज़रिए खुद के लिए जानकारी इकट्ठा करने, इंटरप्रेट करने और सिंथेसाइज़ करने की तुलना में कम जानकारी मिली।

यह क्यों ज़रूरी है
LLM के इस्तेमाल से सीखना कम क्यों हुआ? स्किल डेवलपमेंट के सबसे बेसिक प्रिंसिपल्स में से एक यह है कि लोग सबसे अच्छा तब सीखते हैं जब वे उस मटीरियल से एक्टिव रूप से जुड़े होते हैं जिसे वे सीखने की कोशिश कर रहे होते हैं। जब हम Google सर्च के ज़रिए किसी टॉपिक के बारे में सीखते हैं, तो हमें बहुत ज़्यादा “फ्रिक्शन” का सामना करना पड़ता है: हमें अलग-अलग वेब लिंक पर नेविगेट करना होता है, इन्फॉर्मेशनल सोर्स पढ़ने होते हैं, और उन्हें खुद इंटरप्रेट और सिंथेसाइज़ करना होता है। ज़्यादा चैलेंजिंग होने के बावजूद, यह फ्रिक्शन उस टॉपिक के बारे में एक गहरी, ज़्यादा ओरिजिनल मेंटल रिप्रेजेंटेशन के डेवलपमेंट की ओर ले जाता है। लेकिन LLMs के साथ, यह पूरा प्रोसेस यूज़र की तरफ से किया जाता है, जिससे लर्निंग ज़्यादा एक्टिव से पैसिव प्रोसेस में बदल जाती है।

आगे क्या?
साफ़ कहूँ तो, हमें नहीं लगता कि इन दिक्कतों का हल LLMs का इस्तेमाल न करना है, खासकर उन फ़ायदों को देखते हुए जो कई मामलों में उनके होते हैं। बल्कि, हमारा मैसेज यह है कि लोगों को बस LLMs के ज़्यादा स्मार्ट या ज़्यादा स्ट्रेटेजिक यूज़र बनने की ज़रूरत है – जिसकी शुरुआत उन डोमेन को समझने से होती है जिनमें LLMs उनके लक्ष्यों के लिए फ़ायदेमंद हैं या नुकसानदायक। किसी सवाल का तुरंत, असल जवाब चाहिए? बेझिझक अपने पसंदीदा AI को-पायलट का इस्तेमाल करें। लेकिन अगर आपका मकसद किसी एरिया में गहरी और आम जानकारी बनाना है, तो सिर्फ़ LLM सिंथेसिस पर निर्भर रहना कम मददगार होगा। नई टेक्नोलॉजी और नए मीडिया की साइकोलॉजी पर अपनी रिसर्च के हिस्से के तौर पर, मुझे यह भी जानने में दिलचस्पी है कि क्या LLM लर्निंग को ज़्यादा एक्टिव प्रोसेस बनाना मुमकिन है। एक और एक्सपेरिमेंट में, हमने पार्टिसिपेंट्स को एक खास GPT मॉडल के साथ जोड़कर इसे टेस्ट किया, जो अपने सिंथेसाइज़्ड रिस्पॉन्स के साथ रियल-टाइम वेब लिंक भी देता था।

लेकिन, हमने पाया कि एक बार जब पार्टिसिपेंट्स को LLM समरी मिल गई, तो वे ओरिजिनल सोर्स में और गहराई से जाने के लिए मोटिवेटेड नहीं हुए। नतीजा यह हुआ कि स्टैंडर्ड Google इस्तेमाल करने वालों की तुलना में पार्टिसिपेंट्स ने अभी भी कम जानकारी डेवलप की। इसी के आधार पर, अपनी आने वाली रिसर्च में, मैं ऐसे जेनरेटिव AI टूल्स की स्टडी करने का प्लान बना रहा हूँ जो सीखने के कामों के लिए हेल्दी फ्रिक्शन डालते हैं – खास तौर पर, यह जांचना कि किस तरह के गार्डरेल या स्पीड बम्प यूज़र्स को आसान, सिंथेसाइज़्ड जवाबों से ज़्यादा एक्टिवली सीखने के लिए सबसे ज़्यादा मोटिवेट करते हैं। ऐसे टूल्स सेकेंडरी एजुकेशन में खास तौर पर ज़रूरी लगेंगे, जहाँ टीचर्स के लिए एक बड़ी चुनौती यह है कि स्टूडेंट्स को बेसिक रीडिंग, राइटिंग और मैथ स्किल्स डेवलप करने के लिए सबसे अच्छे तरीके से कैसे तैयार किया जाए, साथ ही एक ऐसी असली दुनिया के लिए भी तैयार किया जाए जहाँ LLMs उनकी रोज़मर्रा की ज़िंदगी का एक ज़रूरी हिस्सा होने की संभावना है। रिसर्च ब्रीफ दिलचस्प एकेडमिक काम पर एक छोटा सा लेख है। यह आर्टिकल द कन्वर्सेशन से क्रिएटिव कॉमन्स लाइसेंस के तहत दोबारा पब्लिश किया गया है।

नए खबरों के लिए बने रहे सटीकता न्यूज के साथ।