हाल के वर्षों में AI टूल्स की तेज वृद्धि ने रचनात्मकता, शिक्षण और कनेक्शन के लिए नए अवसर बनाए हैं और वे उन्हें बनाए रखना जारी रखेंगे। तथापि, इस प्रोद्योगिकी ने मौजूदा ऑनलाइन जोखिमों के लिए नई गतिशीलता भी प्रस्तुत की है। नई शोध से पता चलता है कि जैसे-जैसे ऐसे लोगों की संख्या बढ़ती जा रही है जिन्हें ऑनलाइन कामोत्तेजक AI छवियों और वीडियो का सामना करना पड़ता है, वैसे-वैसे इस कॉन्टेंट की अवैधता के बारे में जागरूकता एक चैलेंज बनी हुई है।

सभी प्लेटफ़ार्म्स पर किशोरों और युवाओं के रवैयों और व्यवहारों की बेहतर समझ हासिल करने के लिए, Snap एक उद्योग व्यापी शोध को संचालित करता है जिसे हमारा डिजिटल वेल-बीइंग इंडेक्स कहा जाता है।  (Snap ने शोध को अधिकृत किया था, लेकिन यह डिजिटल स्पेसेस में जेनरेशन Z के अनुभवों को सामान्य रूप से कवर करता है, जिसमें Snapchat पर कोई विशिष्ट ध्यान नहीं दिया जाता है।)  अब जब हम 2025 में अंतरराष्ट्रीय सुरक्षित इंटरनेट दिवस के साथ हमारे तीसरे वर्ष के अध्ययन के पूरे परिणामों को जारी करने की योजना बना रहे हैं, हम इस बात पर कुछ महत्वपूर्ण निष्कर्षों का पूर्वावलोकन करना चाहते हैं कि जनरेटिव AI-आधारित यौन कॉन्टेंट के साथ किशोर और अभिभावक भी किस तरह संलग्न हो रहे हैं और प्रतिक्रिया दे रहे हैं। . इस सप्ताह बाल यौन शोषण और दुर्व्यवहार पर वैश्विक ध्यानाकेंद्रण के प्रकाश में और एम्पॉवरिंग वाइसेज़ DC शिखर सम्मेलन जो AI जनरेटेड यौन कॉन्टेंट से जुड़े नुकसान पर ध्यान केंद्रित करता था, उसमें हमारी भागीदारी के संयोजन के साथ हम आज ऐसा कर रहे हैं।

उदाहरण के लिए, हमारे अध्ययन में, जिसमें 6 देशों के 9,007 किशोरों और किशोरों के अभिभावकों का सर्वेक्षण किया गया है ¹, 24% ने कहा कि उन्होंने कुछ ऐसी AI-जनरेटेड छवियां और वीडियो देखे हैं जो यौन प्रकृति के थे। जिन लोगों ने इस प्रकार की कॉन्टेंट देखा है उनमें से केवल 2% ने कहा कि यह इमेजरी 18 साल से कम उम्र के किसी की थी।

उत्साहवर्धक बात यह है कि जब लोगों ने इस प्रकार की कॉन्टेंट देखा तो 10 में से 9 ने कुछ कार्रवाई की जिसमें कॉन्टेंट को ब्लॉक करने या हटाने (54%) से लेकर भरोसेमंद दोस्तों या परिवार (52%) से बात करना शामिल है। तथापि केवल 42% ने कहा कि उन्होंने कॉन्टेंट को उस प्लैटफ़ॉर्म या सेवा को रिपोर्ट किया जहां उन्होंने उसे देखा था, या एक हॉटलाइन / हेल्पलाइन को। यह अंतर्दृष्टि सामान्य रूप से डिजिटल सुरक्षा से संबंधित मुद्दों पर निचली रिपोर्टिंग दरों की एक व्यापक प्रवृत्ति का अनुसरण करती है। हमने पहले की एक पोस्ट में रिपोर्टिंग के नकारात्मक ग्रहणबोध के प्रतिकार के महत्व को इंगित किया था ताकि युवागण ऑनलाइन कुछ समस्याग्रस्त कॉन्टेंट या आचरण का सामान्यीकरण न करें, या रिपोर्टिंग को बकवाद न मानें। 

इससे भी अधिक चिंताजनक बात यह है कि 40% से अधिक उत्तरदाता नाबालिगों को यौन छवियों की रिपोर्ट करने के लिए प्लैटफ़ॉर्म/सेवाओं के कानूनी दायित्व पर अस्पष्ट थे, भले ही ऐसी छवियां का अभिप्राय परिहास या मीम्स के रूप में हो और जबकि एक बड़ी संख्या (70%+) ने यह माना कि AI के उपयोग के द्वारा किसी व्यक्ति के फ़र्ज़ी यौन कॉन्टेंट को बनाना या नाबालिगों की यौन छवियों को रखना, देखना, या शेयर करना अवैध था, इन निष्कर्षों से संकेत मिलता है कि आम जनता इस प्रकार की कानूनी आवश्यकताओं के बारे में अवगत है, इसे सुनिश्चित करने की दिशा में बहुत काम बाकी है।

उदाहरण के लिए, अमेरिका में लगभग 40% उत्तरदाताओं ने कहा कि उनका मानना है कि किसी व्यक्ति की फ़र्ज़ी यौन छवियां बनाने के लिए AI प्रौद्योगिकी का उपयोग करना वैध है। और हमने उद्योग के सहकर्मियों से एक चिंताजनक प्रवृत्ति के बारे में सुना है: इस प्रकार के कॉन्टेंट के प्रसार के साथ, कुछ किशोर लड़कियां यदि उन्हें AI द्वारा हेरफेर की गई कामुक इमेजरी, जो उनके साथी अनुचित रूप से बना रहे और साझा कर रहे हैं, उसमें फीचर नहीं किया गया है तो वे "परित्यक्त" अनुभव कर रही हैं। यह परेशान करने वाला बिंदु इस विशेष ऑनलाइन जोखिम के बारे में शिक्षित और जागरूक करने की आवश्यकता को, जिसमें विश्वसनीय वयस्क और जानकार साथी इस प्रकार के व्यवहार को हतोत्साहित करने में सक्रिय भूमिका निभा रहे हों, और अधिक रेखांकित करता है।  

Snap की निरंतर रहने वाली प्रतिबद्धता

Snap पर हम Snapchat और समूचे परिस्थितिकी तंत्र पर और अधिक सकारात्मक अनुभवों को बढ़ावा देने के लिए संसाधनों, उपकरणों और प्रौद्योगिकी में निरंतर निवेश कर रहे हैं।

कुछ मामलों में हम संभावित रूप से अवैध गतिविधि की पहचान करने के लिए व्यवहार “संकेतों” का उपयोग करते हैं ताकि हम सक्रिय रूप से बुरे कार्यकर्ताओं को हटा सकें और उन्हें अधिकारियों को रिपोर्ट कर सकें। इसके अलावा एक ऐसी सेवा के रूप में जिसमें एक संवादात्मक AI चैटबॉट शामिल हो, हम Snapchat पर ऐसी सामग्री के संभावित जनरेशन, और साथ ही अन्य प्लैटफ़ॉर्म पर उत्पन्न होने वाली अन्य सामग्री के साझाकरण और वितरण के खिलाफ सुरक्षा के लिए अधिक सतर्क रहने के प्रयास करते हैं। हम नाबालिगों की संदिग्ध AI जनरेटेड कामोत्तेजक छवियों के साथ उसी तरह से पेश आते हैं जैसे कि "प्रामाणिक" बाल यौन शोषण और दुरुपयोग छवियां, जब हम इसके बारे में जागरूक हो जाते हैं, तो ऐसे उल्लंघनकारी अकाउंट को निलंबित कर देते हैं, और इसे गुमशुदा और शोषित बच्चों के राष्ट्रीय केंद्र (NCMEC) को रिपोर्ट करते हैं। यह CSEAI के प्रसार को रोकने के लिए डिज़ाइन की गई प्रौद्योगिकी का लाभ उठाने और उसे काम पर लगाने के अतिरिक्त है जिसमें PhotoDNA (ज्ञात अवैध छवियों के डुप्लीकेट का पता लगाने के लिए) और Google’s CSAI Match (ज्ञात अवैध वीडियो के डुप्लीकेट का पता लगाने के लिए) शामिल है। हमने हाल ही में गूगल की कॉन्टेंट सुरक्षा API का इस्तेमाल करना शुरू किया है (सार्वजनिक कॉन्टेंट पर नवीन "पहले कभी हैश नहीं की गई" इमेजरी का पता लगाने के लिए।) हम NCMEC के साथ इस बात पर भी संलग्न हुए हैं कि पिछले साल उन्हें प्राप्त बाल यौन शोषण की सामग्री से संबंधित 4700 रिपोर्टों के अनूठे डिजिटल हस्ताक्षर (या "हैश") का लाभ कैसे उठाना चाहिए। 

हम कानून प्रवर्तन के साथ मिल कर काम करते हैं, उनकी जांच को सपोर्ट करते हैं और हमारे वैश्विक ट्रस्ट और सुरक्षा और कानून प्रवर्तन संचालन टीमों में भारी निवेश करते हैं जो हमारे समुदाय को सुरक्षित रखने के लिए 24/7 काम करती है। हम अमेरिका में कानून प्रवर्तन करने वाले संगठनों के लिए वार्षिक शिखर सम्मेलनों की मेज़बानी करते हैं जिसका लक्ष्य अधिकारियों और एजेंसियों के साथ यह सुनिश्चित करना होता कि उन्हें हमारे ेप्लटफ़ॉर्म्स पर किसी भी गैर-कानूनी गतिविधि के खिलाफ़ उचित कार्रवाई करने का तरीका पता हो। 

हम हमारी इन ऐप रिपोर्टिंग उपकरणों का विस्तार करना भी जारी रखते हैं, जिसमें हमारे समुदाय के लिए नग्नता और यौन कॉन्टेंट और खास तौर पर CSEAI को फ्लैग करने के विकल्प शामिल हैं। टेक कंपनियों को बुरे कार्यकर्ताओं को उनकी सेवाओं से हटाने, और दूसरों को संभावित रूप से नुकसान पहुँचने से पहले आगे की गतिविधि को विफल करने में सहायता करने के लिए, समस्याग्रस्त कंटेंट और अकाउंट्स की रिपोर्ट करना, गंभीर रूप से महत्वपूर्ण हैं। 

हाल ही में हमने हमारे फ़ैमिली सेंटर के सुइट ऑफ़ टूल्स में नए फीचर्स जोड़े हैं, जिन्हें अभिभावक यह समझने के लिए बेहतर उपयोग कर सकते हैं कि उनके किशोर Snapchat का, जिसमें हमारा AI चैटबॉट शामिल है, उनका उपयोग कैसे कर रहे हैं। हमने शिक्षकों और स्कूल प्रशासकों की मदद के लिए नए संसाधनों को भी जारी किया है, ताकि उनके छात्र Snapchat का उपयोग कैसे करते हैं और जिन संसाधनों को हम छात्रों के लिए सुरक्षित और सहायक वातावरण बनाने में स्कूलों की सहायता करने के लिए प्रदान करते हैं, उसे समझने में उन्हें मदद मिल सके।

और हम ऑनलाइन यौन हानि के बारे में सार्वजनिक और Snap चैटर्स की जागरूकता बढ़ाने के तरीकों में निवेश करना जारी रख रहे हैं। हमारे इन ऐप “Safety Snapshot" एपिसोड्स यौन जोखिमों जिसमें बच्चो की ऑनलाइन ग्रूमिंग और तस्करी जैसे विषय शामिल हैं, पर ध्यान केंद्रित करते हैं। Know2Protect, अमेरिकी होमलैंड सुरक्षा का अभियान जो युवा लोगों, अभिभावकों, भरोसेमंद वयस्कों और नीति निर्माताओं को ऑनलाइन बाल यौन शोषण के बारे में शिक्षित और सशक्त करने पर ध्यान केंद्रित करता है, उसे सपोर्ट करने वाली हम पहली संस्था भी थे।

हम सभी प्रकार के हितधारकों - जैसे कि अभिभावकगण, युवा लोग, शिक्षाविद, और नीति निर्माताओं के साथ - इस प्रकार के पूरे समाज के मुद्दों पर - काम करना निरंतर रखने के लिए उत्सुक हैं, और आशा करते हैं कि हमारे क्रॉस-प्लैटफ़ॉर्म शोध की अंतर्दृष्टि से नई अवधारणाएं और अवसर बनाने में मदद मिल सके ताकि यह सुनिश्चित किया जा सके कि लोग मौजूदा और नए ऑनलाइन खतरों और उनसे निपटने के लिए उपलब्ध संसाधनों के बारे में जागरूक रह सकें।

— विराज दोशी, प्लैटफ़ॉर्म सेफ्टी लीड