سنسكراب: ما هو، وكيفية استخدامه، والمزيد!

إذا كنت قد لعبت مع بيانات وسائل التواصل الاجتماعي، فربما تكون قد صادفت أداة تسمى "snscrape".

بصفتي شخصًا يستخدم أدوات برمجية مختلفة بشكل متكرر، وجدت أن snscrape أداة رائعة لبعض المهام، خاصةً عندما جنبًا إلى جنب مع وكيل.

لذا دعنا نوضح لك ما هو snscrape، وكيف يعمل، ولماذا يمكن أن يغير قواعد اللعبة في سير عمل جمع البيانات.

خلاصة القول؛ والصورة:

• Snscrape هي أداة بايثون لكشط الوسائط الاجتماعية دون استخدام واجهة برمجة التطبيقات.  
• يعمل مع تويتر/X, Facebook, Instagram, ريديتوأكثر من ذلك.  
• يمكنك استخراج التغريدات والملفات الشخصية للمستخدمين والوسوم والهاشتاجات وحفظها في ملف CSV.  
• بالنسبة للكشط على نطاق واسع، استخدم الوكلاء لتجنب الحظر وحدود المعدل.

جدول المحتويات

1. ما هو سنكراب؟
2. كيف يعمل Snscrape؟
3. كيفية استخدام سنكراب
4. ما هي البيانات التي يمكنك كشطها من تويتر باستخدام Snscrape؟
5. حالات استخدام Snscrape
6. كيفية إضافة وكيل إلى Snscrape
7. لماذا يجب عليك استخدام البروكسي مع Snscrape
8. مرتبط ب Snscrape
9. هل Snscrape قانوني؟
10. الأسئلة المتداولة على Snscrape
11. كلمات ختامية

1. ما هو سنكراب؟

Snscrape هي مكتبة بايثون تتيح لك كشط البيانات من منصات التواصل الاجتماعي مثل X (تويتر) وفيسبوك وإنستغرام.

على عكس العديد من أدوات الكشط الأخرى، لا يتطلب snscrape مفتاح واجهة برمجة التطبيقات، مما يجعله قابلاً للاستخدام من قبل مجموعة واسعة من المستخدمين، بما في ذلك أولئك الذين قد لا يملكون المعرفة التقنية لاستخدام واجهات برمجة التطبيقات.

فوائد سنكراب

يأتي Snscrape بالعديد من المزايا الجديرة بالذكر:

1. لا يلزم وجود مفتاح API: هذه ميزة كبيرة. تتطلب معظم منصات الوسائط الاجتماعية مفتاح واجهة برمجة التطبيقات (API) لكشط البيانات، وهو ما قد يمثل مشكلة للعديد من المستخدمين. هذا هو أحد الأسباب التي تجعل الكثير من الناس يفضلون Snscrape.
2. المرونة: يمكنك تخصيص استعلامات البحث الخاصة بك لتكون واسعة أو محددة حسب حاجتك. هذه المرونة ضرورية للبحث الذي يتطلب جمع بيانات دقيقة.
3. سهولة الاستخدام: بالنسبة لمن هم على دراية بلغة Python، فإن snscrape سهل الاستخدام. أوامره وبنيته المباشرة تجعل من السهل دمجه في سير عمل جمع البيانات.

2. كيف يعمل Snscrape؟

يعد استخدام snscrape بسيطًا نسبيًا، خاصةً إذا كان لديك فهم أساسي لبايثون.

تعمل الأداة عن طريق كشط مواقع التواصل الاجتماعي بحثًا عن البيانات المتاحة للجمهور. على سبيل المثال، يمكنك استخدامها لجمع التغريدات التي تحتوي على كلمات مفتاحية أو هاشتاجات أو من مستخدمين معينين.

إليك مثالاً بسيطاً:

إذا كنت تريد كشط التغريدات التي تحتوي على الهاشتاج #technology، يمكنك كتابة برنامج نصي من Python باستخدام snscrape للبحث عن هذا الهاشتاج ثم استخراج التغريدات ذات الصلة.

إليك كيفية عمل Snscrape

• سنسكراب يمكنك تشغيل Snscrape على جهاز الكمبيوتر الخاص بك لجمع المنشورات العامة من منصات مثل X (تويتر).
• وكيل: يخفي الوكيل عنوان IP الخاص بك ويساعد على تجنب الحظر عند الكشط.
• الويب: يقوم Snscrape بإرسال طلبات إلى الموقع الإلكتروني وتحميل البيانات العامة، مثل التغريدات.
• البيانات: ثم يحول تلك البيانات إلى تنسيق نظيف وقابل للقراءة - مثل JSON أو CSV - لتستخدمه.

3. كيفية استخدام سنكراب

للبدء، ستحتاج إلى إعداد أساسي يتضمن Python مثبتًا على حاسوبك. بعد ذلك، يمكنك تثبيت snscrape باستخدام pip، مثبت حزم Python. بمجرد التثبيت، يمكنك البدء في كتابة البرامج النصية لكشط البيانات التي تحتاجها.

إليك دليل بسيط لبدء استخدام هذه الأداة الفعّالة.

a. التركيب

أولاً، تحتاج إلى تثبيت snscrape. افتح موجه الأوامر أو الطرفية واكتب الأمر التالي:

كود bashCopy

تثبيت برنامج snscrape

يستخدم هذا الأمر مدير حزم Python، pip، لتنزيل المكشطة وتثبيتها.

b. اكتب نصًا أساسيًا

بمجرد تثبيته، يمكنك البدء في كتابة برنامج Python النصي لكشط البيانات. لنفترض أنك تريد جمع التغريدات التي تحتوي على هاشتاج معين. إليك مثال أساسي:

استيراد snscrape.modules.twitter باسم sntwitter # حدد عدد التغريدات المراد كشطها max_tweets = 100 # استخدام TwitterSearchScraper لكشط البيانات وإلحاق التغريدات بالقائمة ل i، تغريدة في تعداد (sntwitter.TwitterSearchScraper('#technology).get_items()): إذا i > max_tweets: فاصل طباعة (tweet.content)

سيقوم هذا النص البرمجي بجمع آخر 100 تغريدة تحتوي على هاشتاج #technology.

c. تشغيل البرنامج النصي الخاص بك

احفظ البرنامج النصي الخاص بك كـ .py وتشغيله باستخدام Python. سيتم تنفيذ البرنامج النصي، ومن المفترض أن تبدأ في رؤية التغريدات مطبوعة في موجه الأوامر أو الطرفية.

d. كيفية تخصيص استعلامك

يمكنك تعديل استعلام البحث بسهولة. على سبيل المثال، إذا كنت تريد كشط التغريدات من مستخدم معين، يمكنك تغيير الاستعلام في TwitterSearchScraper الطريقة:

sntwitter.TwitterSearchScraper('from:username')

استبدل اسم المستخدم بمُعرِّف تويتر الخاص بالمستخدم الذي تريد كشط تغريداته.

e. التعامل مع البيانات

يمكن تخزين البيانات التي تقوم بكشطها بتنسيقات مختلفة. على سبيل المثال، قد ترغب في حفظ التغريدات في ملف CSV لتسهيل التحليل. يمكنك تعديل البرنامج النصي لكتابة البيانات التي تم كشطها في ملف:

استيراد ملف csv # ... [الكود السابق] # افتح/أنشئ ملفًا لإلحاق البيانات بـ csvFile = فتح('scraped_tweets.csv', 'a', newline=''', encoding='utf8') # استخدم كاتب csv csvWriter = csv.writer(csvFile) csvWriter.writeow(['id', 'date', 'tweet']) ل i, tweet في تعداد (sntwitter.TwitterSearchSearchScraper('#technology).get_items()): إذا كنت i > max_tweets: كسر csvWriter.writerow([tweet.id, tweet.date, tweet.content]) csvFile.close()

سيحفظ هذا البرنامج النصي معرف التغريدة والتاريخ والمحتوى في ملف CSV باسم كشط_تغريدات_كشط_تغريدات.csv.

4. ما هي البيانات التي يمكنك كشطها من تويتر باستخدام Snscrape؟

يمكن أن يساعدك Snscrape في استخراج مجموعة كبيرة من البيانات من X (تويتر). فيما يلي تفصيل لنقاط البيانات المختلفة التي يمكنك كشطها باستخدام snscrape:

a. التغريدات

الاستخدام الأساسي لـ snscrape هو جمع التغريدات. وهذا يشمل:

• محتوى التغريدة: النص الفعلي للتغريدة.
• معرّف التغريدة: معرّف فريد لكل تغريدة.
• التاريخ والوقت: عندما تم نشر التغريدة
• عناوين URL: أي روابط مضمنة في التغريدة.

b. معلومات المستخدم

يسمح لك Snscrape بجمع معلومات عن مستخدمي تويتر، مثل:

• اسم المستخدم: مُعرّف تويتر الخاص بالمستخدم.
• معرّف المستخدم: معرّف فريد لكل مستخدم.
• وصف الملف الشخصي: السيرة الذاتية أو وصف الملف الشخصي للمستخدم.
• موقع: الموقع الذي قدمه المستخدم في ملفه الشخصي (إن وجد).

c. مقاييس المشاركة

على الرغم من أن snscrape لا يجلب مقاييس المشاركة مباشرةً مثل الإعجابات أو إعادة التغريد، إلا أنه لا يزال بإمكانك جمعها:

• عدد مرات إعادة التغريد: عدد مرات إعادة تغريد التغريدة (لبعض التغريدات).
• عدد الردود: عدد الردود على تغريدة (لبعض التغريدات).

d. الهاشتاجات والإشارات

يستطيع Snscrape استخراج عناصر محددة داخل التغريدات، بما في ذلك:

• الهاشتاجات: أي هاشتاغات مستخدمة في التغريدة.
• الإشارات: أسماء المستخدمين لحسابات X (تويتر) الأخرى المذكورة في التغريدة.

e. المحتوى الإعلامي

إذا كانت التغريدة تحتوي على وسائط، يمكن لـ snscrape مساعدتك في تحديدها:

• عناوين URL للوسائط: روابط الصور أو مقاطع الفيديو المرفقة بالتغريدة.

f. استعلامات البحث المتقدم

إن Snscrape قادر على التعامل مع استعلامات البحث المتقدمة، مما يسمح لك بكشط التغريدات بناءً على:

• الكلمات المفتاحية: التغريدات التي تحتوي على كلمات أو عبارات محددة.
• نطاقات التاريخ: التغريدات المنشورة في إطار زمني محدد.
• الموقع الجغرافي: تغريدات من موقع جغرافي محدد (في حالة توفر بيانات الموقع الجغرافي).

ستتضمن كل تغريدة حقولاً مثل

• الهوية: معرّف التغريدة الفريد
• التاريخ: عندما تم نشر التغريدة
• المحتوى: النص الكامل للتغريدة
• اسم المستخدم: من نشرها
• إعادة التغريد, عدد الإعجابإلخ.

g. بيانات الخيط والمحادثة

يمكنك أيضًا استخدام snscrape لمتابعة سلاسل المحادثات، واستخراج:

• التغريدات الحوارية: الردود والتغريدات المقتبسة، مما يسمح لك بتتبع المحادثات.

5. حالات استخدام Snscrape: من البسيط إلى المتقدم

سنكراب مجموعة واسعة من التطبيقات. إليك كيفية استخدام الناس لها - من الكشط اليومي إلى الإعدادات الآلية الأكثر تقدمًا.

a. حالات استخدام Snscrape اليومية

فيما يلي الطرق الأكثر شيوعًا التي يستفيد بها المستخدمون من snscrape للمهام لمرة واحدة أو المشاريع الصغيرة:

• أبحاث السوق: كشط الإشارات إلى المنتجات أو العلامات التجارية أو الاتجاهات لفهم كيفية حديث الناس عنها في الوقت الفعلي.
• البحث الأكاديمي: جمع مجموعات البيانات للدراسات حول الخطاب السياسي أو السلوكيات على الإنترنت أو الرأي العام.

لا تحتاج إلى إعداد ضخم - فقط برنامج نصي من Python واستعلام بحث واضح.

b. أتمتة عمليات الكشط باستخدام Cronjobs

إذا كنت ترغب في جمع البيانات بشكل مستمر - يوميًا أو كل ساعة أو أسبوعيًا - يمكنك جدولة البرنامج النصي snscrape باستخدام cronjobs (لينكس/ماك أوس) أو جدولة مهام ويندوز.

يعد هذا الأمر مثاليًا لالتقاط الإشارات اليومية أو كل ساعة أو لبناء بيانات السلاسل الزمنية للتعرف على الاتجاهات أو المشاعر.

c. الكشط المستهدف جغرافيًا للحصول على رؤى محلية

هل تحتاج إلى بيانات مستندة إلى الموقع الجغرافي؟ يدعم Snscrape الفلاتر الجغرافية باستخدام "بالقرب من:" و "في الداخل:" في استفسارك.

مثال على ذلك:

استخدم هذا لأشياء مثل: مراقبة الاستجابة الإقليمية للكوارث أو المشاعر أو الإشارات الخاصة بالعلامة التجارية الخاصة بالمدينة.

يمكنك حتى الجمع بين هذا مع منذ ذلك الحين: و حتى: للبيانات الخاصة بالتاريخ.

d. تتبع الخيوط وخطوط أنابيب علم البيانات

لتحليل أكثر تعقيدًا، يُستخدم برنامج snscrape بشكل متكرر في:

• كشط خيوط المحادثة بالكامل (بما في ذلك الردود والاقتباسات)
• إنشاء مجموعات بيانات موسومة للبرمجة اللغوية العصبية أو نمذجة المواضيع أو التعلم الآلي
• تبسيط استخراج التغريدات في إطار بيانات بانداس DataFrame للمعالجة المسبقة

مثال على ذلك:

من تصنيف المشاعر إلى تجميع المحادثات حسب الموضوعات، يعد Snscrape المفضل في علم البيانات والمجتمع البحثي.

6. كيفية إضافة وكيل إلى Snscrape

إضافة وكيل لـ snscrape يمكن أن يحسن قدراتك على الكشط عشرة أضعاف. فهو يوفر إخفاء الهوية وتجاوز حدود المعدل وكذلك المحتوى المحظور جغرافيًا.

إليك دليل تفصيلي خطوة بخطوة حول كيفية دمج وكيل مع snscrape:

a. اختر خدمة الوكيل

اختر خدمة بروكسي موثوقة. هناك العديد من أنواع الوكلاء متاحة، بما في ذلك الخدمات المجانية والمدفوعة. تقدم الأخيرة بشكل عام موثوقية وسرعة أفضل. أقترح أنواع البروكسي التالية لاستخدامها مع Snscrap.

• سكني دوار للتخفي
• وكلاء مركز البيانات للسرعة
• وكلاء الهاتف المحمول لكشط Instagram

b. احصل على معلومات التوكيل الخاصة بك

بمجرد اختيارك لخدمة البروكسي، اجمع المعلومات اللازمة: عنوان الخادم الوكيل، ورقم المنفذ، واسم المستخدم وكلمة المرور إن أمكن.

c. تكوين برنامج بايثون النصي الخاص بك

بعد ذلك، ستحتاج إلى تعديل نص Python البرمجي الخاص بك لتوجيه طلبات snscrape من خلال الوكيل.

إليك مثال على كيفية القيام بذلك:

استيراد snscrape.modules.twitter باسم sntwitter استيراد الطلبات # Proxy التكوين البروكسي = { 'http': 'http://username:password@proxyserver:port'، 'https': 'https://username:password@proxyserver:port'، } # إنشاء جلسة عمل وتهيئتها لاستخدام البروكسي جلسة عمل = requests.Session() جلسة عمل.proxies.update(proxies) # استخدم snscrape مع جلسة العمل للتغريدة في sntwitter.TwitterSearchScraper('keyword'، الجلسة=الجلسة).get_items(): طباعة(tweet.content)

استبدل اسم المستخدم, كلمة السر, الخادم القريبو الميناء ببيانات الوكيل الخاص بك. إن كلمة رئيسية يجب استبداله بمصطلح البحث الخاص بك.

7. لماذا يجب عليك استخدام البروكسي مع Snscrape

1. حدود معدل التجاوز: يمكن أن تساعد الوكلاء في تجنب الوصول إلى حدود معدل X (تويتر) من خلال توزيع الطلبات عبر عناوين IP مختلفة.
2. تجنب حظر IP: يمكن أن يؤدي الكشط المنتظم من نفس عنوان IP إلى الحظر. تخفف الوكلاء من هذا الخطر من خلال تدوير عنوان IP الخاص بك.
3. الوصول إلى المحتوى المقيد جغرافياً: يمكن أن توفر البروكسيات عناوين IP من مواقع مختلفة، مما يسمح بالوصول إلى محتوى خاص بالمنطقة.
4. إخفاء الهوية والخصوصية: يؤدي استخدام البروكسي إلى إخفاء عنوان IP الحقيقي الخاص بك، مما يعزز خصوصيتك ويقلل من خطر تعقبك.
5. تحسين الأداء: يمكن أن تؤدي الوكلاء إلى استرجاع البيانات بشكل أسرع وتقليل مخاطر التحميل الزائد على الخادم من خلال توزيع الحمل.

8. بدائل سنكراب

على الرغم من أن snscrape أداة قوية لكشط بيانات وسائل التواصل الاجتماعي، إلا أن هناك حالات قد تحتاج فيها إلى بديل (أفضل أدوات كشط الويب). سواء كان ذلك بسبب متطلبات الميزات المختلفة أو دعم النظام الأساسي أو سهولة الاستخدام، فقد يكون التحقق من الأدوات الأخرى مفيدًا. فيما يلي بعض البدائل البارزة لـ snscrape:

a. توينت

توينت هي مكتبة بايثون شائعة أخرى ل كشط تويتر البيانات. وهو معروف بقدرته على كشط عدد كبير من التغريدات دون الحاجة إلى واجهة برمجة تطبيقات تويتر أو أي مصادقة. يمكن ل Twint جلب مجموعة متنوعة من المعلومات، بما في ذلك التغريدات والمتابعين والإعجابات وغيرها. وهو مفيد بشكل خاص لأولئك الذين يحتاجون إلى جمع مجموعات بيانات كبيرة من تويتر.

b. السكراب

سكرابي أكثر عمومية استخراج البيانات من مواقع الإنترنت في بايثون. على الرغم من أنه ليس مصممًا خصيصًا لوسائل التواصل الاجتماعي، إلا أنه قوي للغاية لاستخراج البيانات من أي موقع إلكتروني. يعد Scrapy مناسبًا لمهام الكشط المعقدة، ويوفر تخصيصًا وتحكمًا واسعًا في مهام الكشط. إنه مثالي للمستخدمين الذين لديهم مهارات برمجة أكثر تقدمًا ويحتاجون إلى كشط البيانات من مجموعة متنوعة من المصادر.

c. حساء جميل

BeautifulSoup هي مكتبة Python لتحليل مستندات HTML و XML. غالبًا ما تُستخدم مع مكتبة الطلبات لكشط البيانات من صفحات الويب. على الرغم من أنها تتطلب إعدادًا أكثر مقارنةً بـ snscrape، إلا أن BeautifulSoup توفر مرونة كبيرة وقوية في استخراج البيانات من صفحات الويب التي ليست بالضرورة منصات وسائط اجتماعية.

d. أوكتوبارسي

أوكتوبارسي عبارة عن أداة سهلة الاستخدام لاستخراج البيانات بنقرة واحدة ولا تتطلب أي مهارات في البرمجة. وهي مناسبة لغير المبرمجين أو لأولئك الذين يفضلون واجهة رسومية لمهام الكشط. يمكن ل Octoparse التعامل مع كل من استخراج البيانات البسيطة والمعقدة من أنواع مختلفة من صفحات الويب، بما في ذلك مواقع التواصل الاجتماعي.

e. عامل مناجم البيانات

عامل منجم البيانات هو امتداد لمتصفح Chrome وEdge يتيح لك كشط البيانات من صفحات الويب إلى مجموعة متنوعة من تنسيقات الملفات، بما في ذلك Excel وجداول بيانات Google. إنه سهل الاستخدام للغاية ومناسب لأولئك الذين يحتاجون إلى كشط البيانات بسرعة دون كتابة أي كود برمجي.

f. ParseHub

ParseHub هي أداة استخراج بيانات مرئية مزودة بتقنية التعلم الآلي لتحديد البيانات واستخراجها وتحويلها من صفحات الويب. اطّلع على ParseHub مراجعة. إنها أداة قوية لكشط مواقع الويب المعقدة ويمكنها التعامل مع مواقع الويب التي تحتوي على JavaScript و AJAX.

9. هل Snscrape قانوني؟

نعم-يقوم snscrape بكشط البيانات المرئية للعامة فقطمثل التغريدات وأسماء المستخدمين والوسوم والطوابع الزمنية. إنه يقوم بـ لا الوصول إلى الرسائل الخاصة أو المحتوى المحمي بتسجيل الدخول.

ومع ذلك، فإن الشرعية ليست دائماً بالأبيض والأسود. في حين أن كشط البيانات العامة قانوني بشكل عام, منصات مثل تويتر/X وInstagram لديها شروط خدمة قد تحظر الوصول الآلي.

🛡️ كيفية استخدام snscrape بمسؤولية:

• لا تكشط خلف جدران الحماية من الدفع أو تسجيل الدخول
• احترام حدود المعدل وسلامة الموقع
• تحقق دائماً من أحدث سياسات المنصة

تعرّف على المزيد في: هل تجريف الويب قانوني؟

10. الأسئلة المتداولة على Snscrape

11. كلمات ختامية

Snscrape أداة رائعة لاستخراج بيانات الوسائط الاجتماعية. باستخدام مهارات Python الأساسية، يمكنك تخصيص عملية كشط البيانات لتناسب مجموعة واسعة من الاحتياجات.

فقط تأكد من استخدام snscrape بشكل صحيح وأخلاقي لتجنب أي مشاكل.

والآن، لنستمتع قليلاً!

هل أنت خبير في الكشط أم مستجد؟

قم بإجراء الاختبار الممتع التالي وتعرف على شخصيتك في الكشط