بقلم
مع وجود أكثر من 666 مليون مستخدم نشط في السابق تويتر، أو العلامة التجارية الجديدة X، هي واحدة من أكثر منصات التواصل الاجتماعي شيوعًا ومصدرًا قيّمًا للمعلومات للشركات والباحثين والأفراد. ومع ذلك، يعد استخراج البيانات وتصفيتها يدويًا من بين المجال الواسع لبيانات تويتر أمرًا مرهقًا وغير فعال.
يتضمن كشط تويتر استخدام برامج أو نصوص برمجية لجمع البيانات من المنصة. يمكنك تحليل هذه البيانات لاكتساب رؤى لا تُقدّر بثمن حول الموضوعات والوسوم الرائجة والمحادثات والتفاعلات التي تحدث على المنصة وسلوك المستخدم.
يمكن تحليل المعلومات التي تم جمعها بدقة لأغراض مختلفة، مثل تحليل المشاعر وأبحاث السوق ومراقبة وسائل التواصل الاجتماعي. ستغوص هذه المقالة في جوانب مختلفة من الكشط بيانات تويتر باستخدام الأساليب الحالية، من البرمجة النصية إلى البرمجيات الخالية من التعليمات البرمجية، والتكاليف المرتبطة بها، والشروط القانونية والأخلاقية.
جدول المحتويات
ما أنواع البيانات التي يمكن استخراجها من تويتر؟
يمكنك استخراج أنواع مختلفة من بيانات تويتر. فيما يلي ثلاثة أنواع بيانات رئيسية لكشط تويتر:
- التغريدات: يمكنك التقاط بيانات محددة من التغريدات التي تمت تصفيتها استنادًا إلى الملفات الشخصيّة، مثل الإعجابات والردود وإعادة التغريدات وعناوين URL المحددة.
- ملفات تعريف المستخدم: يمكن تجميع أي شيء من الملف الشخصيّ العام للمستخدم، مثل النبذة التعريفيّة للمستخدم، ووصف الملف الشخصيّ، وعدد التغريدات، وإعادة التغريد، وعدد المتابعين/المتابعين، وصورة الملف الشخصيّ.
- الكلمات المفتاحية/العلامات المفتاحية: يمكنك جمع التغريدات التي تحتوي على كلمات مفتاحية أو هاشتاجات معينة أو مزيج منها. من الممكن أيضًا تنقيح البحث حسب عدد الإعجابات أو من خلال البحث عن تواريخ وأوقات محددة.
شروط الاستخدام القانونية والأخلاقية
عند الغوص في عالم تجريف البيانات، من الضروري فهم الحدود القانونية والأخلاقية التي ينطوي عليها الأمر.
وفقاً ل شروط تويتر ولوائحه (اتفاقية وسياسة المطوّرين)، يُحظر كشط البيانات دون إذن صريح ومعلن من قبل سياسة تويتر: "يُحظر صراحةً كشط الخدمات دون موافقة مسبقة من تويتر.
سيخضع أي إساءة استخدام لواجهة برمجة تطبيقات تويتر لهذه الأغراض لإجراءات إنفاذ القانون، والتي قد تشمل تعليق الوصول وإنهاءه.
الدليل العام لكشط تويتر
بعد مقدمة موجزة عن كشط تويتر، حان الوقت لاستكشاف عملية كشط بيانات تويتر. وبالتالي، قمنا بتجميع دليل بسيط وشامل لك حول عملية كشط بيانات تويتر. يُرجى اتباع الخطوات أدناه:
- أولاً، يجب أن يكون لديك أدوات الكشط المناسبة. هناك الكثير من الخيارات للاختيار من بينها. لذا، حدد الخيار الذي يناسب ميزانيتك وتفضيلاتك.
- قم بتنزيل أداة الكشط وتثبيتها على نظامك.
- تأكد من توفر مساحة تخزين كبيرة على جهازك وأن لديك اتصالاً موثوقاً بالإنترنت.
- بعد التثبيت، سجّل الدخول باستخدام تفاصيل حسابك على تويتر.
- يعد ضبط المعلمات لكشط البيانات من تويتر خطوة مهمة تتيح لك استخراج البيانات بناءً على الكلمات المفتاحية والهاشتاجات والتواريخ والأوقات والمواقع وعناوين URL، وما إلى ذلك.
- بعد تنفيذ أداة الكاشطة، سيتم ترك كمية كبيرة من البيانات. يمكنك تصدير البيانات إلى تنسيقات ملفات مختلفة (xlsx، CSV، JSON، إلخ).
- في الخطوة الأخيرة، يجب عليك تحليل البيانات المصدرة للحصول على رؤى حول موضوع اهتمامك.
أدوات وأساليب البحث على تويتر
لقد قمنا بمراجعة بعض أدوات الكشط المتاحة عبر الإنترنت، من مكشطة تويتر إلى خدمات الطرف الثالث وحتى مكتبات Python مفتوحة المصدر، وأدرجتها أدناه.
4.1. كاشطات تويتر المستندة إلى واجهة برمجة التطبيقات
الطريقة الأولى التي سنلقي نظرة عليها هي أدوات كشط تويتر المستندة إلى واجهة برمجة التطبيقات، والتي تشمل Twitter API V2 و Apify و Brightdata و Scrapingdog.
4.1.1. واجهة برمجة تطبيقات تويتر V2
Twitter API v2 هو أحدث إصدار من واجهة برمجة تطبيقات Twitter's API، وهي واجهة برمجة التطبيقات الرسمية والأكثر استخدامًا للمطورين الذين يقومون بإنشاء تطبيقات ذات تفاعل اجتماعي أو الباحثين/الأفراد الذين يجمعون البيانات لغرضهم الخاص. يتيح استخدام واجهات برمجة التطبيقات الجديدة إمكانية مراقبة المحادثات المباشرة على الشبكات الاجتماعية وتحليلها دون عناء.
في الآونة الأخيرة، أضاف تويتر بعض الميزات الجديدة، مثل نقاط النهاية وخيارات الحمولة لمنشورات التغريدات ومجموعات معرّفات المحادثة والتعليقات التوضيحية. هذه التغييرات رائعة للغاية. ومع ذلك، أثار هيكل التسعير الجديد مخاوف جدية للمطورين وتطبيقات الجهات الخارجية. مع هيكل التسعير الجديد، انخفض الوصول إلى الخدمات بشكل كبير، وارتفعت الأسعار بشكل كبير.
تحتوي خطط تسعير Twitter/X API v2 على ثلاثة مستويات: مجاني، وأساسي، ومؤسسي.
- في الفئة المجانية، يمكن للمطورين نشر ما يصل إلى 1500 تغريدة شهرياًمصممة للاستخدام الكتابي فقط واختبار واجهة برمجة تطبيقات تويتر.
- تكاليف الفئة الأساسية $100 شهريًا وتسمح للمطورين بنشر ما يصل إلى 3000 تغريدة شهريًا على مستوى المستخدم و 50,000 تغريدة (مع حد أقصى للقراءة يبلغ 10,000) على مستوى التطبيق.
- يتضمن إطار المؤسسة ميزات أكثر تقدماً مصممة للشركات. ومع ذلك، فإن خطة المؤسسة ستفرض على المطورين/الشركات سعرًا باهظًا ما يقرب من 42000$ شهرياً.
4.1.2. أبيفي
من خلال مكشطة تويتر من Apify، يمكنك استخراج المعلومات من بيانات تويتر المتاحة للجمهور مثل الهاشتاجات والمواضيع والردود والصور وغيرها. وضعت التغييرات الأخيرة على تويتر قيودًا جديدة على عرض التغريدات وكشطها على هذه المنصة، حيث لن يتمكن المستخدمون من استخراج المعلومات العامة إلا بحد أقصى 100 تغريدة لكل ملف شخصي. لا يمكن لهذه المكشطة كشط أحدث التغريدات ولكن يمكنها استرداد التغريدات الأكثر إعجابًا. يمكن الوصول إلى البيانات المستخرجة بتنسيقات HTML وJSON وExcel وCSV.
يوضح الشكل التالي تكاليف الخدمة الشهرية من Apify. كما تقدم أيضًا خصم 10% للخطة السنوية. لمزيد من المعلومات، يرجى زيارة تسعير Apify.
4.1.3. برايت داتا
Bright Data هي عبارة عن منصة لجمع البيانات تقدم أدوات كشط الويب مثل خوادم البروكسي وواجهات برمجة التطبيقات وحلول بدون كود. وتمنح مكشطة الويب من Bright Data للمستخدمين القدرة على استخراج البيانات من الملفات الشخصية العامة على تويتر، بما في ذلك الصور ومقاطع الفيديو والتغريدات والوسوم وغيرها.
تبدأ الأسعار بـ 500$ شهريًا لتحميل 151000 صفحة. تتوافق أداة جمع البيانات الساطعة على تويتر مع جميع خدمات الويب وتخرج بياناتها بصيغة Excel. كما يقدم أيضًا نسخة تجريبية لمدة 7 أيام، ويمكنك اختبار المنصة قبل دفع 500 دولار.
4.1.4. سكرابيندوج
Scrapingdog عبارة عن واجهة برمجة تطبيقات لكشط الويب تساعدك على كشط أي موقع إلكتروني، بما في ذلك تويتر. وهي تتيح لك كشط التغريدات باستخدام معرّفات التغريدات أو كشط الصفحات العامة لاستخراج تفاصيل مثل عدد المتابعين وعدد المتابعين وروابط الموقع الإلكتروني.
يكلفك 0.00091 تيرابايت لكل صفحة على تويتر في الباقة القياسية، وهي من بين أفضل الباقات من حيث القيمة مقارنةً بأفضل برامج كشط تويتر الأخرى. كما قدموا أيضًا نسخة تجريبية مجانية؛ يمكنك إلغاء اشتراكك في أي وقت واسترداد أموالك بسهولة. لمزيد من المعلومات حول كيفية كشط البيانات باستخدام Scrapingdog، يمكنك زيارة وثائق واجهة برمجة تطبيقات تويتر كشط تويتر.
4.2. مكتبات وحزم بايثون لكشط تويتر
والآن بعد أن أصبحت الآن على دراية بواجهة برمجة تطبيقات تويتر وتطبيقات مثل Apify، حان الوقت لإلقاء نظرة على مكتبات وحزم بايثون الخاصة بكشط تويتر.
4.2.1. تويبي
Tweepy عبارة عن حزمة Python مفتوحة المصدر تسمح للمطوّرين بالوصول إلى نقاط نهاية تويتر بسلاسة وشفافية. ومع ذلك، يجب أن تكون على دراية بأن تويتر قد فرض قيودًا على عدد الطلبات المرسلة إلى واجهة برمجة تطبيقات X/Twitter، حيث يُسمح بـ 900 طلب كل 15 دقيقة. نهدف في هذا القسم إلى إلقاء نظرة على وظائف Tweepy وإعطاء مثال بسيط.
للبدء، قم بتثبيت حزمة Tweepy باستخدام الأمر "pip install Tweepy" على Python IDE الخاص بك ثم قم باستيراد Tweepy أيضًا. الخطوة التالية هي تسجيل تطبيق العميل الخاص بك مع تويتر. قم بإنشاء تطبيق جديد. بمجرد الانتهاء، ستتلقى رمزًا مميزًا لحامله.
|
1 2 |
نقطة التثبيت تويبي الاستيراد تويبي |
بعد ذلك، يجب عليك إنشاء مثيل "عميل" لتمرير الرمز المميز لحامل المستهلك الذي حصلت عليه من واجهة برمجة تطبيقات تويتر.
في متغير الاستعلام، حددنا حقلاً وإشارة ووسماً كما هو موضح.
|
1 2 3 |
العميل = تويبي.العميل(رمز_حامل_الرمز='رمز_حامل_رمز') الاستعلام = "الاستعلام عن @mentions #hashtags |
للبحث عن التغريدات من الأيام السبعة الماضية، يمكنك استخدام ميزة search_recent_tweets المتوفرة في Tweepy. لتحديد البيانات التي تبحث عنها، تحتاج إلى تمرير استعلام بحث.
|
1 2 |
أحدث_التغريدات = العميل.البحث_في_آخر_التغريدات(الاستعلام=الاستعلام, حقول_التغريدات=['tweet_field_1,تغريدة_حقل_تغريدة_2'], الحد الأقصى_للنتائج=100) |
إذا كان لديك حق الوصول إلى مسار منتج البحث الأكاديمي، يمكنك استرداد التغريدات الأقدم من 7 أيام. من الأرشيف الكامل للتغريدات المتاحة للجمهور.
|
1 2 |
التغريدات = العميل.البحث_في_جميع_التغريدات(الاستعلام=الاستعلام, حقول_التغريدات=['tweet_field_1,تغريدة_حقل_تغريدة_2'], الحد الأقصى_للنتائج=100) |
يمكنك تصدير النتائج باستخدام الكود التالي.
|
1 2 3 4 5 |
لـ تغريدات في التغريدات.البيانات: طباعة(تغريدات.النص) إذا لين(تغريدات.شروح_سياق_التعليقات) > 0: طباعة(تغريدات.شروح_سياق_التعليقات) |
هناك أيضًا الكثير من الوظائف في Tweepy القادرة على أداء مهام مختلفة في حالات أكثر تعقيدًا وتحديدًا.
4.2.2. سنكراب
هناك طريقة أخرى للحصول على المعلومات من تويتر دون الاعتماد على واجهة برمجة التطبيقات وهي من خلال Snscrape. فهو يتيح لك استرداد المعلومات الأساسية مثل الملفات الشخصية للمستخدمين، ومحتوى التغريدات، والمصادر، وما إلى ذلك. على عكس Tweepy، لا توجد حدود لعدد التغريدات التي يمكنك كشطها أو تواريخ التغريدات، ويمكنك استخراج بيانات تويتر القديمة. ونظرًا لأن Snscrape غير متصل بواجهة برمجة تطبيقات تويتر، فإنه يفتقر إلى وظائف على مستوى Tweepy. راجع دليلنا الكامل لـ سنكراب.
في هذا القسم، نستعرض أيضًا مثالًا أساسيًا لكشط بعض البيانات من تويتر باستخدام Snscrape في Python.
أولاً، يجب عليك تثبيت Snscrape. لاحظ أنه يجب أن يكون لديك Python 3.8 أو أعلى مثبتًا حتى يعمل.
|
1 2 |
نقطة التثبيت سنسكراب |
في الخطوة التالية، قم بتثبيت المكتبات التالية.
|
1 2 3 |
الاستيراد سنسكراب.الوحدات.تويتر كما تويتر الاستيراد الباندا كما ص د |
نرسل استعلامًا (في حالتنا، "استعلام") باستخدام الدالة "TwitterSearchScraper(query).get_items" ونحصل على عناصر من البحث تمامًا مثل النتائج من شريط بحث تويتر.
|
1 2 3 4 5 6 |
الاستعلام = "استعلام" لـ تغريدات في تويتر.TwitterSearchScraper(الاستعلام).الحصول على_عناصر(): طباعة(الفارس(تغريدات)) استراحة |
هناك طرق أخرى يمكن استخدامها لكشط البيانات من تويتر، مثل: TwitterSearchScraper، TwitterUserScraper، TwitterProfileScraper، TwitterHashtagScraper، TwitterTwweetScraperMode، TwitterTweetScraper، TwitterListPostsScraper، TwitterTrendsScraper.
الخاتمة
يُعد تويتر مصدرًا جديرًا بالاهتمام للمعلومات الاجتماعية عبر الويب. وبالاستفادة من المعلومات التي يتم كشطها من تويتر، يمكنك تصميم خططك لزيادة مبيعاتك وتحسين استراتيجياتك التسويقية. في هذه المقالة، قدمنا نظرة عامة متعمقة على الجوانب والأساليب المختلفة لكشط تويتر لاستخراج البيانات التي يمكن أن تكون ذات قيمة للأعمال التجارية أو البحثية.
باختصار، وفقاً للقيود الجديدة المفروضة على واجهة برمجة تطبيقات تويتر API v2 إلى جانب التكاليف المرتفعة، فإن اختيار أفضل مكشطة سيكون أمراً صعباً. يمكنك الاستفادة من الميزات الأكثر تقدمًا على واجهة برمجة تطبيقات تويتر أو تطبيقات الطرف الثالث ومكتبات بايثون (Tweepy) المتصلة مباشرةً بواجهة برمجة تطبيقات تويتر. ولكن، عدد الطلبات التي يمكنك تقديمها محدود للغاية. من ناحية أخرى، إذا كنت تسعى إلى كشط البيانات المتاحة للجمهور وكانت الميزات الأساسية تفي باحتياجاتك، فإن خيارات مثل مكتبة Snscrape Python يمكن أن تكون خيارًا رائعًا.
تنويه: تم تطوير هذاه المادة لأغراض معلوماتية فقط، وهي لا تشكل تأييدًا لأي أنشطة (بما في ذلك الأنشطة غير القانونية) أو منتجات أو خدمات. أنت وحدك مسؤول بشكل كامل عن الامتثال للقوانين المعمول بها، بما في ذلك قوانين حماية الملكية الفكرية، عند استخدام خدماتنا أو الاعتماد على أي معلومات هنا. نحن لا نتحمل أي مسؤولية عن الضرر الناشئ عن استخدام خدماتنا أو المعلومات الواردة هنا بأي شكل من الأشكال، إلا في الحالات التي يُشترط فيها وجود ذلك صراحة بموجب القانون.
0التعليقات