Back to Question Center
0

وب Scraping: ربات ها خوب و بد - توضیح Semalt

1 answers:

ربات ها تقریبا 55 درصد از کل ترافیک وب را نشان می دهد. این بدان معنی است که اکثر ترافیک وب سایت شما از رباتهای اینترنتی به جای انسانها است. یک ربات نرم افزار کاربردی است که مسئول اجرای کارهای خودکار در دنیای دیجیتال است. رباتها به طور معمول انجام وظایف تکراری را با سرعت بالا انجام می دهند و عمدتا توسط افراد انعطاف پذیر هستند. آنها مسئول شغل های کوچک هستند که ما معمولا به عنوان اعطا می شود، از جمله نمایه سازی موتور جستجو، نظارت بر سلامت وب سایت، اندازه گیری سرعت آن، اعمال قدرت API ها و تهیه محتوای وب. رباتها همچنین برای خودکارآمدی حسابرسی امنیتی استفاده می شوند و سایت های شما را اسکن می کنند تا آسیب پذیری ها را شناسایی کرده و بلافاصله آنها را دوباره بسازند - free boat value guides.

بررسی تفاوت بین رباتها خوب و بد:

رباتها را می توان به دو دسته مختلف، ربات ها خوب و ربات ها بد تقسیم کرد. ربات های خوب از سایت های شما بازدید می کنند و به موتورهای جستجو کمک می کند صفحات وب مختلف را خالی کند. به عنوان مثال، Googlebot مقدار زیادی از وب سایت ها را در نتایج گوگل باز می کند و به صفحات جدید وب در اینترنت کمک می کند. با استفاده از الگوریتم ها برای ارزیابی وبلاگ ها و وب سایت ها باید خزیدن، چگونگی انجام خزیدن و چندین صفحه تا کنون نشان داده شده است. ربات های بد مسئول انجام وظایف مخرب، از جمله وب سایت خراشیده، نظر هرزنامه ، و حملات DDoS. آنها بیش از 30 درصد از کل ترافیک اینترنت را نمایندگی می کنند..هکرها رباتهای بد را اجرا می کنند و انواع کارهای مخرب را انجام می دهند. آنها میلیون ها نفر را به میلیاردها صفحه وب اسکن می کنند و قصد دارند محتوای خود را به صورت غیرقانونی به سرقت و یا خرابکاری بپردازند. آنها همچنین پهنای باند مصرف می کنند و به طور مداوم برای پلاگین ها و نرم افزار هایی که می توانند برای نفوذ به وب سایت ها و پایگاه های داده شما مورد استفاده قرار گیرند، به دنبال آن هستند.

آسیب چه چیزی است؟

به طور معمول موتورهای جستجو محتوای محروم را به عنوان محتوای تکراری مشاهده می کنند. این به رتبه بندی جستجوی موتور شما مضر است و خوراک RSS خود را برای دسترسی و محتوای مجدد خود را بازنویسی می کند. آنها با این تکنیک پول زیادی کسب می کنند. متاسفانه، موتورهای جستجو هیچ راهی برای خلاص شدن از شر ربات های بد اجرا نکرده اند. این به این معنی است که محتوای شما به طور مرتب کپی و جا به جا شود، رتبه بندی سایت شما در چند هفته آسیب دیده است. موتورهای جستجو سایت هایی را که دارای محتوای تکراری هستند را جریمه می کنند و نمی توانند تصور کنند که کدام یک از وب سایت ها یک تکه محتوا را منتشر می کنند.

نه همه وب خراب کردن بد است

ما باید اعتراف کنیم که خرابکاری همیشه مضر و مخرب نیست. برای صاحبان وب سایت مفید است وقتی که آنها می خواهند داده ها را به تعداد زیادی از افراد منتقل کنند. به عنوان مثال، سایت های دولتی و پورتال های مسافرتی اطلاعات مفیدی را برای عموم ارائه می دهند. این نوع داده ها معمولا بر روی API ها در دسترس هستند و برای جمع آوری این داده ها، اسکرپر ها استفاده می شوند. به هیچ وجه، آن را به وب سایت شما مضر است. حتی زمانی که این محتوا را می کشید، اعتبار کسب و کار آنلاین شما آسیب نمی بیند.

یک نمونه دیگر از خرابکاری معتبر و قانونی، سایتهای تجمعی مانند پورتال رزرو هتل، سایت های بلیط کنسرت و رسانه های خبری است. رباتهایی که مسئول توزیع محتوای این صفحات وب هستند، اطلاعات را از طریق API ها به دست می آورند و آن را به عنوان دستورالعمل های شما پاک می کنند. آنها به دنبال ترافیک و استخراج اطلاعات برای مدیران وب و برنامه نویسان هستند.

December 14, 2017