تنظیم پروکسی در Scrapy

Scrapy یک فریمورک فوق العاده برای خزش اطلاعات هست اگه وقت کنم حتما بیشتر دربارش آموزش میزارم.

برای اینکه تو اسکریپی پروکسی تنظیم کنید ۲ تا راه است.

۱- در درخواست پروکسی رو تنظیم کنید

یا

 

۲- یک middleware تعریف کنید

و در مسیر PROJECT/middlewares فایل UserProxy رو ایجاد کنید و با یکی از دو روش بالا پروکسی رو تنظیم کنید.

اگه پروکسی نیازی به احراز هویت نداره لازم نیست header رو تنظیم کنید

منبع

جستجو در کل مطالب سایت

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *