Skip to content

关于网站的防爬 #11

@Cyux07

Description

@Cyux07

请问我应该如何判断网站是根据什么来判断阻止爬取的?又改如何针对解决?
例如我爬淘宝的详情图片的时候第一个详情页77张大图,每次都74就主动拒绝了。换了ip睡几分钟一抓还是立刻拒绝掉。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions