爬虫笔记2(爬虫从入门到放弃)

爬虫笔记2import requestsheaders{# Cookie: wdcid7e24e0c44e0517c3,
# Host: pfsc.agri.cn,
# Origin: https://pfsc.agri.cn,
# Ref

导入请求

标题={

# \’Cookie\’: \’wdcid=7e24e0c44e0517c3\’,

# \’主机\’: \’pfsc.agri.cn\’,

# \’原产地\’: \’https://pfsc.agri.cn\’,

# \’推荐人\’: \’https://pfsc.agri.cn/\’,

\’用户代理\’ : \’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML、Gecko 等) Chrome/123.0.0.0 Safari/537.36\’

}

url=\’https://pfsc.agri.cn/api/priceQuotationController/pageList?key=order=\’

数据={

\’页码\’: 1,

\’页面大小\’: 10,

\’市场ID\’:\’\’,

\’都道府县代码\’:\’\’,

\’pid\’:\’\’,

\’品种ID\’:\’\’

}

#requests.packages.urllib3.disable_warnings()

res=requests.post(url=url,data=data,headers=headers).text

打印(分辨率)

目前情况:源码是爬取网站json返回的数据,实际错误是标题777之类的。

解决步骤1。

添加post请求参数,无需验证

res=requests.post(url=url,data=data,headers=headers,verify=False).text

结果:

{

“代码”: 500,

\’消息\’:\’服务失败。请稍后再试。

}

第2步:

发送的有效负载必须是json,而不是data

res=requests.post(url=url,json=data,headers=headers,verify=False).text

响应成功。

以上关于#Reptile注2的相关内容摘自网络,仅供参考。相关信息请参见官方公告。

原创文章,作者:CSDN,如若转载,请注明出处:https://www.sudun.com/ask/93798.html

(0)
CSDN's avatarCSDN
上一篇 2024年7月26日 下午1:41
下一篇 2024年7月26日 下午1:41

相关推荐

  • C51使用经验

    在单片机的开发应用中,已逐渐开始引入高级语言,C语言就是其中的一种。对用惯了汇编的人来说,总觉得高级语言’可控性’不好,不如汇编那样随心所欲。但是只要我们掌握了一定的C语言知识,有…

    网站运维 2024年9月19日
    0
  • 如何在Ubuntu 20.04上安装NFS服务

    NFS或网络文件系统是一种分布式文件系统协议,允许您通过网络共享目录。使用NFS,您可以在系统上挂载远程目录,并像处理本地文件一样处理远程机器上的文件。缺省情况

    2024年9月19日
    0
  • 动态轮换代理在多账户管理中有何用处?,动态代理的两种方式,以及区别

    动态轮换代理在多账户管理中有何用处?如果您要处理多个在线帐户,选择正确的代理类型对于实现流畅的性能至关重要。但最适合这项工作的代理类型是什么? 为了更好地管理不同平台上的多个账户并优化成本,动态住宅

    网站运维 2024年6月21日
    0
  • 什么是少年编程培训

    少年编程培训是一种专为年轻学生设计的教育服务,旨在开发他们的计算机编程和逻辑思维能力。这种培训通常涵盖多种编程语言和技术,包括但不限于Scratch、Python、Java等。其中…

    2024年5月9日
    0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注