博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
json数据爬虫。requests实现
阅读量:4461 次
发布时间:2019-06-08

本文共 1491 字,大约阅读时间需要 4 分钟。

get请求

import jsonimport requests# url = "https://www.mamalaile.cn/mamalailegw/page/waiterList.jsp"url = "https://www.mamalaile.cn/momcome-app/waiter/api_queryUserWaiterInfo.do"headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}response = requests.get(url, headers=headers)data_str = response.content.decode()data_dict = json.loads(data_str)print(type(data_dict))print(len(data_dict['data']))print(data_dict['data'][0]['name'])i = 0for item in data_dict['data']:    i += 1    print(str(i))    print('姓名:%s'%item['name'])    print('年龄:%s'%item['age'])    print('籍贯:%s'%item['place'])    print('属相:%s'%item['animals'])

  

 

post传参

import jsonimport requestsurl = "http://www.duoxiwa.com/nlh/io/mon/queryMonList.htm"headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}data_form={    'pageSize':'1000',    'currPage':'1'}response = requests.post(url, headers=headers,data=data_form)data_str = response.content.decode()data_dict = json.loads(data_str)print(type(data_dict))print(len(data_dict['data']))# print(data_dict['data'])# print(data_dict['data'][0]['name'])i = 0for item in data_dict['data']:    i += 1    print(str(i))    print('姓名:%s' % item['name'])    print('年龄:%s' % item['age'])    print('籍贯:%s' % item['placeDesc'])    print('属相:%s' % item['animal'])

  

转载于:https://www.cnblogs.com/andy9468/p/8277592.html

你可能感兴趣的文章
[倍增][最短路-Floyd][dp]
查看>>
SpringAOP用到了什么代理,以及动态代理与静态代理的区别
查看>>
利用STM32CubeMX来生成USB_HID_Mouse工程【添加ADC】(1)
查看>>
【leetcode】Populating Next Right Pointers in Each Node
查看>>
获取请求参数乱码的问题
查看>>
代码实现:判断E盘目录下是否有后缀名为.jpg的文件,如果有,就输出该文件名称...
查看>>
Android客户端测试点
查看>>
Jquery:怎样让子窗体的div显示在父窗体之上
查看>>
01概率
查看>>
Shell脚本
查看>>
MatLab Load cv::Mat 导入数据
查看>>
html+css相关笔记(一)
查看>>
基于块流协议保证音频优先发送
查看>>
关于互联网的一些数据
查看>>
数据预处理:独热编码(One-Hot Encoding)
查看>>
python将对象名的字符串类型,转化为相应对象的操作方法
查看>>
【NLP新闻-2013.06.03】New Book Where Humans Meet Machines
查看>>
mongodb安装4.0(rpm)
查看>>
DispatcherServlet的url mapping为“/”时,对根路径访问的处理
查看>>
备忘pwnable.kr 之passcode
查看>>