当前位置：首页 - 正文

怎么使用python爬取百度网的数据

发布网友发布时间：2022-04-24 17:30

共3个回答

懂视网时间：2022-05-10 10:22

本篇文章给大家带来的内容是关于Python爬取百度翻译（利用json提取数据），有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。

工具：Python 3.6.5、PyCharm开发工具、Windows 10 操作系统

说明：本例为实现输入中文翻译为英文的小程序，适合Python爬虫的初学者一起学习，感兴趣的可以做英文翻译为中文的功能，如单词查询功能等。推荐使用谷歌浏览器或火狐浏览器检查元素。使用之前需要先安装模块：pip install request pip install json。

数据提取方法：json

1、数据交换格式，看起来像Python类型（列表，字典）的字符串

2、使用json之前需要导入

3、json.loads

　　（1）、把json字符串转化为Python类型

　　（2）、json.loads(json字符串)

4、json.dumps

　　（1）、把Python类型转化为json字符串

　　（2）、json.dumps({})

　　（3）、json.dumps(ret1,ensure_ascii=False,indent=2)

　　　　ensure_ascii让中文显示成中文

　　　　indent：能够让下一行在上一行的基础上空格

代码：

import requests
import json
url = "https://fanyi.baidu.com/basetrans"
query_str = input("请输入要翻译的中文：")
data = {
 "query":query_str,
 "from":"zh",
 "to":"en"}
headers = {
 "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1",

 "Referer": "https://fanyi.baidu.com/?aldtype=16047&tpltype=sigma"
}
response = requests.post(url,data=data,headers=headers)
html_str = response.content.decode()#json字符串
#json数据交换格式，使用json之前需要导入
#把json字符串转化为Python类型
dict_ret = json.loads(html_str)
#print(dict_ret)
#print(type(dict_ret))
ret = dict_ret["trans"][0]["dst"]
print("翻译结果是：",ret)

运行效果：

热心网友时间：2022-05-10 07:30

档案系统初期算是告一段落了，利用一点时间继续爬取POI。和领导聊聊，受益匪浅。之前我的想法是爬取一份poi数据，直接能用；而领导听了之后，觉得更好的方式是爬取多个渠道来源的POI数据，然后做一个数据比较融合（最终事情能不能成不好说，但是经过这么一回，细节技术上有所提高，宏观把控整体项目流程能力有所长进，更重要的是通过和能人交流，以更高的眼界更宏观的看待数据、应用以及问题，这就是成长）。我之前采用的方式，可以满足需求，但是POI数据获取效率差一些（虽然已经很快，但是相比本文这种还是慢一些）、数据现势性不好，高德数据和百度数据虽然是两套，但是仅仅是坐标不同（所以显然还是一套）。所以，我加一种方式来爬取百度poi。
一调研：百度API提供了一个叫Place API获取poi的接口，有个城市内检索实例为

ce/v2/search?query=银行&page_size=10&page_num=0&scope=1®ion=北京&output=json&ak={您的密钥}
它返回的是个json类型数据，一个区域最大返回数为400，每页最大返回数为20。显然一个城市内不管什么类别的poi，不可能只有400个，会遗漏数据，故舍去

还有一个矩形区域检索，实例为
u.com/place/v2/search?query=美食&page_size=10&page_num=0&scope=1&bounds=39.915,116.404,39.975,116.414&output=json&ak={您的密钥}只要区域划分得当，这个可以使用
二要解决的问题
1 区域划分
网上有人通过递归写代码的方式来划分，这样划分有问题，第一，划分的区域不能完全对应一个城市的市区；第二，算法设计比较麻烦。解决办法，后面详细说。
2 类别问题
百度API的接口必须要指定query的类别，那么如果类别指定不准，或者类别不全，根本无法完成爬取一个城市所有poi的任务。解决办法，说实话，这个问题在我做这件事情的时候，
十分棘手，不过我最终找到了这个网页
/index.php?title=lbscloud/poitags，一切都不是问题了
三整体流程
1 区域划分，2km*2km的区域基本可以满足需求，获取每个区域的对角坐标（经纬度），逐行写入一个txt文本里
2 爬虫程序编写读取1中的txt文本，逐行循环；调用百度API接口，爬取json；将爬取的数据存入数据库中；每个类别跑一次程序
3 爬下的POI数据处理 poi显示，投影坐标转换，与地图叠加

后文将详细介绍流程

热心网友时间：2022-05-10 09:05

对于技术小白来说，想用pyrton爬虫还是比较困难的，需要长时间的学习。可以借助采集工具快速掌握网页端数据的采集。

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
E-MAIL:11247931@qq.com

焦点

怎么使用python爬取百度网的数据

最新推荐

猜你喜欢

热门推荐