python爬取京东商品(手把手教你用Python爬取某宝男装信息,文末附完整代码)

前言中的文字和图片均来自互联网,仅供学习交流,无商业用途。版权归原作者所有。如有问题,请及时联系我们进行处理。
作者:明星_赵
PS:如果需要Python学习资料,可以点击下面的链接获取自己的http://t.cn/A6Zvjdun.
这次抓取用了:个知识点。
Seleniumpymysqlpyquery文本分析目标网站
打开某宝首页,输入‘男装’,点击‘搜索’,跳转到‘男装’的搜索界面。在空白处,“右键单击”然后单击“检查”以查看网页元素,并单击“网络”。1)找到相应的URL。URL中的参数,URL中的那些查询字符串参数,以及请求方法是GET。
2)我们从该URL请求的内容是“响应”中的内容,因此单击它以确认信息。
3)当你在下拉中看到‘男装’二字时,往下看也找不到任何关于‘男装’的商品信息。
4)复制任意产品信息,在空白处点击右键,点击‘查看Web源代码’,然后在源代码中查找产品,即可看到产品信息。
5)将网页的源代码与‘响应’的内容进行对比,发现源代码中的商品信息被替换了,也就是说采用了JS加密。
6)如果你请求上面的URL,你会得到加密的信息,那么你可以用Selenium库模拟浏览器,得到产品信息。
获取单一产品界面请求网站#-*-coding : utf-8-*-从selenium导入Web驱动#从Selenium浏览器导入浏览器驱动=webdriver。Chrome() #声明驱动对象,即Chrome browser def Get _ one _ page()3360 ‘ ‘ Get single page ‘ ‘ browser . Get(‘ https://wwwxxxxx
。com’)#请求网站输入‘男装’。在输入之前,你需要判断输入框是否存在,如果存在,输入‘男装’,如果不存在,等待显示成功。#-*-编码: UTF-8-*-来自Selenium从Selenium导入Webdriver。Webdriver.com mon . by Import by # Import元素定位方法模块from selenium . web driver . support . ui Import web driver wait # Import等待判断模块from selenium . web driver . support Import expected _ conditions as EC # Import判断条件模块browser=web driver . chrome()def Get _ one _ page(): ‘ ‘ Get single page ‘ ‘ browser . Get(‘ https://www .

其他教程

二胡找音准口诀(二胡调音音准)

2022-9-7 11:07:09

其他教程

剪视频vlog的软件(抖音日常vlog用什么剪辑软件)

2022-9-7 11:09:24

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索