游戏淘宝湾

 找回密码
 立即注册
开启左侧

[电脑] 爬取某宝基本商品信息软件

  [复制链接]
阿萨 发表于 2021-7-10 23:23:43 | 显示全部楼层 |阅读模式
软件是用python写的,用到的是seleuim,所以需要谷歌浏览器,目前最新版的谷歌浏览器是适用的。因为淘宝的防爬机制,所以在使用爬虫软件时,需要输入账号和密码登录账号,而且爬虫的速度相对比较慢,因为我设置了很多等待时间。


其实我之前是有发过这个软件的python源代码的,在我的帖子里能看到,但是很少人看,我发现分享软件的热度就很高,于是我就把这个做成软件,方便大家使用。


软件我放在了百度云,不大,30m左右
链接: https://pan.baidu.com/s/1x8Xt4pxJ36WW4RXCg7pzgg 提取码: ezbx


下面我讲一下使用该软件的注意事项!!!!!
1、一天内不要使用爬太多次,否则可能会被淘宝检测到,会被防爬,虽然过几天就会被解除。
2、你要登录的淘宝账号必须在谷歌浏览器的网页版淘宝成功登录过,否则会出现一系列的验证问题,软件无法成功登录账号,就不能搜索关键词,爬取数据。虽然有的人是可以不登录账号就能够进行搜索关键词,但是爬取多了,ip会被淘宝检测到,以后搜索的时候会提醒你登录账号才可以搜索,所以我就提前写了要登录账号的需求。
3、目前我不知道什么版本间的谷歌浏览器是可以用的,但是最新版的肯定可以用,因为我是用最新版的,所以需要更新


另外,目前爬取的图片是链接的形式保存,后续我会写个软件,批量把链接转成图片的形式保存到文件夹,所以大家可以留意一下更新,估计下星期一就会更新,因为我没带工作的电脑回家,所以写不了。


如果有什么内容不合适的,版主可以自行删帖


如果大家觉得有用的,希望能给个免费的评分,十分感谢!!!





2020年12月14日更新:
1、新添加把图片链接保存到本地文件夹的功能
2、爬虫保存的excel文件名进行修改:(原)爬虫信息.xlsx (现)pachong.xlsx

软件说明:
1、taobao_exe 为爬虫软件,数据爬取完毕后,会提醒是否将图片链接转为jpg图片格式保存,若保存会自动生成img文件夹,所有图片保存在img文件夹中
2、pic 为图片链接转为jpg图片格式的软件,方便在爬虫完毕后,未选择保存为图片格式,后续想要保存为图片的情况(注意:这里需要当前文件夹中有pachong.xlsx文件,且该excel文件中有img列,img列为图片链接)


链接: https://pan.baidu.com/s/1x8Xt4pxJ36WW4RXCg7pzgg 提取码: ezbx
本楼点评(0) 收起
imissa 发表于 2021-7-10 23:31:10 | 显示全部楼层
真是难得给力的帖子啊。
本楼点评(0) 收起
回复

使用道具 举报

anlxxu 发表于 2021-7-12 12:25:14 | 显示全部楼层
真是难得给力的帖子啊。
本楼点评(0) 收起
回复

使用道具 举报

84180619 发表于 2021-7-12 22:51:35 | 显示全部楼层
真是被感动的痛哭流涕……
本楼点评(0) 收起
回复

使用道具 举报

xdhcwl 发表于 2021-7-14 01:39:26 | 显示全部楼层
真是被感动的痛哭流涕……
本楼点评(0) 收起
回复

使用道具 举报

猫小灰 发表于 2021-7-14 17:05:46 | 显示全部楼层
太生气了,无法HOLD啦 >_<......
本楼点评(0) 收起
回复

使用道具 举报

xmvista 发表于 2021-7-16 02:44:43 | 显示全部楼层
真是被感动的痛哭流涕……
本楼点评(0) 收起
回复

使用道具 举报

zxljake 发表于 2021-7-17 05:47:15 | 显示全部楼层
我只是路过打酱油的。
本楼点评(0) 收起
回复

使用道具 举报

eden002 发表于 2021-7-19 10:00:52 | 显示全部楼层
强烈支持楼主ing……
本楼点评(0) 收起
回复

使用道具 举报

338382 发表于 2021-7-21 00:28:01 | 显示全部楼层
真是被感动的痛哭流涕……
本楼点评(0) 收起
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|游戏淘宝湾

GMT+8, 2024-5-20 22:03 , Processed in 0.090716 second(s), 90 queries .

Powered by 游戏淘宝湾 X3.4

Copyright © 2001-2023, Oddpp Cloud.

快速回复 返回顶部 返回列表