准备工具
1.电脑或服务器一台(win7操作系统以上,不支持win7)
2.灵活的双手
3.聪明的大脑
服务器可以用:微软远程桌面
工具包下载:
Python 官网:Welcome to Python.org
MediaCrawler :GitHub – NanmiCoder/MediaCrawler: 小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 | 评论爬虫、微博帖子 | 评论爬虫
node.js :Node.js — Run JavaScript Everywhere (nodejs.org)
指令合辑:
python310\python.exe -m venv venv
call venv\Scripts\activate.bat
pip install -r requirements.txt
playwright install
python main.py –platform dy –lt qrcode –type detail
注意事项:
1.爬虫禁止非法使用,非法使用与作者无关,与葫芦侠无关
2.禁止使用该Python脚本从事任何非法行为,否则自行承担后果
3.安装过程有不懂的可以问
MediaCrawler
可以实现小红书爬虫,抖音爬虫, 快手爬虫, B站爬虫, 微博爬虫。
目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。
教程开始
1.解压MediaCrawler包
![图片[1]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/a171d827918cd11c4f825ae8a5fd5908.jpg)
2.安装python3.10.11,在MediaCrawler目录下创建Python310目录并安装
![图片[2]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/33d32f631fb61d0329b2044ecac24a02.jpg)
3.安装成功后打开cmd命令窗口
![图片[3]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/3b90ba10be1edef101d4e1c970f7229e.jpg)
4.创建venv虚拟环境,在命令窗口输入命令
python310python.exe -m venv venv
等待30-60秒弹出新的输入行即可
![图片[4]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/0d4cb9023a344170eca8fbc22942cff4.jpg)
5.激活venv 命令
call venv\Scripts\activate.bat
激活venv
激活后前面会有(venv)则表示激活成功
![图片[5]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/480611adf5fe58e30004b0f479c1a7f0.jpg)
6.安装依赖库,继续输入指令
pip install -r requirements.txt
执行后等待5分钟左右直到有绿色文字出现表示安装成功
![图片[6]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/6a36c68f8ed0b0372404541f3b408731.jpg)
![图片[7]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/aaca1e92f0aaab72760179c6a7de2221.jpg)
7.安装浏览器内核,输入指令
playwright install
安装完成后窗口不要关闭
![图片[8]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/a58f7fe6ba9eaaaa79ea0bf3ec31b9c9.jpg)
8.修改配置文件,MediaCrawler-mainconfig目录下的base_config.py用记事本打开编辑,PLATFORM对应平台(dy,ks,xhs,wb,bili)CRAWLER_TYPE爬取类型(search,detail,creator)HEADLESS设置False,SAVE_DATA_OPTION数据导出设置CSV(json和db可自行设置),ENABLE_GET_COMMENTS爬取评论设置True
![图片[9]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/178ea59421986546101c8e7e6fdf83e8.jpg)
![图片[10]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/64bc9d64417399a657e2c861501aeafc.jpg)
9.设置需要爬取的抖音视频ID,获取抖音视频ID:将抖音视频分享链接用浏览器打开加载完后video/后面的数字就是抖音视频ID,替换原有的视频ID即可
![图片[11]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/56f8893ab88537b0dd83950432192482.jpg)
10.运行爬取抖音评论指令 python main.py –platform dy –lt qrcode –type detail,运行指令后不要扫画图里面的二维码,扫浏览器里面的二维码登录,登录后选择保存登录信息,爬取后的数据在MediaCrawler-main/data目录
![图片[12]-python爬取抖音评论-给我资源](https://kngzs.cc/wp-content/uploads/2024/06/711f222787da070c9ddf0081ded3f67a.jpg)
11.如果步骤10执行后报错的话需要安装nedo.js
步骤10, 指令里面的dy可修改为ks,xhs,wb,bili对应不同平台,qrcode是扫码登录不要修改,手机号登录很麻烦。detail是爬取视频/帖子可修改search是搜索爬取,creator是发布者信息
爬取结果csv文件是表格文件需要用WPS查看或者其他办公软件
暂无评论内容