问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501
你好,欢迎来到懂视!登录注册
当前位置: 首页 - 正文

bilibili(1)-爬取视频信息进行数据分析

发布网友 发布时间:2022-11-27 10:47

我来回答

2个回答

热心网友 时间:2023-10-16 12:09

感谢@雄哥和@逊哥的帮助才得以完成这篇文章,不然,还不知怎么应对IP*。
项目地址: https://github.com/UranusLee/bilibili_spider

通过chrome可以看出来B站视频统计信息是通过js加载,打开开发者工具可以到stat?aid=31的json文件。

再分析json文件的加载方式,基本可以得到所需要的headers参数。

因为之前一直都在爬取豆瓣、知乎、拉勾这些有特殊headers的网站,所以,为了省事,还是全部headers都加上。

进行爬取的时候,发生了一点问题,通过不断测试,基本可以断定B站有IP访问*,基本上是1分钟150次以下不会封IP,封闭IP一次为5分钟,所以考虑用代理IP,拿着买好的稳定的IP,刻不容缓的加入进来。

总共爬取下来710多W条数据,用了三四天的时间,期间网络断掉,或者IP地址停用,一直耽搁,之所以不准备继续下去是因为数据还准备做一个B站每年数据分析,所以选用了aid=11883351这条数据作为截止可以比较好的对应上每年7月初的一个数据对比分析

发现有播放数为-1的值,总共占数据总量的2%,故而删除。

可以看出基本上播放量,弹幕,评论回复,收藏,硬币,分享基本就是长尾数据,有大量的小数值的数据,但是整体的平均值受极值的影响较大。相比较而言view播放量更加有研究性。

1.播放量占比分析

总共分为<500,500-1000,1000-5000,5000-20000,>20000。
播放量整体还是大量的淹没视频,播放量小于500的达到了整体视频的48.8%,而播放量20000以上的只占到5.4%,按照“二八原则”,视频达到3338以上的播放量即达到B站视频实际效用的界限。

2.分年份分析B站视频增长速度

以每年7月份为周期分析

通过aid可以查到所有爬下的数据所属的时间,再按照概率分析大概的时间就可以得出每一年7月份的视频量。

整体的视频数量增长速度实际上是大致按照每年翻倍的速度来增长,整体增长曲线抛开10-11年,整体增长平和。

2010-2011年之间,必定是发生了事才会导致视频量突增,才会导致视频总量增长率超过800%。通过查询,基本确实如之前所假设一样,10年因为Ac fun(A站)确实发生了严重的几次弹幕冲突,A站关闭了弹幕系统,加上很多人打出“ACG滚出ac”的标语,大量的A站up主转移至B站,开始了B站的逆袭。

14年一年视频增长率唯一一次跌至94%,是因为14年动画版权问题,禁止了私自上传动画,视频量比预期下跌了大概8W左右。今年更加夸张的是2018年还没有到07月份,视频总量已经达到2200W左右。

3.参与率分析用户活跃度

弹幕成本是最低的,大概平均27.8人次观看,就会出现一次弹幕(包括非会员的观看次数,但是无法发弹幕,提高了弹幕成本),分享成本不仅仅是会员,非会员没有登陆也可以分享,这确实42.58人次的成本仅仅高于弹幕成本,说明B站整体视频风格更加多元化。121.58的投币成本受限于B站的投币系统,B币少,并且获得有难度,导致投币成本远高于其他几项。

4.投币分析

B站投币有“不牛不投,不服不投”的潜性规则,往往一个视频的投币量可以反应视频的质量和B站的流行趋势。
排名第一的是 【哔哩哔哩2017拜年祭】 ,94.1W投币
排名第二的是 【古筝】千本樱——你可见过如此凶残的练习曲 ,79.6W投币
排名第三的是 【哔哩哔哩2016拜年祭】 ,77.2W投币
然后是敖厂长的两连击
【敖厂长】让你耳朵怀孕的FC游戏 ,74.6W投币
【敖厂长】打脸!魂斗罗水下八关存在 ,73.0W投币

其实可以看出前三名中,两次拜年祭以及用户群体的自发投币,整个拜年祭已经成为B站文化的一部分,是每年最核心的一部分。当然也不缺乏敖厂长这种良心up主,每一次对于过往游戏的解疑和介绍,还有那无所不能的哥们,宅男但不失真心,牛*但非常人亲。

文化的多元化才是整个B站撑起一片天的本质原因,我曾经在B站中过《极乐净土》的毒,看过外国人在中国成了网红,听过古筝弹奏魂斗罗、弹奏日本电音。这是一个大熔炉,每个人都可以找到自己喜欢的东西,我突然想起了广告模块的一个高分视频,弹幕量只有300,但是播放量有2000多万次,我不知道是B站运营人员清空了一部分的弹幕和评论,但是一个广告在B站,在这个无数个平时看都不看广告的年轻人,能够看上2000多万次,几乎人均一次。我才觉得我真正的知道。

----------------------------------------------------分割线-------------------------------------------
数据分析的部分有点意犹未尽,今天实在是困了,今天稍晚或者明天会继续对于B站各个模块继续进行深挖,包括弹幕的语义分析、通过弹幕揣摩剧情、哪种视频可以火、up主的影响力、视频质量建模等。

热心网友 时间:2023-10-16 12:09

八爪鱼采集器可以帮助您爬取Bilibili上的视频信息,并进行数据分析。以下是一般的采集步骤:1. 打开八爪鱼采集器,并创建一个新的采集任务。2. 在任务设置中,输入Bilibili的网址(https://www.bilibili.com/)作为采集的起始网址。3. 配置采集规则。可以使用智能识别功能,让八爪鱼自动识别Bilibili页面的数据结构,或者手动设置采集规则。4. 如果手动设置采集规则,可以通过鼠标选择页面上的数据元素,如视频标题、播放量、评论数等,并设置相应的采集规则,以确保正确获取所需的数据。5. 设置翻页规则。由于Bilibili的搜索结果可能分页显示,需要设置八爪鱼采集器自动翻页,以获取更多的数据。6. 运行采集任务。确认设置无误后,可以启动采集任务,让八爪鱼开始采集Bilibili上的视频信息。7. 等待采集完成。八爪鱼将根据设置的规则自动抓取页面上的数据,并将其保存到本地或导出到指定的数据库等。然后使用其他数据分析工具对数据进行分析处理。八爪鱼采集器支持导出采集结果为Excel、CSV、HTML等多种格式,方便您进行数据分析和可视化展示。八爪鱼是一款功能强大的网页数据采集器,可以帮助您快速获取公开网页上的数据。如果您需要进行数据分析,八爪鱼采集器可以是您的有力助手。了解更多八爪鱼采集器的功能与合作案例,请前往官网了解更多详情。
声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
E-MAIL:11247931@qq.com
齐沙村简介 沙田镇齐沙村新围新村北路48号住宅邮编是什么 求一部电影,讲了中国与越南士兵的对抗,。开头是这样的,中国士兵坐飞机... ...为安装所需的该文件已损坏: tb0.cab。” 怎么办? 年轻人自杀后下葬时能给她送一束菊花吗 学籍册家长意见怎样写 38度6歌词(歌曲38度6歌词) 支付宝记账本如何导出 请家教我应该请在职老师还是在校大学生~我想补高一数学~基础不太好... 高一的孩子想补课是找在校大学生还是兼职的在职老师 iPhone从iTunes恢复数据会不会恢复应用数据(如游戏存档、QQ聊天记录等) 美团外卖柜两边都能开吗 PS5 放大缩小图片快捷键是什么 PS5调整图像大小需要什么样的设置 亚马逊账号注册5元钱一个月可以吗 风险按保险标的分为 风险按保险标的分为财产保险和人寿保险 车损险赔对方还是自己? 一块橡皮5角钱,用1角,2角,5角三种人民币最多有几种付法 1根冰棒2元5角,我手上有2张1元,10张1角,5张5角,他可以怎么付钱? 小明买一本定价是2元的连环画。如果用2角和5角来付。用几种付法? 一个苹果2元5角,我手上有2张1元,10张1角,5张5角,我可以怎样付钱,要4个方法, 春光有2枚1元硬币,4枚5角硬币,5枚1角硬币,她要买一支2元5角的钢笔,有几种不同的付钱方法? 拿2元5角钱至少有3种不同的方法? 一瓶酱油2元5角,可以怎样付钱,二年级上册? 解梦。梦见去土地公庙有条很漂亮的蛇 孕妇可以做指甲吗?孕妇可以涂指甲油吗? 指甲油孕妇可以涂吗 指甲油孕妇能闻吗 虽然年轻,但是内心颇有造诣。这是什么意思解释一下。我要怎么回答他呢? 荞麦米饭的做法,荞麦米饭怎么做好吃,荞麦米饭 社保断交2个月有必要补上吗?社保断交了还能用吗? 黑芝麻和白芝麻有什么区别?黑芝麻和白芝麻哪个好? wps宏编辑器如何实现一个单元格等于另一个单元格内容 本田佳颖突然打不着了,只有加着油门才行,松开油门就熄火。是不是没油了? 本田领御125怠速太高怎么调整? 咪咕机顶盒怎么登陆会员 为什么浏览器获取不了我电脑上的文件 周杰伦到10年底一共唱过多少首歌啊,我看网页上说86首,可是为什么QQ音乐上是两白多首啊大神们帮帮忙 关闭防火墙也下载不了ID怎么办 为什么防火墙关闭还是不能下载软件? 我是广州从化农村人,我宅基地自建房想装修!可以贷款吗 GIT生成公钥和私钥 股票池开通需要验证码吗 7个月的孩子吃盐酸异丙钳过量有什么副作用 这7类儿童感冒咳嗽药,没用还可能有害,赶紧看看你家有没有 6岁小孩一不留神吃了3片异丙嗪.出现多动,胡言乱语,烦操、抽动、怪动作。吃到发现3个小时。跪求建议 异丙嗪吃多了会有什么反应 大夫您好,我想问问孩子感冒了咳嗽吃了异丙嗪还能吃中... 冬季糙米和高梁米喂鸽子好吗? 为什么农行卡容易被冻结? 贵州省惠水县农村医疗可以在贵阳人民医院报销吗?
  • 焦点

最新推荐

猜你喜欢

热门推荐