Shadowgraph
About
Sign in

MineQihang/BigDataProject

基于大数据的学习视频数据分析与个性化推荐：以B站2022年知识/科技区视频数据作为分析对象

11

stars

44

commits

Python

primary language

Jun 8, 2023

updated

README

BigDataProject

基于大数据的学习视频数据分析与个性化推荐：以B站2022年知识/科技区视频数据作为分析对象。

对于以下几个部分更详细的文档详见目录下的README文件和项目报告。

数据爬取

本部分对应Spider文件夹。

使用Aiohttp实现异步分布式爬虫。

视频分析

本部分对应DataAnalysis文件夹。

使用Hadoop+Spark对总体数据进行大数据分析。

后端部署

本部分对应Backend文件夹。

其中主要包括单视频分析（评论情感分析等），视频推荐等。

前端部署

本部分对应Visualization文件夹。

使用Vue+Element+ECharts实现数据可视化。

Contributors

MineQihang

27 commits

Geaming2002

15 commits

dependabot[bot]

2 commits

Similar repos

li-xiu-qi/HearSight

HearSight智能音视频内容分析工具，支持多源视频(包括 URL和上传文件方式)导入能够从输入的视频源中提取上下文信息，从而提供更精准的…

39

jdoughty04/Multimodal-Embeddings-exploration

Creates, stores and analyzes multimodal embeddings of video and text

0

iisquare/fs-project

低代码，在线表单，工作流程，智能报表，大屏设计，应用设计，自动化运维，数据治理，商业智能，任务编排。

233

NanmiCoder/MediaCrawler

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬虫、百度贴吧帖子 ｜ 百度贴吧评论回复爬虫 | 知乎问答文章｜评论爬虫

64,796

Puiching-Memory/Sora_datasets_SYM

0

666ghj/BettaFish

微舆：人人可用的多Agent舆情分析助手，打破信息茧房，还原舆情原貌，预测未来走向，辅助决策！从0实现，不依赖任何框架。

42,175

TongUI-agent/TongUI-Crawler

Web crawler used in TongUI (For baidu experience and wikihow)

3

jackfrued/Python-100-Days

Python - 100天从新手到大师

186,283

Languages

Python

57.6%

Vue

37.7%

CSS

2.7%

JavaScript

1.6%

MineQihang/BigDataProject

基于大数据的学习视频数据分析与个性化推荐：以B站2022年知识/科技区视频数据作为分析对象

11

stars

44

commits

Python

primary language

Jun 8, 2023

updated

README

BigDataProject

基于大数据的学习视频数据分析与个性化推荐：以B站2022年知识/科技区视频数据作为分析对象。

对于以下几个部分更详细的文档详见目录下的README文件和项目报告。

数据爬取

本部分对应Spider文件夹。

使用Aiohttp实现异步分布式爬虫。

视频分析

本部分对应DataAnalysis文件夹。

使用Hadoop+Spark对总体数据进行大数据分析。

后端部署

本部分对应Backend文件夹。

其中主要包括单视频分析（评论情感分析等），视频推荐等。

前端部署

本部分对应Visualization文件夹。

使用Vue+Element+ECharts实现数据可视化。

Similar repos

li-xiu-qi/HearSight

HearSight智能音视频内容分析工具，支持多源视频(包括 URL和上传文件方式)导入能够从输入的视频源中提取上下文信息，从而提供更精准的…

39

jdoughty04/Multimodal-Embeddings-exploration

Creates, stores and analyzes multimodal embeddings of video and text

0

iisquare/fs-project

低代码，在线表单，工作流程，智能报表，大屏设计，应用设计，自动化运维，数据治理，商业智能，任务编排。

233

NanmiCoder/MediaCrawler

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬虫、百度贴吧帖子 ｜ 百度贴吧评论回复爬虫 | 知乎问答文章｜评论爬虫

64,796

Puiching-Memory/Sora_datasets_SYM

0

666ghj/BettaFish

微舆：人人可用的多Agent舆情分析助手，打破信息茧房，还原舆情原貌，预测未来走向，辅助决策！从0实现，不依赖任何框架。

42,175

TongUI-agent/TongUI-Crawler

Web crawler used in TongUI (For baidu experience and wikihow)

3

jackfrued/Python-100-Days

Python - 100天从新手到大师

186,283

Contributors

MineQihang

27 commits

Geaming2002

15 commits

dependabot[bot]

2 commits

Languages

Python

57.6%

Vue

37.7%

CSS

2.7%

JavaScript

1.6%