数据集现状

核对时间:2026-10-09 00:41(Asia/Shanghai)。

一、新媒体文章

目录约 836 GB。

项现状
清单2096 行有地址,去重后 2070。重复 26 行只保留首次。
付费176 条已剔除,不把公开片段当全文。费用清单还没做。
正文齐的约 955 条;缺图或缺视频 824 条;失败 115 条。
视频5142 个,只要 1080p/720p。重试后仍有约 148 条链接失败。
论文2141 篇 arXiv PDF。专栏/系列没有继续关联采集。

失败主因:Medium 及子站被 Cloudflare 拦截;The Batch 源站 500;少量旧链 404。再重试同一出口补不齐。

目录:http://204.12.202.90/xinxing-zimeiti-corpus/
清单:manifest.jsonl

二、公开课

目录约 87 GB。50 门都有目录。

项现状
课件/PDF约 4961 个文件
视频410 个。清晰度没有逐条核到 ≥720。
GitHub88 个仓库。不是每门课都有。
网页存的是 Markdown,不是完整 HTML + 图片。
组织只有课程目录,没有按学期和资源类型分层。

明确没下的:ETH 第 41 门(禁止转存);15-721 讲义仓库私有;6.5830 源站关了打包下载;另外几门公开页没有 PDF。校验用的 docx 不在服务器上。

目录:http://204.12.202.90/open-courses-0923/
清单:manifest.json

三、down1 正在下的包

结论:已经下完。不是还在跑。

项结果
文件kvasir-capsule-labeled-videos.zip
大小33,807,485,017 字节(约 32.2 GB),与源站 Content-Range 一致
完成时间2026-10-08 03:26(服务器本地时间)
解压没有解压

http://74.91.24.26/kvasir-capsule/kvasir-capsule-labeled-videos.zip