三份采集数据：原始需求、目录结构、当前状态

文档时间：2026-10-09。数据位置：新媒体文章和公开课在 down2；Kaggle 竞赛采集在 down1。

0. 总表

1. 原始交付需求

以下是本次对话中确认过的交付原文，未改写口径。

1.1 新媒体文章

范围以 9 月 30 日修正版《新兴自媒体优质内容源检索0930.xlsx》的 Sheet2「文章筛选清单」为准，Sheet3「交付说明」为正式格式要求。

• 完整下载文章标题、全部正文，无遗漏、无删减、无错漏。
• 同步下载正文包含的所有图片、代码、视频、音频资源，保留与正文的对应关系。
• 专栏、系列内容需要继续关联采集。
• 文章中关联的论文链接需要继续下载论文 PDF。
• 图片等资源保存到本地，目录分层，保留原有逻辑关系。
• 视频优先 1080p；没有 1080p 则下载 720p；禁止以低于 720p 的视频交付。
• 知乎内容需要采集，但可以放在最后处理。
• 付费及部分付费条目暂不下载，另行统计订阅／购买费用；不能用公开片段充当完整文章。

格式：最新附件要求标准 JSON，可直接解析，字段准确，资源与原文一一匹配。早期群聊确认过 JSONL，最终采用 JSON 还是 JSONL 仍需统一。

数量：群里按约 2,100 条估算；带交付说明的本地修正版有 2,096 条带地址记录、2,070 个不同地址，需保留原表编号并明确重复条目的处理口径。

三个数据集都建议附一份逐条下载清单，记录原清单编号、来源链接、本地路径、完成状态和缺失原因。

Sheet3 交付说明原文要点：完整标题和正文；同步图片、代码、视频、音频并与正文对应；视频 1080p，否则 720p，禁止更低；JSON 可直接解析。

1.2 公开课

范围以《公开课检索清单0923.xlsx》中的 50 门课程为准，结合《公开课下载内容的测试校验0930.docx》执行。该 docx 不在 down2 上，无法按它逐条对。

• 下载课程主页及相关附属网页、讲义、课件、作业、项目、实验、考试和可获取的答案。
• 按钮指向的链接全部跟进，不能只保存课程首页或几个入口文件。
• 网页完整保存，包含图片资源。
• PDF 直接下载原文件。
• 关联论文下载论文文件。
• GitHub 链接下载完整仓库，不能只保存链接或 README。
• 课程视频优先 1080p，没有则 720p。
• 非视频材料优先。
• 按课程、学期、资源类型组织，保留对应关系。

答案范围：清单对学生解答和登录受限材料有排除提示，应区分公开官方答案、学生答案和受限答案。

清单采集建议里还有一条更早的限制：ETH 禁止把文档复制到其他服务器。因此第 41 门只记网址，没有转存文件。这和后来的「可获取的答案都要下」有冲突，当前按禁止转存处理，并在清单里标成 excluded_policy。

1.3 Kaggle 公开竞赛采集

对话里没有单独贴过和上面同级的长需求。实际执行口径来自 down1 上的清单和脚本：

• 范围：Kaggle_Competitions_Summary_公开可下载11005个比赛.xlsx / competitions_clean.csv，11005 个公开可下载比赛。
• 每个比赛采集代码（kernel）、讨论（topics）和模型权重。
• 讨论用 competitions topics 列表；模型权重用 instances versions download。
• 磁盘使用率到 90% 停止，避免把 down1 写满。

2. 新媒体文章

本地根目录：/www/wwwroot/dataset/xinxing-zimeiti-corpus/
公网：http://204.12.202.90/xinxing-zimeiti-corpus/
体积约 836 GB。

目录结构

xinxing-zimeiti-corpus/
├── articles.json              早期全量 JSON（含失败项）
├── articles.jsonl             同上，一行一篇
├── articles_delivery.json     按交付口径整理的 JSON（付费正文已剔除）
├── manifest.jsonl             逐条清单：Excel 行号、URL、状态、缺失原因
├── manifest_summary.json      清单统计
├── attachments/<文章id>/
│   ├── images/                正文图片
│   ├── code/                  代码块或代码文件
│   ├── audio/                 音频（有则放这里）
│   └── videos/                仅 1080p 或 720p
├── papers/<arxiv_id>/<id>.pdf 文中 arXiv 论文
└── series-follow/             专栏/系列关联采集（未完成）
    ├── manifest.jsonl
    ├── done-urls.txt
    └── <excel行号>/*.md

当前状态（2026-10-09）

逐条清单：manifest.jsonl

3. 公开课

本地根目录：/www/wwwroot/dataset/open-courses-0923/
公网：http://204.12.202.90/open-courses-0923/
体积约 87 GB。

目录结构

open-courses-0923/
├── manifest.json                          50 门逐课状态和缺失原因
├── crawl.log / video-download.log
├── <序号>-<课名>/
│   ├── meta.json                          种子 URL、已抓页面、已下文件
│   ├── pages/                             页面 Markdown，不是完整 HTML+图片
│   ├── files/                             PDF、PPT、ZIP、作业包
│   ├── videos/                            公开 YouTube / OCW 视频
│   ├── github/<仓库名>/                   克隆到的仓库（不是每门都有）
│   └── DONE.json                          首轮爬取结束标记

课程目录示例：01-CS224N-Natural-Language-Processing-with/{pages,files,videos,github,meta.json}。50 个课程目录都在。

当前状态（2026-10-09）

逐课清单：manifest.json

4. Kaggle 公开竞赛采集（down1）

本地根目录：/www/wwwroot/dataset/kaggle/（down1，不是 down2）
公网：http://74.91.24.26/kaggle/
状态：未完成，2026-10-07 00:35 因磁盘到 91% 停止。停止阈值是 90%。2026-10-09 磁盘仍约 92%，剩余约 294 GB。看门脚本还在，但只是空转，日志没有新进度。

目录结构

kaggle/
├── Kaggle_Competitions_Summary_公开可下载11005个比赛.xlsx
├── competitions_clean.csv                 11005 行：title, slug, url, id
├── download_competitions.py
├── download_state/
│   ├── summary.jsonl                      已处理比赛的结果
│   ├── metacode.log
│   ├── forum.sqlite
│   ├── stopped_disk.txt                   停机原因
│   └── code_index.jsonl / kernel_versions.jsonl
├── meta/                                  Meta Kaggle 原始 CSV
│   ├── Competitions.csv
│   ├── Kernels.csv / KernelVersions.csv
│   ├── Forums.csv / ForumTopics.csv / ForumMessages.csv
│   └── Models.csv 等
└── competitions/<slug>/
    ├── code/<作者>__<kernel名>/           代码仓库文件
    ├── discussion/index.json              讨论索引
    └── models/manifest.json               模型清单；权重文件不一定下到

当前状态（2026-10-09）

清单表：公开可下载 11005 个比赛.xlsx