网页抓取 Markdown 转换存在多处格式问题

[bruceding]

问题描述

以文档 #627（Separating signal from noise in coding evaluations）为例，网页抓取生成的 Markdown 存在以下格式问题：

1. 链接文字包含不可见字符（U+2060 Word Joiner）

多处链接文字末尾混入了零宽字符 \u2060：

[Preparedness Framework ⁠](https://...)
[recently investigated ⁠](https://...)
[SWE-Bench Pro ⁠](https://...)

可能导致链接渲染异常或点击失效，需要在抓取时清理。

2. 脚注链接使用 HTML 锚点，无法正确跳转

文中脚注引用格式为：

*Overly strict tests*[1](#citation-bottom-1)

问题：

• 斜体 *...* 和脚注 [1] 紧挨，渲染时脚注标记可能被吞进斜体
• #citation-bottom-1 是 HTML 锚点，在 wiki 的 Markdown 渲染器中不会跳转到对应位置

3. 底部 Footnotes 数字重复

1. 1We previously referred to this category as narrow tests.
2. 2We previously referred to this category as wide tests.

脚注编号与列表序号冲突，显示为 1. 1We、2. 2We，应该是 1. We、2. We。

4. 图片引用问题

• SVG 格式（chart_1.svg、img_1.svg）在部分 Markdown 渲染器中不支持
• alt text 不一致：第一张图是 chart（太简短），第二张是完整句子

5. 格式不统一

• Share of Dataset Flagged by Issue Type 后紧跟图片，缺少空行分隔
• 代码块前的说明文字与代码块之间的空行不一致

复现步骤

1. 抓取 https://openai.com/index/separating-signal-from-noise-coding-evaluations/
2. 查看生成的 paper.md 文件

期望

抓取后的 Markdown 应该：

• 清理零宽字符
• 脚注使用标准 Markdown 脚注语法（[^1]）或至少格式正确
• 图片 alt text 合理
• 段落间空行一致