split_knowledgepoints.py

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
将知识点 JSON 文件按照年级和上下册拆分成多个文件
"""

import json
import sys
import os
import re


def chinese_to_english_filename(chinese_text):
    """
    将中文年级和上下册转换为英文文件名
    
    Args:
        chinese_text: 中文文本，如"一年级上册"
    
    Returns:
        英文文件名，如"grade1_semester1.json"
    """
    # 年级数字映射
    grade_map = {
        '一': 1, '二': 2, '三': 3, '四': 4, '五': 5, '六': 6,
        '七': 7, '八': 8, '九': 9, '十': 10
    }
    
    # 提取年级数字
    grade_num = None
    for char, num in grade_map.items():
        if char in chinese_text:
            grade_num = num
            break
    
    # 如果没有找到，尝试提取数字
    if grade_num is None:
        match = re.search(r'(\d+)', chinese_text)
        if match:
            grade_num = int(match.group(1))
    
    # 确定上下册
    if '上册' in chinese_text or '上' in chinese_text:
        semester = 'semester1'
    elif '下册' in chinese_text or '下' in chinese_text:
        semester = 'semester2'
    else:
        semester = 'semester1'  # 默认上册
    
    if grade_num is None:
        # 如果无法解析，使用原始文本的拼音或哈希
        return f"grade_{hash(chinese_text) % 10000}_{semester}.json"
    
    return f"grade{grade_num}_{semester}.json"


def sanitize_filename(filename):
    """
    清理文件名，移除不合法的字符
    
    Args:
        filename: 原始文件名
    
    Returns:
        清理后的文件名
    """
    # 移除或替换不合法的文件名字符
    filename = re.sub(r'[<>:"/\\|?*]', '', filename)
    # 移除首尾空格和点
    filename = filename.strip('. ')
    return filename


def split_knowledgepoints(input_file, output_dir=None):
    """
    将知识点 JSON 文件按照年级和上下册拆分
    
    Args:
        input_file: 输入的 JSON 文件路径
        output_dir: 输出目录（默认为输入文件所在目录）
    """
    try:
        # 读取 JSON 文件
        with open(input_file, 'r', encoding='utf-8') as f:
            data = json.load(f)
        
        # 获取知识点列表
        knowledgepoints = data.get('knowledgepoints', [])
        
        if not knowledgepoints:
            print("错误：未找到知识点数据", file=sys.stderr)
            return False
        
        # 确定输出目录
        if output_dir is None:
            output_dir = os.path.dirname(os.path.abspath(input_file))
            if not output_dir:
                output_dir = '.'
        
        # 创建输出目录（如果不存在）
        os.makedirs(output_dir, exist_ok=True)
        
        # 统计信息
        success_count = 0
        failed_count = 0
        
        # 遍历每个知识点（每个知识点代表一个年级+上下册）
        for kp in knowledgepoints:
            # 获取年级和上下册信息
            grade_text = kp.get('text', '').strip()
            
            if not grade_text:
                print(f"警告：跳过空标题的知识点", file=sys.stderr)
                failed_count += 1
                continue
            
            # 生成英文文件名
            filename = chinese_to_english_filename(grade_text)
            output_path = os.path.join(output_dir, filename)
            
            # 创建单个知识点的数据结构
            single_kp_data = {
                'grade': grade_text,
                'knowledgepoints': kp
            }
            
            # 保存为 JSON 文件
            try:
                with open(output_path, 'w', encoding='utf-8') as f:
                    json.dump(single_kp_data, f, ensure_ascii=False, indent=2)
                
                print(f"✓ 已保存: {filename}", file=sys.stderr)
                success_count += 1
            except Exception as e:
                print(f"✗ 保存失败 {filename}: {e}", file=sys.stderr)
                failed_count += 1
        
        # 输出统计信息
        print(f"\n完成！", file=sys.stderr)
        print(f"成功: {success_count} 个文件", file=sys.stderr)
        if failed_count > 0:
            print(f"失败: {failed_count} 个文件", file=sys.stderr)
        
        return True
    
    except FileNotFoundError:
        print(f"错误：文件 {input_file} 不存在", file=sys.stderr)
        return False
    except json.JSONDecodeError as e:
        print(f"错误：JSON 解析失败 - {e}", file=sys.stderr)
        return False
    except Exception as e:
        print(f"错误：{e}", file=sys.stderr)
        import traceback
        traceback.print_exc()
        return False


def main():
    """主函数"""
    # 默认文件路径
    input_file = '/Users/henryhuang/Desktop/testapp/knowledgepoints_output.json'
    output_dir = None
    
    # 解析命令行参数
    if len(sys.argv) > 1:
        input_file = sys.argv[1]
    if len(sys.argv) > 2:
        output_dir = sys.argv[2]
    
    # 执行拆分
    success = split_knowledgepoints(input_file, output_dir)
    
    if not success:
        sys.exit(1)


if __name__ == '__main__':
    main()




"""
将知识点 JSON 文件按照年级和上下册拆分成多个文件
"""

import json
import sys
import os
import re


def chinese_to_english_filename(chinese_text):
    """
    将中文年级和上下册转换为英文文件名
    
    Args:
        chinese_text: 中文文本，如"一年级上册"
    
    Returns:
        英文文件名，如"grade1_semester1.json"
    """
    # 年级数字映射
    grade_map = {
        '一': 1, '二': 2, '三': 3, '四': 4, '五': 5, '六': 6,
        '七': 7, '八': 8, '九': 9, '十': 10
    }
    
    # 提取年级数字
    grade_num = None
    for char, num in grade_map.items():
        if char in chinese_text:
            grade_num = num
            break
    
    # 如果没有找到，尝试提取数字
    if grade_num is None:
        match = re.search(r'(\d+)', chinese_text)
        if match:
            grade_num = int(match.group(1))
    
    # 确定上下册
    if '上册' in chinese_text or '上' in chinese_text:
        semester = 'semester1'
    elif '下册' in chinese_text or '下' in chinese_text:
        semester = 'semester2'
    else:
        semester = 'semester1'  # 默认上册
    
    if grade_num is None:
        # 如果无法解析，使用原始文本的拼音或哈希
        return f"grade_{hash(chinese_text) % 10000}_{semester}.json"
    
    return f"grade{grade_num}_{semester}.json"


def sanitize_filename(filename):
    """
    清理文件名，移除不合法的字符
    
    Args:
        filename: 原始文件名
    
    Returns:
        清理后的文件名
    """
    # 移除或替换不合法的文件名字符
    filename = re.sub(r'[<>:"/\\|?*]', '', filename)
    # 移除首尾空格和点
    filename = filename.strip('. ')
    return filename


def split_knowledgepoints(input_file, output_dir=None):
    """
    将知识点 JSON 文件按照年级和上下册拆分
    
    Args:
        input_file: 输入的 JSON 文件路径
        output_dir: 输出目录（默认为输入文件所在目录）
    """
    try:
        # 读取 JSON 文件
        with open(input_file, 'r', encoding='utf-8') as f:
            data = json.load(f)
        
        # 获取知识点列表
        knowledgepoints = data.get('knowledgepoints', [])
        
        if not knowledgepoints:
            print("错误：未找到知识点数据", file=sys.stderr)
            return False
        
        # 确定输出目录
        if output_dir is None:
            output_dir = os.path.dirname(os.path.abspath(input_file))
            if not output_dir:
                output_dir = '.'
        
        # 创建输出目录（如果不存在）
        os.makedirs(output_dir, exist_ok=True)
        
        # 统计信息
        success_count = 0
        failed_count = 0
        
        # 遍历每个知识点（每个知识点代表一个年级+上下册）
        for kp in knowledgepoints:
            # 获取年级和上下册信息
            grade_text = kp.get('text', '').strip()
            
            if not grade_text:
                print(f"警告：跳过空标题的知识点", file=sys.stderr)
                failed_count += 1
                continue
            
            # 生成英文文件名
            filename = chinese_to_english_filename(grade_text)
            output_path = os.path.join(output_dir, filename)
            
            # 创建单个知识点的数据结构
            single_kp_data = {
                'grade': grade_text,
                'knowledgepoints': kp
            }
            
            # 保存为 JSON 文件
            try:
                with open(output_path, 'w', encoding='utf-8') as f:
                    json.dump(single_kp_data, f, ensure_ascii=False, indent=2)
                
                print(f"✓ 已保存: {filename}", file=sys.stderr)
                success_count += 1
            except Exception as e:
                print(f"✗ 保存失败 {filename}: {e}", file=sys.stderr)
                failed_count += 1
        
        # 输出统计信息
        print(f"\n完成！", file=sys.stderr)
        print(f"成功: {success_count} 个文件", file=sys.stderr)
        if failed_count > 0:
            print(f"失败: {failed_count} 个文件", file=sys.stderr)
        
        return True
    
    except FileNotFoundError:
        print(f"错误：文件 {input_file} 不存在", file=sys.stderr)
        return False
    except json.JSONDecodeError as e:
        print(f"错误：JSON 解析失败 - {e}", file=sys.stderr)
        return False
    except Exception as e:
        print(f"错误：{e}", file=sys.stderr)
        import traceback
        traceback.print_exc()
        return False


def main():
    """主函数"""
    # 默认文件路径
    input_file = '/Users/henryhuang/Desktop/testapp/knowledgepoints_output.json'
    output_dir = None
    
    # 解析命令行参数
    if len(sys.argv) > 1:
        input_file = sys.argv[1]
    if len(sys.argv) > 2:
        output_dir = sys.argv[2]
    
    # 执行拆分
    success = split_knowledgepoints(input_file, output_dir)
    
    if not success:
        sys.exit(1)


if __name__ == '__main__':
    main()