LLM_Learning_1.ipynb学会了如何手动调用预训练好的语言模型。
LLM_Learning_2.ipynb学习了对预训练模型进行微调 (Fine-tuning) 。
LLM_Learning_3.ipynb学习了保存、加载、分享模型。
LLM_Learning_4.ipynb学习了生成式AI,三种解码策略,Decoder-only和Encoder-Decoder两种架构的区别,实践了对话和摘要式应用。
LLM_Learning_5.ipynb学习了LoRA高效微调。
Chat_嬛嬛.ipynb学习了开源项目self-llm的Chat-嬛嬛项目,并在colab中进行实践微调,但是colab免费T4 GPU显存不够用。
Chat_嬛嬛_4位量化.ipynb使用4位量化技术+LoRA进行了微调实践,成功在colab免费T4 GPU上运行。
Chat_嬛嬛_微调并合并推送.ipynb使用L4 GPU成功进行了微调,并将训练好的LoRA"插件"和Llama3基础模型进行合并为"Chat-嬛嬛"模型,推送至Hugging Face。
Chat_嬛嬛_拉取检验.ipynb从Hub仓库拉取微调模型进行检验。
微调模型地址:https://huggingface.co/16Miku/Chat-HuanHuan-Llama3-8B-merged
LLM_Learning_6.ipynb学习了LoRA模型的合并、保存与加载,但还没有运行代码实践。
LLM_Learning_6_1.ipynb使用T4 GPU 进行微调,训练了两个多小时,训练完放着没及时后续操作,断开了。
LLM_Learning_7.ipynb学习了使用经典评估指标 ROUGE 进行模型评估。
LLM_Learning_8.ipynb学习了搭建基于关键词匹配的简易RAG系统。
LLM_Learning_9.ipynb学习了多模态大模型的原理,并实践运行LLaVA模型。
LLM_Learning_10.ipynb学习了基于 LangChain + Gemini 的简易 ReAct Agent。
LLM_Learning_11.ipynb学习了Flash Attention优化。
LLM_Learning_12.ipynb学习了训练后量化PTQ,但是运行GPTQ代码一直不成功。学习了使用 unsloth 工具进行一键式优化,并将用 unsloth 量化后的模型以两种格式分别保存并推送到我的Huggingface仓库。
原生的Hugging Face格式: https://huggingface.co/16Miku/llama-3-8b-instruct-unsloth-4bit
GGUF格式: https://huggingface.co/16Miku/llama-3-8b-instruct-unsloth-gguf
LLM_Learning_13.ipynb学习了使用 LangChain 框架构建 RAG 系统。
LLM_Learning_14.ipynb学习了使用多智能体协作框架 CrewAI 构建了一个研究团队。
Whisper_Test.ipynb在 Colab 上部署了 Whisper 开源 STT 模型,并完成了本地 WAV 录音文件的上传和文本转换。
Getting_started_with_google_colab_ai.ipynb学习了google.colab.ai库的使用。
VLLM_Test.ipynb学习了Colab环境中vLLM的安装和使用。
Deploy\Qwen3-8B-Transformers-Colab.ipynb 学习了使用 Transformers 部署 Qwen3-8B 大模型进行推理。包含详尽的代码注释,涵盖:
- 使用 ModelScope 下载模型
- 使用 Transformers 加载模型和分词器
- Qwen3 的思考模式(enable_thinking)特性
- 文本生成的采样参数(temperature、top_p、top_k)详解
Deploy/02-Qwen3-8B-vLLM 部署调用.md 参考教程:datawhalechina/self-llm 的 vLLM 部署教程。
Qwen3-8B vLLM 部署实践教程(AutoDL 平台):