基于GGUF格式的云起无垠SecGPT大语言模型

[LingJingMaster]

GGUF模型链接

https://huggingface.co/LingJingMaster/Clouditera-SecGPT-GGUF/blob/main/README.md?code=true

SecGPT 网络安全大模型

项目

• GitHub
• 原版Pytorch模型

简介

• 随着大语言模型的崛起，网安大模型也掀起了一股热潮，本人在逛 GitHub 时偶然发现了云起无垠开源的 SecGPT，但官方调用脚本中使用了 Cuda，且没有提供 GGUF 版本，故使用了 llama.cpp 的 convert 脚本进行转换，并上传至huggingface
   

测试设备

• MacBook Pro 16 寸
• M3 Max
• 48 GB
   

Usage

• 分为 secgpt1.5.gguf , secgpt.gguf 与 secgpt-mini.gguf 三个版本
• secgpt1.5.gguf基于qwen2, 需 28.5 G 显存
• secgpt.gguf基于baichuan, 需 26.5 G 显存
• secgpt-mini.gguf基于qwen2, 需 1.6 G 显存
• 使用方法
• 将 GGUF 导入LM Studio，并使用 secgpt-all.json 作为参数配置