MiniCPM V4.6是否可以直接替换text_config组成新的模型？

[randydl]

感谢优秀的开源工作，受益很多。我想请教一个关于模型结构扩展的问题。

目前我在考虑是否可以基于 MiniCPM V4.6 的整体框架，直接替换其中的 text_config 来构建新的模型。例如，将当前语言模型部分对应的 text_config 替换为 qwen3vl_config，然后重新初始化对应模块，组成一个新的 VLM 模型，并在此基础上继续进行微调训练。

我想确认一下，这种“仅替换 text_config”的做法在架构设计上是否可行？还是说除了 text_config 之外，还需要同步修改其他组件，例如：

• tokenizer 配置
• projector / connector
• position embedding
• rotary embedding（RoPE）
• hidden size 对齐
• vision-language 对齐方式
• special tokens
• generation config 等

想请教一下比较推荐的实现方式，感谢。

[YuzaChongyi]

你好，感谢关注，理论上替换 text_config 是可以得到一个不同 llm 初始化的模型的，你需要在调用 from_pretrained 的时候加上 ignore_mismatched_sizes=True，然后对于新随机初始化的 llm，你还需要重新加载一份 llm 的参数覆盖初始化权重。text_config 内的参数跟选择的 llm 结构相关，可以参考 llm 的 config，同时需要注意的是，llm 变化后当前的 connector 模块的参数不可复用，通常你还需要进一步重新微调。

[randydl]

谢谢您的解答，我按照您的说明操作了，但是我仔细看了源码发现MiniCPM V4.6是不是在Qwen3.5的词表基础上加了一些比如slice这样的special token，processor里面要用到这些special token，所以如果要换llm，我要修改词表添加这些special token，并且llm那块的embedding要改维度是吗

[YuzaChongyi]

是的，可以在 tokenzier 增加 special token 后，调用 model.resize_token_embeddings(len(tokenizer)) 完成 embedding 的初始化

[randydl]

明白了，非常感谢您，我试试看。

[randydl]

您好，我在用ms-swift训练的时候，会发现有的图像报错：

ValueError: Multimodal features and tokens do not match, tokens: 130, features: 194

经过我调试后发现transformers源码里面：

image_processing_minicpmv4_6.py:154：
best_grid = [num_cols, num_rows]   # 按 [cols, rows] 顺序存储

processing_minicpmv4_6.py:112：
num_rows, num_cols = image_grids[global_image_index]  # 按 [rows, cols] 顺序读取

当 num_rows ≠ num_cols 时（如非正方形 grid），rows 和 cols 被交换了。

我认为源码存在错误：
https://github.com/huggingface/transformers/blob/main/src/transformers/models/minicpmv4_6/image_processing_minicpmv4_6.py#L154
应改为：

best_grid = [num_rows, num_cols]

https://github.com/huggingface/transformers/blob/main/src/transformers/models/minicpmv4_6/image_processing_minicpmv4_6.py#L152
应改为：

error = abs(log_ratio - math.log(num_cols / num_rows))

其他processor文件也有类似的问题

[airlsyn]

我们看了下，应该是没问题的。

                    error = abs(log_ratio - math.log(num_rows / num_cols))
                    if error < min_error:
                        best_grid = [num_cols, num_rows]

一起看，这个最终输出语义上是正确的。你能 share 下 具体 case 吗，我们验证下。 @randydl

[randydl]

您好，我也从源码里面仔细调试了一下，反复调试后发现结果确实是正确的。这两个地方正好都反过来了，有点负负得正的意思。不过这个写法确实有点奇怪，我修改后的写法应该更易懂一点。之前出的那个错误是因为ms -swift里面对于换行处理不好，详见modelscope/ms-swift#9364
感谢您的回复