A Try of PreNorm？

[zhaoxincai]

The Transformer structure of your code is using PostNorm form ：
query_feat = self.norm1(self.mixing(sampled_feat, query_feat))
query_feat = self.norm2(self.self_attn(query_points, query_feat))
query_feat = self.norm3(self.ffn(query_feat))

请问您有尝试过PreNorm这种形式吗？效果会不会更好？
3D视觉领域大家用PostNorm是不是更多？

[jbwang1997]

感谢您的问题，我对3D视觉领域还不是特别了解，这里是直接复用SparseBEV的结构，PreNorm的效果我也不太好说，如果有PreNorm的相关代码可以在发一下，我参考着去尝试改一下。