提供的iVGR-RL-51K数据泄露问题

[lsfhgty]

我使用iVGR-RL-51K sft训练qwen2.5模型，在vstar获得了95%+的准确率，怀疑是出现了数据泄露，请问这个现象是正常的吗

[zhangchbin]

这个数据中有37K 是复用的TreeVGR的RL training set，有14K 是从OpenMMReasoner的RL training set中随机采样的。另外.parquet文件中有一部份是Thyme RL training set（但是这部分数据我们在训练中没使用，被屏蔽掉了）。
根据TreeVGR的描述，这37K training set 应该是有32K 来自于V* 训练集，5K来自VisDrone。
SFT有可能是拟合V*数据集比较好，可以测试下其他benchmarks，比如HR4K/8K，MME-RealWorld，MathVision等。