基于 DPO 对齐的联邦大模型偏好研究——毕设探索与问题解决记录