绩效改进谁之责？

虽然做绩效考核工作时间不算长，但感觉绩效考核工作真的很难做，甚至越来越没有做下去的信心了。现在真的很困惑：往好的方向做，一是不容易，二是员工意见大；做的不好了，老板又不愿意。我的心整天就像是在压跷跷板，而且还得整天跟着老板听训话。

我想问一句：绩效改进到底是谁的责任？