協商變更即可。 協商不成，可到被告人所在地的法院去起訴。
變更監護關系的法律依據
根據《民法通則》的規定，監護人不履行監護職責，或者侵害了被監護人的合法權益，其他有監護資格的人或者單位向人民法院起訴，要求監護人承擔民事責任的，按照普通程序審理;要求變更監護關系的，按照特別程序審理;既要求承擔民事責任，又要求變更監護關系的，分別審理。
其他有監護資格的人或者單位是指未成年人的父母; 祖父母、外祖父母; 兄、姐; 關系密切的其他親屬、朋友愿意承擔監護責任， 經未成年人的父、母的所在單位或者未成年人住所地的居民委員會、村民委員會同意的;精神病人的配偶;父母;成年子女;其他近親屬;關系密切的其他親屬、朋友愿意承擔監護責任，經精神病人的所在單位或者住所地的居民委員會、村民委員會同意的。
夫妻離婚后，與子女共同生活的一方無權取消對方對該子女的監護權;但是，未與該子女共同生活的一方，對該子女有犯罪行為、虐待行為或者對該子女明顯不利的，人民法院認為可以取消的除外。
監護人可以將監護職責部分或者全部委托給他人。因被監護人的侵權行為需要承擔民事責任的，應當由監護人承擔，但另有約定的除外;被委托人確有過錯的，負連帶責任。
夫妻一方死亡后，另一方將子女送給他人收養，如收養對子女的健康成長并無不利，又辦了合法的，認定成立;其他有監護資格的人不得以收養未經其同意而主張收養關系無效。
《未成年人保護法》第8條規定："父母或者其他監護人應當履行對未成年人的監護職責和，不得虐待、遺棄未成年人……"。第12條規定："父母或者其他監護人不履行監護職責或者侵害被監護的未成年人的合法權益的，應當依法承擔責任。"
