可以由发包方（村集体经济组织或者村民委员会）收回。依据《土地管理法》规定，承包经营耕地的单位或者个人连续二年弃耕抛荒的，原发包单位应当终止承包合同，收回发包的耕地。

《土地管理法》第三十七条 禁止任何单位和个人闲置、荒芜耕地。已经办理审批手续的非农业建设占用耕地，一年内不用而又可以耕种并收获的，应当由原耕种该幅耕地的集体或者个人恢复耕种，也可以由用地单位组织耕种；一年以上未动工建设的，应当按照省、自治区、直辖市的规定缴纳闲置费；连续二年未使用的，经原批准机关批准，由县级以上人民政府无偿收回用地单位的土地使用权；该幅土地原为农民集体所有的，应当交由原农村集体经济组织恢复耕种。

在城市规划区范围内，以出让方式取得土地使用权进行房地产开发的闲置土地，依照《房地产管理法》的有关规定办理。

承包经营耕地的单位或者个人连续二年弃耕抛荒的，原发包单位应当终止承包合同，收回发包的耕地。