然而，哈巴罗清楚地知道，他的人数不多的部队无法保住这个地区。这年春天，当河道解冻时，他放弃了阿查尼地区，驾船沿河向上游撤走了。
同年6月，哈巴罗夫在松花江河口之上的阿穆尔河遇到了俄国的增援部队，但是他仍旧向上游撤退，因为他探听得知，清军集中了一支约有6000人的强大部队准备对他进行反击。直到8月初，他才在结雅河的河口停泊下来。在此，哈巴罗夫的一部分人暴动了，他们夺走了三艘船，抢去了一部分武器和弹药，他们沿阿穆尔河向下游驶去。这部分人沿河大肆抢掠、屠杀达斡尔人、那乃人和居奇尔人，最后航行到吉利亚克人居住地区，并在那里建立了一个收税的要塞区。哈巴罗夫当然不能容忍这些暴动者，9月间，他率领部队沿河向下游航进，到达吉利亚克人居住地区，炮击了这个要塞区。暴动者投降了，但是他们提出了一个条件：保障生命安全和被他们抢来的财产。哈巴罗夫“宽恕”了他们，但下令处以笞杖刑罚（很多人死于这种刑罚）。然后，哈巴罗夫把他们的财产占为己有。
哈巴罗夫在阿穆尔河的吉利亚克人地区度过了第二个冬天。1653年，他返回结雅河河口的达斡利亚（达斡尔人居住地区）。这年夏季，他的人员又沿阿穆尔河向上游和下游航行过数次，向当地人征收毛皮税款。阿穆尔河的左岸地区已经空无一人了，根据清朝政府的命令，所有居民一律迁移到该河的右岸。
1653年8月，莫斯科给这支部队派来了一个沙皇的全权代表，这个代表给全体远征的参加者，其中包括哈巴罗夫本人带来了沙皇的奖赏，但是同时解除了哈巴罗夫领导部队的职务。当哈巴罗夫提出抗议时，这个全权代表把哈巴罗夫痛打了一顿，并派人把他押送莫斯科。在押送哈巴罗夫去莫斯科的途中，这个全权代表没收了哈巴罗夫的全部财物。然而，哈巴罗夫回到莫斯科后，当局又把个人财物归还给这个征服者了。沙皇授予他“贵族之子”的光荣称号，并把东西伯利亚的村庄赐给他，作为采邑，但是不允许他再返回阿穆尔河流域。
