1951年，港人往返内地需要申领《中华人民共和国出入境通行证》，并于指定口岸出入境，申领过程相当繁复。1956年开始改为在罗湖边境检查站，申领一次有效的《港澳同胞回乡介绍书》，填写返乡目的、目的地和逗留时间等资料，出境时由检查站人员收回。

1979年8月1日起，内地简化通关手续，《回乡介绍书》改为三年内多次使用的《港澳同胞回乡证》。当时不少港人携带电器等各类手信物品回乡探亲，故此边防检查部门要求需持有回乡证，才准带电视机、收音机、录音机、相机、手表、电风扇、单车及衣车这八类物品其中一项，每年一次完税进口。

1981年12月，回乡证由3年延至10年，并于1988年9月起，加贴电脑条码方便管理，一次有效的回乡证，可来往104次使用。浸会大学工商管理学院特邀教授刘佩琼表示：“回乡证的出现是一个很重要的里程碑，有了回乡证之后，基本上已经把我们通关的时间、过程，全部都简化。”

回归后，内地于1999年1月推出全新的回乡卡，取代纸本回乡证，并增设高科技防伪技术及实行电子化管理，进一步加快通关时间。现在的回乡证已是2012年起启用的新版本，即俗称第二代回乡证，分5年及10年有效期。