传说，西汉武帝元霸五年（公元前112年），南粤宰相吕嘉反叛汉朝，主爵都尉楼船将军杨仆奉命率五万水军，前往平乱。这支大军浩浩荡荡由豫章（今江西）出发，循浈江直下。进入南雄县境的横浦水后，直到马头坳，地势险要，水流湍急，特别是狮头潭尤险，如此庞大兵船，稍不小心，就有沉舟之危。杨仆指挥船队，细心操舟，得以顺利越过险潭。这时天色已晚，遂泊舟于狮头潭下的岩石岸边，至今留下许多当年插杆歇舟的石孔，后人把这地方叫做杨仆坑，沿用至今。
杨仆将军的船队在狮头潭下游停泊一夜，第二天继续前进，选择全安乡岩洞作为休整之处，大军来到后，在岩洞周围扎营。经过休整，士气大振，与伏波将军路博德率领的另一路大军会师，终于平息了叛乱，灭了南粤。全安的这个岩洞，因为驻扎过杨仆将军，后人就叫它为杨沥岩。意即杨仆将军经历过此地之意。岩门前有一副对联可佐证：
周游瀑布岩前，看树影波光，横浦楼船怀汉将；
稍憩蒲团石上，听松声泉韵，空山琴笙忆苏诗。
