根据历史记载，客家人在贺州确实经历了被驱赶的阶段，主要发生在清朝乾隆后期至同治年间。以下是相关历史背景的梳理：

一、主要迁徙原因

1. 土客械斗的直接推动

   广东肇庆地区自乾隆后期至同治年间爆发了长达十二年的“土客械斗”（1807-1819年），河婆客家先民因土地纠纷、族群矛盾被官府强制迁徙至广西贺州。部分人被逐或被遣送入桂，形成大规模迁入高潮，使贺州成为广西客家人主要聚居地之一。

2. 人口压力与政策因素

   广东客家人口激增导致土地资源紧张，加之清政府为缓解人口压力推行垦荒政策，间接促使客家人向广西等省份迁移。

二、被驱赶的具体情况

• 官方强制迁徙 ：清同治五年（1866年），清政府下旨将广东肇庆的河婆客家先民“给赀遣散”，分赴广西高、廉、雷、琼及贺、容、贵等县。

• 民间避难行为 ：除官方强制外，部分客家人因避难逃难自发迁入贺州。

三、历史影响

• 人口与文化扩散 ：此次迁徙使贺州成为广西客家人最主要的聚居地，对当地文化形成重要影响。

• 社会融合 ：贺州客家与当地瑶族等民族长期共存，形成了独特的多元文化格局。

客家人在贺州确实存在被驱赶的历史，但这一事件是其大规模迁徙过程中的重要组成部分，最终促成了客家文化在广西的扎根与发展。