对于有精神残疾的劳动者，用人单位在一般情况下 不得单方面解除劳动合同 ，除非存在特定的过失性情形。这些特定情形包括：

1. 过失性辞退 ：当劳动者存在严重违反用人单位规章制度、严重失职、营私舞弊等行为时，用人单位可以依法解除劳动合同。

2. 医疗期满后不能从事原工作或另行安排的工作 ：如果精神残疾患者在规定的医疗期满后，既不能从事原工作，也不能从事用人单位另行安排的工作，用人单位可以提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资后解除劳动合同。

3. 不能胜任工作 ：当精神残疾患者经过培训或者调整工作岗位后，仍不能胜任工作时，用人单位可以解除劳动合同。

4. 客观情况发生重大变化 ：如果劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，且经用人单位与劳动者协商，未能就变更劳动合同内容达成协议，用人单位可以解除劳动合同。

5. 试用期内的精神病 ：对于新招用的职工，在试用期内发现并经有关机构确认患有精神病的，用人单位可以解除劳动合同。

需要注意的是，用人单位在解除劳动合同时，必须依法进行，否则劳动者有权要求用人单位继续履行劳动合同，或者要求用人单位按经济补偿标准的两倍向其支付赔偿金。此外，用人单位在解除劳动合同时，还应当给予精神残疾患者适当的经济补偿和医疗补助。

综上所述，除过失性辞退外，用人单位在解除劳动合同时必须遵守相关法律法规，确保精神残疾患者的合法权益不受侵害。