清明爬山手被马蜂咬了是可以冰敷的，但需要注意以下几点：

1. 及时处理伤口：被马蜂蜇伤后，首先要尽快将蜂针取出，避免毒素进一步注入体内。可以使用镊子小心地夹出蜂针，注意不要挤压伤口，以免更多的毒素进入身体。

2. 清洗伤口：使用肥皂水、苏打水等碱性溶液冲洗伤口，中和马蜂的酸性毒素，减轻疼痛和红肿症状。

3. 冰敷消肿止痛：在伤口清洗干净后，可以用冰袋或冷毛巾进行冰敷。冰敷能够促进毛细血管收缩，减少局部血液循环，从而起到消肿止痛的效果。但要注意避免直接将冰块接触皮肤，以防冻伤，可以用毛巾包裹冰袋后再敷于患处。

4. 观察症状：密切观察被蜇部位的症状变化，如果出现红肿、疼痛加剧、瘙痒、水疱等情况，除了继续冰敷外，还可以在医生的指导下涂抹一些药膏，如莫匹罗星软膏、复方醋酸地塞米松乳膏等，以预防感染和进一步缓解症状。

5. 警惕过敏反应：如果被马蜂蜇伤后出现呼吸困难、头晕、胸闷、手足麻木等全身性过敏症状，应立即停止冰敷等局部处理措施，尽快就医或拨打急救电话，以免延误病情。

清明爬山手被马蜂咬了可以冰敷来缓解症状，但如果症状严重或持续不缓解，应及时就医治疗。在户外活动时要做好防护措施，尽量避免被马蜂蜇伤。