卫辉府的衰落主要与交通枢纽转移、漕运衰落及战乱等因素密切相关，具体分析如下：

一、交通枢纽的转移与行政调整

1. 铁路建设的影响

   1898年京汉铁路和1902年道清铁路在卫辉交汇，但卫辉府因漕运功能衰落而逐渐失去行政中心地位。铁路的兴起导致物资运输向沿线新兴城市转移，卫辉未能有效承接这一转移。

2. 漕运功能的丧失

   清末漕运改革后，卫河运输漕粮功能终止，卫运河疏浚停止，商贸活动随之衰退。1906年后，卫辉逐渐从豫北经济中心转向边缘地带。

3. 行政区域的调整

   民国时期，卫辉府废止，设为河北道，后改为河南豫北道，管辖范围扩大至24县。1949年河南解放后，卫辉县与邻县合并为卫辉市，行政地位进一步下降。

二、经济基础与外部冲击

1. 漕运衰落与商贸萎缩

   由于漕运中断，卫辉依赖的物资集散功能消失，导致经济活力下降。加上卫河淤积、政府疏浚不力，进一步削弱了其经济基础。

2. 战乱与基础设施破坏

   太平天国运动、军阀混战等战乱频发，破坏了卫辉的交通和商业网络。1927年“百日围城”事件进一步恶化了县城经济环境。

三、历史对比与现状

卫辉府曾是河南豫北中心，但新乡市因铁路交汇、工业发展等优势逐渐崛起，最终取代了其地位。现代卫辉市仅保留部分历史遗迹（如镇国塔），已沦为县级市，行政影响力大幅减弱。

综上，卫辉府的衰落是多重因素共同作用的结果，包括交通枢纽转移、漕运衰落、战乱冲击及行政调整等。