1944年，日军入侵河南。因当时少林寺有百名持枪武僧，所以豫西抗日支队请他们协助抗日。没想到对方不仅拒绝了，还拆弹动手绑了皮定均将军。
4月，豫湘桂战役爆发后，为了配合国民政府正面战场，8月皮定钧奉命向豫西挺进，组织抗日游击队并建立根据地。由于此前豫西隶属于汤恩伯管辖的第一战区，长期受汤及所部的压迫，人民群众对一切武装都持有较强的戒备心理。
此外为了抹黑我游击队的形象，日军分批次派出了多股伪军假扮八路军对老百姓进行抢掠。皮部初到豫西时工作极难开展，经常连吃饭都是问题。
但是，有着丰富斗争经验的皮定钧没有被困难打倒，一方面命令部队严格执行三大纪律八项注意；
另一方面密切与原来潜伏的地下组织配合团结一切可以团结的力量，短时间内就在人民群众中建立起了八路军的抗日形象，更是在几个月后建立了豫西抗日根据地，打开了豫西地区的抗日新局面。
根据地创建初期发生了许多有意思的故事，劝说少林寺参加抗日就是其中颇具传奇的一段。
原来一向以佛门清净地著称的少林寺到了清末民初也变得“热闹”起来。
逢于乱世，军阀和土匪横行，为求自保，在民国初期少林寺就已经开始组织保卫团，还给保卫团装备了重武器。保卫团初期仅限于寺庙的保卫，后来禁不住地方势力的拉拢，投靠了北洋军阀吴佩孚。
1927年少林寺保卫团被石友三击溃，损失惨重。次年石友三占领少林寺，抢掠的一番之后一把火将百年少林寺付之一炬。
经此浩劫之后少林寺一片破败，保卫团也不复存在。
但是少林寺仍然拥有方圆几十里的田产，凭借着佃户缴纳的地租以及信徒的供养，几年后和尚们重修了少林寺各佛堂和大殿。
为少林寺招来灾祸的保卫团自然不在重建之列，但是考虑到世道仍不太平，寺里还是采购了一部分枪支弹药，平日里也对武僧进行训练，但仅限于寺院的保卫工作。
我党地下工作者韦念铭同志长期潜伏在豫西秘密进行抗日宣传和信息收集工作，早就知道少林寺有一支武装力量，并且通过持续的接触逐步将抗日的种子悄悄埋在了他们当中。
皮定钧将军在听取了韦念铭的汇报之后决定亲自拜访少林寺，争取他们共同抗日。
少林寺僧众之前对八路军缺乏了解，只知道这是一支抗日武装力量。汤恩伯领导的国民党军队也号称抗日，但是作风上与旧军阀无异。
刚开始他们以为八路军也类似汤恩伯的部队，所以在八路军领导登门拜访时简直一副如临大敌的样子，生怕八路军以抗日的名义敲他们竹杠，所以直接决绝了皮将军共同抗日的请求。
当天负责接待的和尚带领皮将军等人参观了之前被焚毁的寺院遗迹，其实暗里是想传递少林寺有意避世以免悲剧重演的意思。
僧众们表面上对八路军客客气气，实际上仍持有较强的戒备心理。
当皮将军被请到客堂休息时，和尚们表面上端茶倒水备显殷勤，暗地里却安排武僧包围了这里。
原来他们预备着万一发生八路军以武力胁迫少林寺参加抗日的情况，就先绑架皮定钧等人做为人质。
皮定钧将军敏锐地察觉到了周围有武装人员活动，考虑到少林寺多年来与各类武装之间积怨甚深同时又对八路军缺乏了解，为了避免双方发生冲突决定暂时先离开这里，等时机成熟再重新拜访。
但是在走之前还向少林寺传达了八路军的抗战决心，同时对少林寺避世自保、视而不见日军侵略暴行的做法进行了批判和斥责。
后来少林寺得知八路军是真正的抗日队伍，且纪律严明绝不欺压百姓，终于放下戒心积极与八路军合作共同抗日。
少林寺青年僧人释永贵参加了八路军建立的抗日区政府，担任少林区的副区长。
少林寺武僧里也有不少年轻力壮的僧人参加了区干队，在日军疯狂地“扫荡”期间，他们利用对地形的熟悉和坚强的战斗意志，多次伏击日军，取得了丰硕的战果。
在解放登封县的战斗中，以少林寺僧人为主地区干队主动出击，为主力工程部队扫除了外围障碍。县城解放后，僧人们披着袈裟、扛着枪炮在大街上宣传抗日政策，一时传为佳话。
