1941年10月，为进一步巩固和扩大巨（野）南抗日根据地，粉碎敌人对根据地的“蚕食”，八路军第二纵队教导三旅七团、九团，在旅政委曾思玉、代旅长王秉璋指挥下，打响了铲除羊山集伪军据点的战斗。

羊山集是山东金乡城西北30里处的一个大镇，周围环有寨墙，并有外壕一道，当时为日军安插在巨南抗日根据地周边、对根据地开展“蚕食”的“重要据点”，由伪军“五县反共联防团”的3个中队裹挟大批会道门徒众防守。山羊集北面有一座长约2000米、高400米的孤山，上有东、中、西三个突出山峰，伪军将核心据点设在西峰一座寺庙里。1941年，自日军对巨南根据地发起“治安强化扫荡”后，山羊集据点伪军的活动越发嚣张，竟公开扬言要“捣毁巨南，赶走八路军”，并经常出动偷袭根据地抗日党政人员，抢劫根据地群众。为打击敌人的气焰，八路军第二纵队命令教导三旅立即消灭山羊集之敌。10月22日，教导三旅首长在王庄召开七团、九团连以上干部会议，传达上级命令，分析敌情，研究作战方案。会议决定：集中优势兵力，以偷袭和强攻相结合的手段，铲除羊山集据点。

23日黄昏，七团、九团分别从王庄、白店和章缝等地出发，急行军40里，于深夜完成了对羊山集的包围。24日凌晨，教导三旅七团、九团在地方武装的配合下，按照既定部署，同时向羊山集之敌发起攻击。七团很快控制了东、西寨门，消灭了守门伪军，从两个方向突入集镇。防守镇子的会道门徒众虽人数众多，但大都是受伪军、汉奸的胁迫而被迫加入的，经八路军喊话后即行散去。与此同时，九团夺取了羊山中峰制高点，并包围了伪军设在西峰寺庙里的核心据点。寺庙里的伪军负隅顽抗，以机枪火力不断骚扰九团的土工作业部队。教导三旅首长立即调整火力部署，调集重机枪从制高点居高临下封锁寺庙据点墙上敌人的火力点。围墙上的伪军多被击毙，残敌吓得纷纷跳下围墙，钻进碉堡。13时许，九团三营向据点发起冲锋，投弹组、梯子组迅速冲上围墙，八连突击排很快攻下了位于东南角的碉堡，伪军只得退入院内房间各自为战。突击排战士登上屋顶，揭开房上的瓦向里面投掷手榴弹。敌人无处藏身，很快便乖乖投降，战斗遂告结束。

此次战斗，教导三旅集中优势兵力，一举消灭敌人三个中队，同时缴获大批物资，并瓦解了当地会道门，铲除了这个敌人的“蚕食重要据点”，巨南根据地得到进一步巩固和扩大。