张秀山1911年生于陕西神木的一个农民家庭，1928年进入榆林中学学习，在校期间加入了共产党，因领导学生运动遭到反动当局的通缉。后辗转逃脱，1930年党组织派他打入国民党部队，搞“兵运”工作。1931年在平凉遇到了刘志丹，就和刘志丹一同打入陈国璋部。当时，刘志丹就多次告诉张秀山，在做“兵运”工作时，千万别做“细腿子”。
所谓“细腿子”，就是旧军队对文职人员的称呼。刘志丹说这话的意思，就是告诉张秀山，到了部队后，一定要争取带兵，不要做个文职人员，哪怕是当个排长、连长都行，手中一定得有兵权。当时，刘志丹就给张秀山讲了自己以前的教训。刘志丹说，当年在大革命时期，他在参加北伐战争的时候是完全有资格可以带兵的，可是党内那些“右倾机会主义”的领导，就是不允许他带兵，只是让他做了一个政治教官。所以后来到了“武汉事变”一发生，汪精卫政府叛变革命的时候，就把他们这些文职人员都赶走了。刘志丹说，如果当时他带了兵，手中有几十条枪杆的话，就完全可以拉出一部分人来成立自己的游击队。刘志丹的这些话，其实就是一种经验的总结，说明他已经体会到了，为什么毛泽东同志一再强调“枪杆子里面出政权”，也就是这个道理。
当年张秀山打入王子元部后，真的当上了一连连长，经过苦心经营，很快就在这支部队里发展了一批人。后来谢子长也被党组织派到了王子元部，领导兵运工作，并且成立了党支部，准备举行兵变。
可是党支部对什么时候举行兵变却意见不一致，有的人觉得军阀力量太强了，担心兵变不会成功。就在犹豫不决的时候，王子元听到了风声先动手了。他先是把一个是中共党员的副营长张东郊给抓起来了，然后又缴了下面一个教导营的全部武器。
这时，张秀山马上跑去找谢子长商量对策，并决定当晚就发动兵变，否则到时候一个兵都带不出来。王子元已经掌握了共产党人要发动兵变的确切消息，派了一支骑兵部队赶来镇压。经过一番激战，大部分同志都牺牲了，也有许多人被捕了。当时张秀山也被捕了，他被铐着两只手，牵在马后给拖着跑，脚上的鞋也跑掉了，脚板底儿全都是血。就这样一连被拉着跑了两天，最后被拉回了靖远，面临着被杀头的危险。
这时候，当地党组织正在积极营救那些被捕的同志。刘志丹就利用一些还没有暴露身份的党员，在王子元的队伍里散布言论，说张秀山是王子元的救命恩人，当年曾经救过王子元的命，现在王子元却要杀害张秀山。王子元连他的救命恩人都要杀，这样的人就太不讲义气了，以后还有谁去给你王子元卖命呢？王子元有一个“软肋”，就是最怕别人说他不讲义气，担心以后再也没有人跟他干了，于是一听到这个消息后，马上就把张秀山给悄悄地放了。
刘志丹、谢子长和张秀山等人虽然多次打入各种军阀部队，千方百计地进行兵运工作，但是这种“借水养鱼”的方式，最后都一次又一次地以失败而告终。还有后来同样成为刘志丹亲密战友的习仲勋，也是搞兵运出身的。他比刘志丹要小十岁，所以当他还是一个半大孩子的时候，就开始在陕甘各地搞起了兵运工作。
习仲勋是陕西富平县淡村镇人，1913年出生，13岁就在家乡立城中学加入了共青团。大革命失败后，在三原师范求学的习仲勋也因从事革命活动遭到逮捕，两个月后转入西安军事裁判所。当时西安的最高军政长官宋哲元看到这些被捕的学生都是稚气未脱的孩子，立即决定将这些学生交保释放。
但宋哲元并不知道，这时候的习仲勋，已经在自己的监狱里成了一名中共党员。出狱后，习仲勋就被中共陕西省委派往西北军从事兵运工作。1932年，习仲勋所在的部队开赴陕甘交界处的两当县时，中共陕西省委认为时机已经成熟，就指示19岁的习仲勋发动兵变，命令他暴动了以后，就把兵变的队伍拉往陕北，跟刘志丹会合。
这支由年轻人领导的革命队伍，从一开始就陷入敌人的重围之中。习仲勋发动兵变后，就率领部队边打边走，一路突围，后来终因弹尽粮绝，队伍被打散了。甘肃两当兵变失败后，习仲勋只好赶赴照金根据地，他在那里才见到了刘志丹。
因为兵变失败，牺牲了很多人，年轻的习仲勋当时心里非常难过。见到刘志丹后，他就难过地说，看那么多同志牺牲了，内心感到很愧疚。刘志丹一听，就开导他说，“失败是成功之母。你这才失败一次算啥？我都失败过好多回了，大大小小差不多都七十多回了。”
习仲勋后来在文章中回忆说：在传说中，有人常把刘志丹描绘成一个神奇的人物，但是初次见面，我得到的印象是他完全像个普通战士。他朴直无华，平易近人，常和战士们坐在一起抽旱烟，谈笑风生，不摆半点领导的架子，同志们都亲切地叫他“老刘”。
在兵运工作屡屡受挫的情况下，刘志丹等人从实践中逐步悟出了一个道理，他说：“利用军阀是暂时的，无产阶级应该也只能依靠自己的力量创造条件，搞革命的武装。”后来他曾沉痛地总结说，陕甘地区先后举行过大小七十多次兵变，都失败了，最根本的原因就是“军事运动没有同农民运动结合起来，没有建立革命根据地”。
1931年9月，刘志丹和马锡五来到了甘肃的南梁，又将分散活动于合水、庆阳山区的赵连璧、杨培盛、贾生财的三支民间武装集合起来，在太白倒水湾进行整编，然后拉到南梁，终于建立起了陕甘边地区由共产党独立领导的第一支工农革命武装——南梁游击队。刘志丹任总指挥，马锡五任军需官。直到这时，刘志丹轰轰烈烈的兵运生涯才算告一个段落。刘志丹带着这支南梁游击队连夜进入子午岭山区，让马锡五带领赵连璧等人整顿部队，进行军事训练，自己又到保安县和南梁一带进行革命活动。
南梁游击队建立起来后，刘志丹认真总结以往开展兵运工作的经验教训，坚持以南梁为中心，依托桥山山脉开展游击战争，进一步扩大南梁革命根据地。刘志丹特别重视对部队干部、战士的教育工作，和当地的群众搞好关系，同时又经常组织小股部队到南梁周边一带进行革命活动，组织当地的老百姓打土豪、分粮食，解决部队给养，减轻群众负担。
1931年10月，南梁游击队刚刚成立不久就首战告捷，在二将川消灭了军阀张廷芝的一个骑兵连，击溃了合水民团的进攻。这次胜利，让南梁游击队一时名声大振，也让当地的老百姓扬眉吐气，使革命斗争形势迅速发展，南梁根据地的地盘也越来越大。
南梁游击队的建立，对周边的革命斗争产生了很大的影响。在这时，有一支革命武装来到南梁，投奔刘志丹的部队来了。这支队伍就是山西省的一支革命武装，当时叫“晋西游击队”。
晋西游击队是由黄子文和拓克宽在山西创办的，他们在山西遭到了阎锡山部队的重兵围剿，就渡过黄河到陕北来寻找刘志丹的队伍。
