然而，当时对日作战的失败形势已是不可逆转了。在辽东半岛失守后，清政府被迫签订了丧权辱国的《马关条约》。一月末，祖父随聂将军驻守山海关。这时祖父因对日作战勇敢有功，已从五品提升为聂军军械局督办。
祖父曾两次被派往日本考察军事。第一次是1895年4月，祖父作为武官随裕庚出使日本考察军事。父亲这样告诉我们："裕庚是爷爷在武备学堂的老师，很器重爷爷。爷爷在日本大开眼界，认识了几位日本的军事人才，向他们学习。还考察了日本的现代军事科学及训练方法和理论。回来后整理出版了好几本兵书。"
作为甲午战争的亲历者，战败的教训使祖父早有改练新军的思想，所以到了日本，他特别注意考察现代军事。日本军队的训练、装备、战术等，都是他考察、学习的目标。我父亲曾经提到："爷爷对裕庚说：'如今是洋枪洋炮时代，大刀长矛怎么和人家打，所以甲午才打败仗。学生以为中国必须练新军，都得变，不变则亡……'裕庚很同意爷爷的想法，说朝廷里现在也有人有这个想法。"第二次，清政府派祖父与朝廷官员铁良、风山赴日再次考察军事。通过两次考察，祖父在现代军事科学上的认知都有很大提升。
赴日考察后所写的兵书，曾送给聂将军和荫昌（字午楼，当时是武备学堂的总办）。荫昌也是祖父的老师，他非常赏识祖父的才干以及祖父写的几本兵书。
辅佐袁氏编练新军
1896年末，清廷决定任用袁世凯去小站督练新军。祖父在武备学堂的老同学王士珍、段祺瑞等都到了小站，这使得祖父非常动心，但又感苦恼。这是因为祖父虽然很想去小站参练新军，但因聂将军对祖父有知遇之恩，尽管聂将军也很明白编练新军的道理，祖父不忍提出离开的要求。我父亲提到："后来还是荫昌大人推荐，袁世凯一再向聂将军要人，聂将军才把爷爷送去了小站。临走时，两人是挥泪而别。"
到了小站，袁世凯亲切礼貌地接待了祖父。有记载说袁世凯视祖父的几册兵书为"鸿宝也",并说"学界之子无逾公者".祖父与袁世凯生于同年，并长袁数月（袁生于1859年9月16日，即清咸丰九年八月二十日）。袁世凯擅礼贤下士，不久便对祖父以"四哥"相称，并把新军操练、营务等事完全放手交给了祖父与徐世昌、段祺瑞、王士珍、张勋、段芝贵、阮忠枢等人。祖父在小站很努力，又和王士珍、段祺瑞合编了二十三册新的练兵教科书，这些兵书成为清末我国军事学校编练新军的主要教材。三人在袁世凯手下做出了成绩，连德国教练都表示赞赏，后来这三人被称作"北洋三杰".
父亲回忆说："在小站，爷爷真是长了中国人的志气。当时是请了几个德国的军官做教练，德国人很傲慢，看不起中国军官。他做的不对，爷爷和他讲理，他想动手，被爷爷的士兵摁住，他还把爷爷告到了朝廷，不过最后还是叫他走人了。"
对此，一些史料中是这样记载的：当时小站练兵请了几个洋人教官，其中有个德国人叫曼德，此人非常傲慢，也是被其他清朝官员惯坏了。一次他喝多了酒，起晚了，耽误了原定的训练计划，当时祖父和士兵们冒着寒风在操场上等，他迟迟不来，祖父就去找他，他不但不认错，还蛮横地要动粗，被士兵摁住，但没有打他。他却恶人先告状，通过德国公使到朝廷去告祖父。当时的袁世凯也很担心，后来祖父建议让英国记者在报上揭露真相，致使舆论大哗，促使朝廷下决心明确外国教练的职责，并解除了与曼德的合约，赶走了这个傲慢的德国人。通过这件事，袁世凯的威望大增，同时也对祖父更加器重。
小站练兵在中国现代军事史上有着极为重要的地位，它不但开创了我国军事现代化的历程，而且培养了一批军事家和政治家。民国初年，包括总统、总理、总长以及众多军事将领，都是从小站练兵场上走出来的，亦即形成了当时以袁世凯为首的"北洋系".
从小站练兵直至1909年袁世凯被隆裕皇太后和摄政王载沣以"患有足疾"为由勒令"开缺回籍养疴"暂时赶出政治舞台为止，祖父一直在袁世凯幕下任职，主要为其主持军事教育。1901年，袁任直隶总督编练常备军，其自任军政司督办，委祖父为教练处总办，并兼"练官营"、"保定将弁学堂"、"保定速成武备学堂"总办等职；1903年袁为清廷练兵处会办大臣，又委祖父出任"军学司正使"等职，祖父在北洋集团中的地位及威望也来源于此。史料上记载祖父"北洋各学堂造就之众至数千人。今之上而统帅，下而校尉，内而部曹，外而幕职，凡北洋出身者，非同学即其门下士也".
小站练兵以后，袁世凯的地位不断上升，祖父亦随之先后担任了北洋行营将弁学堂督办、练兵处军学司正使、保定北洋陆军师范学堂督办和署正黄旗蒙古副都统兼陆军贵胄学堂总办等要职，同时还受到了清廷多次嘉奖。
对于袁世凯对自己的赏识、提携、重用，祖父多次表示"受恩深重".袁世凯无论是在清朝末年，还是民国初年，对祖父一向十分倚重，许多重要事情都是依靠祖父为他完成的。
我曾听父亲这样讲过："你爷爷在贵胄学堂当总办时，上学的都是蒙古和满清的贵族，学堂里还附设'王公讲习所'.定期听课的都是王公大臣，涛七爷（载涛，溥仪之叔、摄政王载沣的胞弟）他们也去听过课。有些八旗子弟懒得念书，不好好学，别人不敢管，你爷爷不怕，就拿鞭子抽他们。"这件事给我留下了很深刻的印象。
