1880年12月31日，马歇尔出生在尤尼恩敦。他是家中最小的孩子，上面有一个哥哥和一个姐姐。老马歇尔是一家焦炭熔炉公司的董事长，在宾夕法尼亚拥有富煤矿。
马歇尔小的时候学习不好，考试总得最后一名。他后来承认，9岁时他便认定自己注定是“全班的劣等生”。父亲对他很失望，常用柳条鞭管教他。但这也未能使他的学习成绩好起来。
老马歇尔对军队请有独钟，希望儿子能成为军官。长子似乎可以实现父亲的梦想，他以优异成绩考进著名的弗吉尼亚军校。但他志不在军队，毕业后却改行到一家钢铁厂当了化学师。这时，马歇尔突然雄心勃发，一再要求父母送他到哥哥的母校弗吉尼亚军校。他后来承认，他如此想上军校，并非因为喜欢军队或想穿上军装出出风头，而是因为要胜过他那个自命不凡、百般嘲笑他的哥哥。1897年9月，16岁的马歇尔进入弗吉尼亚军校。他刚入校，便受到老生的“考验”。老生按例让他在地板上悬蹲10分钟，正下方固定着一把刺刀。他刚患过伤寒，身虚体弱，没坚持几分钟便坐到刀尖上，臀部受伤，血流如注。他被抬到医务所急救，但始终未说出受伤的缘由。他的行为赢得大家的赞许，他受到尊敬，在军校站住脚。
马歇尔将军在弗吉尼亚军校学习期间，因为说话口音太高，高年级学生以“难听的匹兹堡鼻音”令人刺耳为由，处罚他一人包揽了大量脏活。他后来在回忆录中写道，一个月刷洗的马桶比一个清洁工一辈子刷洗的还多。
马歇尔渐渐喜欢上军校生活。他一年级结束时当上伍长，两年后升为队长。校内举行的所有重大仪式，他都担任学生指挥。他声如洪钟，面SE威严，发号施令极具威慑力。
1901年，马歇尔以名列第8的优异成绩毕业于军校，年底进入陆军，次年受领陆军少尉军衔并被派往菲律宾。行前他与伊丽莎白·科尔斯卡特结婚。新娘患有心脏病，未能与他同行，留在了国内。
这时菲律宾驻有美军3万5千人，维持某种“和平”，战事已缓。年轻的少尉服役两年，没有参加战斗，但经历了丛林环境和疫病的考验。他的老成持重和公正无私很受上级赞赏。
1903年夏，马歇尔回到美国，被派往俄克拉何马地区的雷诺堡。妻子身体不好，仍不能与他同行。马歇尔在雷诺堡的出SE表现受到上级注意。1906年他被选进利文沃思堡进修班进修。进修学员都是上尉以上的军官，他是唯一的少尉。一年后他以名列第一的成绩获得继续深造的资格。这时，妻子搬到利文沃思堡与他同住。但是疾病使她无法与丈夫过正常的夫妻生活，也无法生育。虽然如此，马歇尔与妻子一直相亲相爱，外人以为他们的婚姻生活完美无缺。
20世纪初美国军队晋升机会极少。马歇尔晋升为中尉，带着这个军衔一直干到1916年。这时他已36岁，当了14年军官，在美国14个不同的部队服役任过职，两赴菲律宾，两进国民警卫队。无论在哪里，他都得到上级夸奖。他肯吃苦，经通兵法，足智多谋，忠诚可靠。但他仍是一个中尉。他的上司哈古德将军1916年在有关军官能力的报告中写道：“马歇尔理应在常规军中任准将职，推迟一天任命，军队和国家就遭受一天损失。”但是，提升军官委员会只是任命了马歇尔上尉职。
