五原郡的歷史最早可以追溯到戰國時期。
趙武靈王二十六年，趙國經過“胡服騎射”的改革之后，國力大增，疆域北至燕、代，西至云中、九原，將河套之地納入了趙國的版圖。
只是戰國末年，隨著趙國國力的衰退，河套之地落入了匈奴人之手。
待秦始皇統一六國之后，派大將蒙恬率三十萬大軍北擊匈奴，重新奪回了河套之地，重置九原郡。
可到了秦朝末年，匈奴人又趁著秦末天下大亂，再一次占據了河套之地。
直到漢元朔二年，漢武帝劉徹令車騎將軍衛青出云中，一路往西攻城略地，收復了河套之地，之后漢武帝下旨在九原郡故地設置了五原郡和朔方郡。
隋開皇五年，隋文帝楊堅廢郡置州，在五原郡故地設置了豐州。
大業三年，楊廣廢州置郡，又將豐州改為五原郡，領九原、永豐、安化三縣。
正因為五原郡地處河套地區，土地肥沃，水草豐茂，自古以來便是中原王朝和草原民族的必爭之地。
當中原王朝強盛之時，五原郡及整個河套之地便是中原王朝不可分割的一部分。
可當中原王朝國力衰退之時，草原民族便會趁機霸占豐腴的河套之地，借機窺視中原。
可以說，河套之地的歸屬，很大程度上可以反映中原王朝的強盛興衰。
本朝也不例外。
開皇年間，大隋國力昌盛，突厥人雖然稱霸大草原，卻一直對大隋俯首帖耳，很是恭順，根本不敢有半點忤逆，更別說覬覦河套之地了。
可隨著大隋三征高句麗不利，突厥人也終于對著自已一直俯首帖耳的大隋露出了自已猙獰的獠牙，不僅出兵二十多萬圍困了皇帝楊廣所在的雁門郡，還再次對富饒的河套之地虎視眈眈。
起初作為朝廷任命的五原郡通守，張長遜很清楚突厥人對五原郡的野心，他雖說有心想為大隋守住河套之地，但奈何周圍的郭子和、劉武周和梁師都等人先后投靠了突厥人，就連李淵都跟突厥人有些不清不楚。
張長遜自知獨木難支，最終也只能跟著他們幾人后面投靠了突厥人，還被始畢可汗封為割利特勤。
雖然被迫投靠了突厥人，但張長遜卻一直沒忘記自已漢人的身份，一直在找機會帶著五原郡的百姓擺脫突厥人的統治，重新回歸中原王朝。
因此，當突厥人兩次要對同為漢人的李淵不利時，張長遜都選擇出手拉了李淵一把。
李淵似乎也記著他的這份恩情，一在長安稱帝便立即下旨封他為豐州總管、光祿大夫和巴國公。
可張長遜牢記著自已隋臣的身份，根本不接受李淵的冊封。
他也知道李淵不放心自已，為了保全自已和五原郡的百姓，他便主動將兒子張孝謨送去長安做了人質。
可他也沒想到自已剛把兒子送去長安不久，看似強大的東突厥人就敗給了秦昇，自此一蹶不振。