公元３０８年，晉懷帝任命劉琨做并州刺史。那時(shí)候，并州被匈奴兵搶奪殺掠，百姓到處逃亡。劉琨招募了一千多個(gè)兵士，冒著千難萬(wàn)險(xiǎn)，轉(zhuǎn)戰(zhàn)到了并州的晉陽(yáng)（今山西太原市西南）。

　　晉陽(yáng)城里，房屋被焚毀，滿地長(zhǎng)著荊棘，到處是一片荒涼。偶然見到一些留下來(lái)的百姓，已經(jīng)餓得不像樣子了。

　　劉琨看到這種情況，心里很難過。他命令兵士砍掉荊棘，掩埋尸體，重新把房屋城池都修復(fù)起來(lái)。他親自率領(lǐng)兵士守城，防備匈奴兵的襲擊。他還采取計(jì)策，讓匈奴的各部落互相猜疑。后來(lái)，有一萬(wàn)多個(gè)匈奴人投降了劉琨，連漢主劉淵也害怕了，不敢侵犯。

　　劉琨把流亡的百姓都召回來(lái)耕種荒地。不到一年時(shí)間，到處可以聽到雞鳴狗叫的聲音，晉陽(yáng)城漸漸恢復(fù)了繁榮的景象。

　　劉聰攻破洛陽(yáng)之后，西晉在北方的兵力大多被打散了，只有劉琨還在并州一帶堅(jiān)持戰(zhàn)斗。晉愍帝在長(zhǎng)安即位后，派人封劉琨為大將軍，要他統(tǒng)率并州的軍事。

　　那時(shí)候，漢國(guó)大將石勒，占據(jù)了襄國(guó)（在今河北邢臺(tái)西南），集結(jié)了幾十萬(wàn)大軍，想奪取并州。劉琨南面有劉聰，北面有石勒，前后受敵，處境困難到了極點(diǎn)�？墒莿㈢麤]有害怕，沒有退縮。他在給晉愍帝的一份奏章里說：“臣跟劉聰、石勒，勢(shì)不兩立。如果不討平他們，臣決不回朝。”

　　據(jù)說，劉琨在晉陽(yáng)的時(shí)候，有一次，晉陽(yáng)被匈奴的騎兵層層包圍。晉陽(yáng)城里兵力太少，沒有力量打退敵人。大家都感到驚慌，劉琨卻仍然泰然自若。到了傍晚，他登上城樓，在月光下放聲長(zhǎng)嘯，聲調(diào)悲壯。匈奴的騎兵聽了，都隨著嘯聲嘆息。半夜里，劉琨又叫人用胡笳（一種樂器）吹起匈奴人的曲調(diào)，勾起了匈奴騎兵對(duì)家鄉(xiāng)的懷念，傷感得流下眼淚。天快亮的時(shí)候，城頭的笳聲又響了起來(lái)，匈奴兵竟自動(dòng)跑散了。

　　后來(lái)，劉琨聯(lián)絡(luò)鮮卑族首領(lǐng)一起進(jìn)攻劉聰，沒有成功。接著，石勒進(jìn)攻樂平（今山西昔陽(yáng)西南），劉琨派兵去救，被石勒預(yù)先埋伏好的精兵打得幾乎全軍覆沒。正在這個(gè)時(shí)候，又傳來(lái)了長(zhǎng)安被劉聰攻陷的消息。到了這步田地，盡管劉琨怎樣頑強(qiáng)，也沒法保住并州，只好率領(lǐng)殘兵投奔幽州去了。