卫玠因王敦豪爽不合群，好居人上，恐怕不是国家的忠臣，于是谋求到建邺（今江苏南京）。
京师的人听说其姿容，看他的人挤成人墙。
卫玠因劳累成疾而加重病情，于永嘉六年（312年）去世，时年二十七岁，当时的人都说卫玠是被看死的。
卫玠死后葬在南昌。
卫玠死时谢鲲哭他很悲痛，有人问他为何如此悲伤，谢鲲回答说栋梁断了，因而悲哀。
咸和年间（326年―334年），卫玠改葬于江宁（今南京）。
丞相王导告论说：“卫洗马确实该改葬。此人是风流名士，海内仰望，可以准备薄祭，来勉励旧日好友。”
后来刘惔、谢尚共同议论朝中人士，有人问杜乂可以和卫玠相比吗？
谢尚说他们二人怎能相比，他们之间的差距容得下几个人。
刘恢又说杜乂是貌清，卫玠是神清。
卫玠就是这样受到有识之士的器重。
当时中兴名士，只有王承和卫玠为当时第一。
.......
我寄相思与明月：我的妈呀，把人看死了？真的牛批！
我那迷人又短命的老祖宗：对啊！卫玠到底有多好看啊？好奇！
江南已逢烟雨：真的好奇！卫玠到底有多帅啊？
雾都不予：我更好奇卫玠的才能有多高？那可是王导啊！