高颎字昭玄，自称是渤海蓓人。父亲高宾，背弃北齐归顺北周，北周大司马独孤信召他做了幕僚，赐他独孤姓氏。高颎少年时聪明敏捷，很有度量胸襟，读了一些史书，特别擅长辞令。当初，在孩童时，家有一棵柳树，有百尺多高，繁茂挺拔如同车盖。乡里的父老说：“这家要出大贵人。”十七岁，周的齐王宇文宪召引他做记室。武帝时，又承袭爵位做了武阳县伯，又被任用为内史上士，不久又升为下大夫。因平定北齐有功，被封为开府。不久随越王宇文盛进攻隰州叛乱的胡人，平定了叛乱。

    高祖主持朝政，早知道高颎精明强干，并且熟习军事，计谋丰富，便想延揽入丞相府。于是派邗国公杨惠传达丞相的意思，高颎领会旨意十分高兴地说：“愿意接受驱使。即使事业不能成功，我也不怕灭族之灾。”于是任丞相府司录。当时长史郑译、司马刘昉都因为奢侈放纵被疏远，高祖愈加看重高颎，把他作为心腹重臣。尉迟迥起兵叛乱，派遣自己的儿子尉迟惇步骑兵八万，进驻武陟。高祖命令韦孝宽攻击叛军，官军到河阳，诸路大军都不敢领先出战。高祖见诸将没有统一指挥，便命令崔仲方前去监军，崔仲方以父亲在山东为由推辞。那时高颎见郑译、刘昉都没有前往前线的意思，便主动请求出行，很合高祖的心意，于是派遣高颎。高颎接受指令立即出发，派人代为辞别母亲，说忠孝不能两全，便感慨叹息着上了路。到军中，在沁水上架桥，贼军在上游放下点着火的小船，高颎预先制作土狗(水中障碍，前锐后广，前高后低，状如坐狗的土墩)以抵御火船。渡过沁水后烧掉桥与叛军背水一战，大败叛军，于是平定了尉迟迥。军队撤回，出席皇帝内室举办的宴会，皇帝竟撤下御帐赏给他。晋位柱国，改封义宁县公，升任丞相府司马，信任倚托的地位更加提高。

    高祖接受周的禅让，高颎拜受尚书仆射，兼任纳言，进封渤海郡公，朝臣中没有谁能比得上他，皇上常常称他为“独孤”而不叫他的名字。高颎很注意避开权力地位，上表章请求辞职，请苏威接替。皇上想成就他让贤的美名，同意他解除仆射的官职。几天后，皇帝说：“苏威在前朝隐居不肯做官，高颎能推举他。我听说推荐贤能的人受上赏，怎么能让他除去官职呢?”于是命令高颎恢复原位，不久又拜高颎为左卫大将军，原来的官职不变。高颎时常坐在朝堂北边的一棵槐树下办公处理政务，那棵树不在行列之内，主事的要砍掉它，皇帝特别指示不要砍，用它昭告后人。高颎被看重到这种程度。因母亲去世而离职，二十天就被命令起身来朝办公。高颎流着眼泪推辞，但皇帝的命令不允许。

    开皇九年，晋王杨广大举讨伐陈国，任命高颎为元帅长史，三军凡有咨询禀告的事，都由高颎决断。等到陈国被平定，凭借功劳加授上柱国，进封爵位齐国公。高颎又提出让位，皇帝下诏说：“先生见识高远，深谋远虑，这就是上天降下优秀的辅臣，赞助我啊，希望你不要再多说了。”他被褒奖到这种地步。

    这以后右卫将军庞晃和将军卢贲等，先后在皇上面前诋毁高颎。皇上很生气，这些诋毁的人都遭罢黜。皇上借机对高颎说：“独孤先生就像一面镜子，经常被磨擦，却更加明亮。”不久，尚书都事姜晔、楚州行参军李君才一起上奏称风雨不调，发生水灾旱灾，罪过都是因为高颎，请求罢免他。二人都因得罪而被罢黜，皇上与高颎关系更加亲密。皇上曾随意让高颎和贺若弼谈论平定陈国的事，高颎说：“贺若弼先献十个计策，后又于蒋山苦战击败贼军。我只是文臣，怎么敢跟大将军争功呢?”皇帝大笑，当时大家都夸奖高颎有谦让之礼。