藤原不比等生于齐明天皇五年（即公元659年，亦有说法认为他生于658年）。由于父亲镰足对子女教育非常重视，因此不比等在年纪还很小的时候就被送到了山科的学问大家——田边家接受英才教育。镰足死的时候（669），不比等才刚满10岁，唯一的哥哥贞慧在四年前就已过世。年幼失怙的不比等饱尝了世态的炎凉，好在天智天皇看在故人的份上，没有冷落不比等。但好景不长，三年之后天智天皇也驾鹤西去，不久之后便爆发了壬申之乱，不比等幸因年幼而得以身免于乱。壬申之乱的胜利者、当年的大海人皇子即位为天武天皇后，对近江方的旧臣们自然没有好脸色；惟独因为镰足曾经对大海人皇子有恩，因此天武天皇及之后的持统天皇（天武天皇之妻）对不比等颇多照拂。

　　不比等20多岁的时候，娶了齐明、天智两朝的右大臣苏我连子的女儿娼子为妻。娼子先后为不比等生下了武智麻吕、房前和宇合三个儿子；另外，不比等还与贺茂比卖的女儿贺茂嫒生下宫子（文武天皇的皇后）、长峨子（左大臣长屋王的妾室）等女儿。

　　持统三年（689），不比等被授予判事之职，这是直广肆（相当于后来的从五位下）的高位。自此，不比等开始涉足政治舞台。同年，一向与不比等交好的草壁皇太子在临终前，将自己的佩刀赠给不比等，并把自己的儿子——轻皇子也托付给了他。持统九年，不比等与异母妹妹、曾为天武天皇生下新田部皇子的五百重娘生下他的第四个儿子麻吕。持统十一年，轻皇子如愿即位，是为文武天皇。在这事上出了不少力的不比等立刻得到了回报——女儿宫子入宫成为文武天皇的皇后。次年，不比等正式继承了藤原这一姓氏。文武天皇四年（700），不比等续娶了县犬养三千代为妻（三千代原来是美努王的妻子）。由于三千代曾是文武天皇的乳母，而且与持统上皇的关系也十分密切，因此不比等从三千代那里得到了相当多的有价值的情报，对不比等揣摩文武天皇及持统上皇的意图十分有助益。

　　文武天皇五年，由不比等辅佐刑部亲王以《飞鸟净御原律令》为基础编纂而成的《大宝律令》完成（次年正式发布）。这部著名的法典计有律六卷、令十一卷；它的制定，标志着日本封建制度的确立。不比等因功从中纳言迁为正三位大纳言。同年，宫子为文武天皇生下了首皇子（即后来的圣武天皇），而不比等也与三千代生下了安宿嫒（后来成为圣武天皇的皇后）。

　　庆云四年（707），文武天皇驾崩，接下来继承了皇位的是文武天皇的母亲、47岁的皇太后，即元明天皇。和铜元年（708），不比等叙正二位，迁为右大臣。此时官位在不比等之上的仅有年已68岁的正二位左大臣石上麻吕；而不比等才刚到50岁，正是在政治舞台上翻云覆雨的好年纪。

　　和铜三年三月，不比等主持了平城京迁都的工作，并开始在大和国的平城宫建造后来成为新京四大寺之一的兴福寺，日本从此进入了经济繁荣、文化发展、社会安定的奈良时代。

　　作为首皇子的外祖父，不比等自然希望首皇子能顺利继位。和铜六年，文武天皇的两位嫔妃——纪灶门娘及曾生下广成、广世两位皇子的石川刀子娘突然被剥夺了嫔号，这自然是不比等和三千代的阴谋。排除了皇位的仅有两个竞争者之后，和铜八年，15岁的首皇子自然而然地被立为太子；但由于首皇子还过于年轻，对政事已感厌倦的元明天皇将皇位传给了文武天皇的姐姐冰高内亲王，是为元正天皇。

　　和铜九年，不比等与三千代所生的安宿嫒被立为太子妃，并于两年后生下了阿倍内亲王（即后来的孝谦、称德天皇）。

　　养老二年（718），不比等亲自主持编纂了《养老律令》。《养老律令》是在《大宝律令》的原有基础上，参照唐的《永徽令》撰定而成的，共有令、律各十卷，其内容深受中国唐初的“宽仁治天下”、“用刑尤慎”的思想影响，但直到天平宝字元年（757）《养老律令》才正式实施。因为不比等的功劳，元正天皇封其为太政大臣，但不比等固辞不受，仍为右大臣。

　　一直盼着能亲眼见到首皇子正式登基的不比等终究还是没有等到那一天。养老四年，不比等病倒了。八月一日，不比等的病势越发沉重，元正天皇大赦天下并“令都下四十八寺一日一夜读药师经，免官户十一人为良，除奴婢十人从官户”。然而这一切努力还是没能挽回不比等的生命。八月三日，不比等病故，时年61岁。十月八日，按照其生前的遗愿，不比等被火葬于佐保山。十月十日，元正天皇派正三位大纳言长屋王、正四位下中纳言大伴宿祢旅人到不比等的府邸宣读诏书，追赠不比等正一位太政大臣，赠谥文忠公。天平宝字四年（760），由于其外戚的身份及功绩，不比等再被追封为淡海公。

　　藤原不比等对日本历史的作用或许没有他的父亲藤原镰足那么大，他的主要贡献在于先后参与及主持了两部律令的编纂撰定工作；但对于在政治舞台上呼风唤雨的藤原氏一族来说，不比等的影响却远大于镰足。从不比等起，外戚势力开始严重影响日本的朝政；藤原不比等的四个儿子继承了他的事业，并将藤原一族分成南家、北家、式家和京家四支，为藤原一族最终独揽朝政奠定了基础。