辛公义，是陇西狄道人。他早年丧父，由母亲抚养，母亲亲自教他读书。北周天和年间，他作为好人家的子弟被选择做太学生，因为勤奋苦读而著名。北周武帝时，辛公义被征召进入露门官学，朝廷让他在官学接受道义。（露门官学的学生）每个月聚集在皇帝前和大儒们谈论道德，辛公义多次被人赞叹，让人感到惊奇。当时的同学们都羡慕他。

辛公义曾参军去平定陈朝，因为有战功，他被任命岷州刺史。当地的风俗害怕生病。如果有一个人得了病，全家就躲避他。就是父子夫妻都不照顾，孝敬仁义的道德断绝了，因此得病的人很多都死了。辛公义为此而忧虑，想要改变这种风俗。就分别派遣官员视察辖区内。凡是（遇到）有得病的，都用床铺抬过来，安置在官署厅堂里。夏天得流行病的时候，病人有时候达到几百人，厅堂的走廊都住满了。辛公义亲自安放了一张床铺，独自坐在病人中间。接连若干个日夜，辛公义面对着病人处理事务。他所得的俸禄，全部用来给病人买药，给他们请医生治疗。他亲自劝他们多吃点东西，于是病人全部都痊愈了。辛公义才把病人的亲人召唤过来，然后告诉他们说：“生死有命，与接触病人无关。你们以前抛弃病人，所以他们死掉了。我今天集合病人，坐卧在他们之间，如果说病会传染，我哪里能不死，病人又好了，你们不要再相信疾病会传染了。”各个病人家的子孙都惭愧地表示感谢，然后回去了。后来有人遇到病人，争着把他们送到刺史那里，病人家没有亲属，辛公义就把收养他们。当地人才互相慈爱，这种抛弃病人的风气就被革除了。岷州全境之内的百姓都叫辛公义为“慈母”。

辛公义后来被调任牟州刺史，到任之后，他先来到监狱中，就在牢房旁的露天里坐着，亲自查问。十几天里，辛公义把案子都判决完了，才回到官署大厅。他接受的新的诉讼案件，都不建立案卷，他派值班的一名副官，坐在旁边审案，如果诉讼不能尽快结案，犯人必须要被关押的，辛公义就住在官署厅堂里，始终不回自己的住所。有人劝他说：“这个案件有个过程，你这个做刺史的为什么要把自己弄得这么辛苦！”辛公义回答说：“我这个做刺史的没有好的德行可以引导人民，还让百姓关在监狱里，难道有把犯人关在监狱里，而我自己能安心的吗？”犯人听到这个话之后，都真心认罪。后来有想要打官司的人，他家乡的父老就晓谕他说：“这因为是小事，你怎么忍心辛苦刺史呢。”打官司的人多半互相退让而停止打官司。

隋文帝仁寿元年，辛公义被征召担任扬州地区的黜陟大使。豫章王杨暕担心他辖区内的官吏犯法，在辛公义还没进入扬州境内的时候，他就预先派人嘱托辛公义。辛公义回答说：“我奉皇帝命令前来，不敢徇私。”等到辛公义来到扬州，（他对犯法的官吏）都没有放纵，杨暕就怀恨于他。等到隋炀帝即位，扬州长史王弘入朝担任黄门侍郎，趁机说辛公的缺点，辛公义最后辞去了官职。