曾祖父：黄香，字，官至尚书令，为中国古代著名孝子。[1]
祖父：黄琼，字世英，官至太尉。封邟乡侯。[1]
父亲：不详，早卒。
妻子：来氏，司空来艳之女，董卓之乱后带着弟弟来敏投奔荆州、益州。
儿子：黄奎（正史并无记载，只在《三国演义》中出现）