腫瘤形態不一，缺乏規律性結構特征。腫瘤細胞排列成索狀，簇狀或小梁狀，一些腫瘤表現為實性或伴有合體細胞浸潤，且間質少。部分病例腺樣分化明顯，在腫瘤細胞團中可見伴有中央腔隙的小管結構。偶爾可見一些具有單層線狀浸潤或靶環狀結構的區域，但缺乏浸潤性小葉癌的細胞形態特征。腫瘤細胞形狀各異，胞漿豐富，呈嗜酸性，核形規則，大小一致或呈高度多形性，伴有多個核仁且明顯，核分裂象缺乏或廣泛存在。80%以上的病例可見相關導管癌原位病灶（DCIS），通常為粉刺型，組織學分級為高級，其它形式也可見。
有一些病例是非特殊性導管癌的亞型，即浸潤性導管癌伴廣泛的原位癌成分浸潤。腫瘤間質可表現為多種多樣，有的表現為纖維母細胞增生，或結締組織少，或可見明顯的玻璃樣變性。導管周區或血管周圍可見局灶性彈性纖維變性。也可見局灶性壞死，偶爾表現為廣泛性壞死。極少數病例可見淋巴漿細胞浸潤。混合型癌
對于一種腫瘤的診斷，應選有代表性的切片仔細觀察，只有超過50%的腫瘤區表現無特殊性才能診斷為非特殊性導管癌。如果只有10-49%的腫瘤區表現無特殊性，而其余部分表現為已確定的特殊型乳腺癌特征，那么這可能是混合型癌的一種：混合性導管和特殊型癌或混合性導管和小葉癌。除此以外，極少病變會與非特殊性導管癌相混淆。