环境因素也在乳腺癌的发展过程中起作用。环境因素包括任何非遗传的或先天因素，包括女性的饮食、生活、学习的方式，以及暴露于致癌物质。
全世界不同地区乳腺癌发生率不同，说明环境因素的确会影响癌症风险。亚洲和非洲的乳腺癌发生率低于北美。但到美国的亚洲女性，生活几代后，后代的乳腺癌发生率接近美国的发生率。另外，随着日本人生活方式日益西化，日本女性乳腺癌的发生率也逐渐上升。
不幸的是，确定哪种环境因素导致乳腺癌的发生和影响到什么程度，并不是件容易的事。至今，科学家都没有发现特定环境因素与乳腺癌风险的关系。除此之外，把环境因素和女性对其的易感性分类是不太可能的事。比如说，乳腺癌在某些职业的发生率高，但这也许是因为她们本身晚孕或不孕导致，而不是与工作本身有关。
当然，研究人员也已确认了一些生活方式和环境因素会明显影响女性发生乳腺癌。包括：
1.久坐的生活方式。一些数据表明体质懒散的女性患乳腺癌的风险略高。
2.过量饮酒。研究显示每日摄取超过1杯酒精饮料的女性患乳腺癌的风险高于每日饮酒少于1杯的女性。
3.超重。超重或肥胖被证实会增加更年期后乳腺癌的发生风险。
4.射线暴露。暴露于足够多X线下的女性——例如接受霍奇金淋巴瘤胸部淋巴结放射治疗的女性——患乳腺癌风险增加。增加乳腺癌风险所需的照射剂量远高于每年一次的钼靶检查。
研究人员还在研究杀虫剂、污染或工作中暴露于危险物质是否会促使乳腺癌发生，但目前多数证据还是不确定的。
另外，乳腺癌也是老年病，年龄的增加是影响乳腺癌发生的主要因素。比起100年前，疾病更加普遍的一个原因是，女性的寿命增长了近两倍。30岁以下的女性，乳腺癌不是常见疾病，但随着年龄的增长，患乳腺癌的风险会增加。75%的乳腺癌发生于50岁以上的女性人群。
