1900年5月5日，何作霖出生于河北省蠡县小汪村一个书香门弟之家，童年时代的何作霖是在乡村度过的，接受的是私塾教育。父亲何诸昌是前清秀才，曾在保定天津一带教书。1914年何作霖考入保定育德中学，1918年毕业典礼上，王国光校长鼓励学生要富国强兵，惟有开发地下资源才是根本办法。在这种思想影响下，他投考了天津北洋大学采矿系。时值五四运动，北京大学工科并入北洋大学。当时的北洋大学爱国运动很活跃。学生运动失败后，何作霖即随采矿系的大部分学生转入北京大学地质系，师从李四光、丁西林。大学期间，因肺病休学两年，1926年毕业。

在北大地质系学习期间，他勤奋好学，聪颖过人，学业优异，深受当时在北大任教的我国著名地质学家李四光的器重。以后的半个世纪中，他们师生之间的友谊极为深厚。他的一生备受李四光的关怀，他的科学研究和生活道路受到李四光的深刻影响。

北大毕业后，何作霖应河北大学之聘，在该校地矿系任教，讲授测量学和地质学。1928年北伐军开入冀南，河北大学受军阀褚玉璞操纵，全体教职员奋起反抗，赶走了校长，学校停顿。何作霖应李四光之邀南下，在前中央研究院地质研究所任助理研究员，从此走上了专心研究的道路。

1930年何作霖因劳累过度，肺病复发，因上海气候不宜，奉派赴北平研究院的地质调查所工作（编制仍在中央研究院地质研究所），1932年晋升为研究员，并任北京大学地质系兼职讲师。在此期间，他在岩石矿物学的各个领域展开了深入细致的科研工作并撰写专著。

1927年，地质学家丁道衡随中国西北科学考察团在绥远省达尔罕旗(今内蒙古包头市达尔罕茂明安联合旗百灵庙以西40公里)发现白云鄂博铁矿。1933年结束考察返回北京的丁道衡深知何作霖在偏光显微镜方面有深厚的功底，便委托他对白云鄂博矿石进行研究。

何作霖详细研究了丁道衡采集到的十几箱标本，用当时仅有的仪器偏光显微镜，把这些矿石标本制成薄片，放在显微镜下逐一观察。忽然，一种奇怪的现象引起了他的注意：白云鄂博的铁矿石里有一种矿物叫萤石，这个萤石是紫色的，有些地方的紫色会有一些褪色的小白点。他发现这个白点里头还有个东西，他认为褪色是这个白点造成的。于是他就注意盯着那里头的东西，把里头的仅有0.1毫米的一个小颗粒给抠出来，成就了他惊世发现：两种细小的新奇矿物。当时定名为白云矿和鄂博矿（后来证明是独居石和氟碳钙锦矿），并经中央研究院物理研究所光谱分析，证明是稀土矿物。他大胆地预测该矿稀土元素储量丰富，并最终得出结论：白云鄂博的矿石里含有极为珍贵的稀土元素，他将这两种稀土元素命名为“白云矿”和“鄂博矿”。1935年，《中国地质学会会志》第14卷第2期刊登了何作霖编著的《绥远白云鄂博稀土类矿物的初步研究》(英文)，第一个向世界宣告：白云鄂博矿物中存在稀土矿物。文中说，他发现了“两种目前设想是稀土元素来源的极细的、异常的矿物”，“这两种矿物建议分别以‘白云矿’和‘鄂博矿’暂时予以命名。”

1937年北京大学迁校时，何作霖得到中华文化基金会补助留学的机会，于1938年5月赴奥地利茵斯布鲁克大学岩石矿物系，师从著名岩石组构学家Ｂ·桑德尔（Sander）学习，并在Ｂ·桑德尔的指导下攻读岩组学，他的才能很快显露出来，深受赏识。1940年获理学博士学位。后进德国莱比锡大学，师从著名晶体学家施博特(Schieboed)学习结晶构造学。随即在德国莱比锡大学任研究员，从事Ｘ射线结晶学的研究。由于第二次世界大战爆发，学习中辍，于1940年6月返国，他拟乘船赴越南海防，转道桂林中央研究院地质研究所就职。途中，日军占领海防，只得折回上海。根据中央研究院指示在沪前北平研究院的镭学研究所工作。1941年12月，太平洋战争爆发。上海“孤岛”不复存在，镭学研究所关闭，他潜回北平，闭门写作。为生计所迫，1943年在北京大学及北京师范大学任地质学教授。1945年抗战胜利后，北京大学、北京师范大学，整编为北平临时大学，他任地质系系主任。1946年经李四光推荐，到山东大学（在青岛）筹建地矿系，任系主任、教授，并参加“世界科学社”，任该社《科学时报》的特约编辑，直到1952年为止。

新中国成立后，何作霖任山东大学教务长兼地矿系主任。1952年，再次应李四光的邀请回到中国科学院地质研究所工作，任特级研究员、矿物室主任。1955年成为中国科学院地学部学部委员。

何作霖在岩石矿物学的若干领域中都有独到的创见，是我国最早的光性矿物学家，著有《费氏旋转台使用说明》、《光性矿物学》、《薄片下矿物鉴定指南》等专著。在岩石组构学方面，何作霖的贡献更为国内外学者所公认。他首先发现了几种岩石组构的新类型，并亲自设计和制造了X线岩石组构照相机。这一机械是世界上此类型仪器中最早的一种。1947年他的《X线岩石组构分析》一书出版后，便享誉国际。他在1955年出版的专著《结晶体构造学》，超越了他的导师施博特的成就。他还著有《岩石制片术》、《赤平极射投影在地质学中的应用》、《透明矿物薄片鉴定指南》等。

当年，丁道衡指出白云鄂博矿是中国的“大富矿”时，地质界却是持怀疑态度的。直到中华人民共和国成立后，要建设包钢，白云鄂博矿山的地质勘探工作大规模开展起来。1958年中国科学院与苏联科学院组成联合考察队，研究白云鄂博矿的物质组成，何作霖被任命为中方队长，在他的领导下，经过几年的艰苦努力，终于查明，这个矿山不仅仅是大型铁矿，而且是世界上最大的稀土矿，稀土储量占世界总储量的1/3。其矿物组成超过150种，可称世界之最。1959年又发现其中含有大量的铌和钽，证明这个矿为一大型的铌钽矿床，使中国成为世界上绝对的“稀土大国”。

新中国成立初期，国家十分缺乏地质人员，尤其是岩矿鉴定人才，何作霖急国家之所急，为我国培养了一大批岩矿鉴定工作者，他们后来大多成为地质、冶金、轻工、化工等部门的业务骨干力量。在从事科研工作的同时，何作霖多年来一直从事教学工作。在我国第一个五年计划期间，国家开发矿业，最缺乏的就是岩矿鉴定人才。何作霖承担了地质部为此连续举办的训练班的教学任务。这些训练班毕业的学生，奔赴祖国各地，构成了我国岩矿鉴定的基本队伍。邢台地震以后，应李四光之请，何作霖又到地质部力学研究所授课。此外，他还参加了我国鞍山、武汉、包头等大型钢铁企业的技术研究工作，从事了镁质及铬镁耐火材料、平炉炉底砖、炉渣等方面的研究。在岩石工艺学方面，他亦有独到的贡献。然而，何作霖一生中的重大贡献之一，是他首次发现白云鄂博矿物中含有两种稀土元素。他是我国最早的为数极少的稀有元素矿物学家之一。

1967年11月15日早晨，何作霖突然剧烈咳血，经抢救无效，于16日夜晚逝世，享年67岁。