1974年，港督麦理浩设立廉政公署，着手查处警界腐败分子，结果一查几乎人人有事。与吕乐同时并称的“四大华人探长”，后来都称为香港廉政公署通缉的要犯。2009年王晶拍了部《金钱帝国》，就是说的这段故事，里面的探长“乐哥”就是吕乐。不过吕乐后来安全下庄，先去加拿大，后去台湾，安度晚年。 吕乐跟向家是亲戚关系，向华炎的岳父吕六，是吕乐的叔父，向家和吕家互认世交。
