Für selbst-installierte Software gilt immer noch der Grundsatz: Tue alles nötige, um dir PaketDateien zu besorgen (suche z.B. über Google) oder selber zu bauen. Der Aufwand lohnt sich, vor allem, wenn du das Programm auf mehreren Rechnern benötigst.
Man verliert nämlich ansonsten ziemlich schnell die Übersicht, welches make install welche Files wohin kopiert hat, wenn man nicht ausschließlich RPMs oder DEBs (also Pakete) installiert (die dann ja zentral verwaltet werden, und die man auch in jedem Fall vorziehen sollte, wenn man die Wahl hat).
Manchmal geht auch "make uninstall" vernünftig - aber halt nur manchmal.
Man kann deswegen auch ganz einfach CheckInstall oder zumindest Installwatch benutzen. Installwatch überwacht den Installationsprozess (wird auch von CheckInstall benutzt).
Eine Alternative für ein sauberes Entfernen selbst kompilierter Software ist auch GNU Stow.