Cuando he realizado la instalación de servidores con CentOS instalado, una de las cosas que casi siempre me solicitan es que haga la instalación de las herramientas de desarrollo (gcc, make, perl, gdb etc).
Si en la instalación no se marco esta opción, se puede hacer posteriormente con Yum de un solo golpe:

yum groupinstall ‘Development Tools’ -y