Un fichero core es un volcado del estado de la memoria cuando un programa falla, este se graba en el disco para ayudar al administrador a solucionar el error.

Para averiguar que programa lo ha generado, puedes usar el comando file.

file core.9643
core.9643: ELF 32-bit LSB core file Intel 80386, version 1 (SYSV), SVR4-style, from ‘authpsa’

En el ejemplo, el volcado proviene del ejecutable authpsa