Perro Fantasma se ve a sí mismo como un criado de Louie, un mafioso local, que salvó la vida de Perro Fantasma años antes. Mientras vive como sicario de la mafia americana, se adhiere al código de los samuráis, e interpreta y aplica la sabiduría del Hagakure.

Louie le dice a Ghost Dog que mate a un gángster, Handsome Frank, que se acuesta con la hija del jefe de la mafia local, Vargo. Ghost Dog llega y mata al gángster, antes de ver que la chica también está en la habitación; la deja viva. Para evitar verse implicados en el asesinato de un hombre hecho, Vargo y su socio Sonny Valerio deciden deshacerse de Ghost Dog. Louie no sabe prácticamente nada de Ghost Dog, ya que el sicario sólo se comunica mediante una paloma mensajera. Los mafiosos empiezan por rastrear todos los palomares de la ciudad. Encuentran la cabaña de Ghost Dog en lo alto de un edificio y matan a sus palomas. Perro Fantasma se da cuenta de que debe matar a Vargo y a sus hombres o ellos lo matarán a él y a su amo.

Durante el día, Perro Fantasma visita con frecuencia el parque para ver a su mejor amigo, un heladero francófono llamado Raymond. Ghost Dog no entiende el francés y Raymond no entiende el inglés, pero ambos parecen conectar entre sí. Ghost Dog también se hace amigo de una niña llamada Pearline, a la que le presta el libro Rashōmon.

Finalmente, Perro Fantasma invade la mansión de Vargo y mata a casi todos sin ayuda, salvando sólo a Louie y a la hija de Vargo. Esa noche, Ghost Dog mata a Sonny Valerio en su casa disparándole a través de una tubería. Ghost Dog espera que Louie le ataque (ya que considera que Louie está obligado a vengar el asesinato de su jefe, Vargo). Va al parque y le da a Raymond todo su dinero, ayudándole a quedarse en el país. Pearline aparece y devuelve el Rashōmon a Ghost Dog, diciendo que le ha gustado. Ghost Dog le da a Pearline su copia de Hagakure y la anima a leerlo.

Aunque Louie siente cierta lealtad hacia Ghost Dog, finalmente se enfrenta a él en el puesto de helados de Raymond, con Raymond y Pearline mirando. Ghost Dog no está dispuesto a atacar a su amo y permite que Louie lo mate. Su último acto es darle a Louie el ejemplar de Rashōmon y animarle a leerlo. Pearline coge la pistola de Ghost Dog e intenta disparar a Louie mientras huye, pero el arma está vacía. Perro Fantasma muere tranquilamente con Raymond y Pearline a su lado; Louie se sube a un coche con la hija de Vargo (que ahora ha sustituido a su padre como jefe). Más tarde, Pearline lee el Hagakure.