Nasceu em Shunjun, Chengdu, no distrito de Shu (atualmente província de Sichuan), na época de Wudi da dinastia Han.

Sobre o seu nome conta-se uma anedota: chamava-se Cão (Quanzi), nome dado frequentemente às crianças das aldeias e que ele achava pouco bonito. Por esse motivo mudou-o para Sima Xiangru, nome de um herói que ele muito admirava em virtude de, na época dos Reinos Combatentes, ter feito devolver ao Reino Zhao uma peça de jade.

Começou por desempenhar funções oficiais como mandarim de escalão inferior na corte do imperador Jing da dinastia Han (Jingdi), mas não ficou muito satisfeito com o cargo que mais tarde deixaria, fingindo estar doente. Emigrou então para o Reino Liang onde, com grande prazer, se acolhiam poetas e letrados.

Após a morte do rei Liang, voltou à sua terra natal, Shunjun. Na festa do prefeito do distrito, a que o poeta participou, encontrou a bonita e rica viúva Zhuo Wenjun que era, ela também, uma poetisa de talento. Foi amor à primeira vista e Sima Xiangru pediu-lhe em casamento, tocando, na sua guitarra, a canção Feng Qiu Huang (A fénix macho pede em casamento a fénix fêmea). A bonita e rica viúva aceitou o seu amor e o seu romance é conhecido na China inteira.

Fu (Prosa Ritmada)

Com seda autêntica se compõe o poema,

E com garantia é exposto o brocado.

Cada urdidura, cada trama,

Cada mandarim, cada comerciante,

Tais os traços da prosa ritmada.

O pensamento do poeta de prosa ritmada

Abarca o universo,

Tudo observa nas personagens,

Isto só pode ser obtido através do interior,

Nunca obtido segundo a tradição.