Sheng Zhongguo teve 11 irmãos, 9 deles são violinistas, um caso muito raro no campo internacional da música. Ele começou a aprender a tocar o violino aos cinco anos e, dois anos depois, já fazia apresentações ao público. Ao completar 9 anos, a Rádio Popular de Wuhan, capital da província de Hubei, gravou a execução de Sheng de obras de Mozart, Beethoven e Schubert. As gravações foram transmitidas por todo o país, encantando a audiência nacional. Isso ocorreu precisamente em 1949, ano em que foi fundada a República Popular da China.
Em 1954, o artista ingressou na Escola Secundária do Conservatório Central de Música, de onde foi enviado para se aperfeiçoar no Conservatório de Música de Moscou. Lá, aprendeu com o famoso maestro de violino Leonid Kogan. Em 1962, Sheng Zhonguo ganhou o primeiro prêmio no Concurso Tchaikovski Internacional de Música. Com isso, se tornou o primeiro violinista a vencer um prêmio internacional tão importante de música.
Em 1963, fez seu primeiro concerto de violino acompanhado da Orquestra Sinfônica de Shanghai. Depois de regressar para a terra natal, em 1964, se tornou solista da Orquestra Central da China. Em 1979, Sheng executou, junto com Menuhin, outro grande gênio do violino, o "concerto para os violinos", do grande Juan Sebastian Bach. Na ocasião, Menuhin o elogiou e disse que em toda a China, não havia outro acompanhante melhor que Sheng. Em 1990, como parte de intercâmbios culturais entre China e Austrália, Sheng ofereceu 15 concertos em seis cidades australianas, cinco deles, no famoso Teatro de Ópera de Sidney.
Desde 1987, Sheng Zhongguo faz concertos anuais no Japão, sempre no outono. No país foi fundada uma associação de admiradores do artista, chamada de "Uma ponte da Amizade Sino-Japonesa". O governo japonês lhe concedeu o título de "embaixador cultural". Nos últimos anos, Sheng Zhongguo chegou a ser o violinista com o maior número de discos gravados. Além das apresentações, também participou de muitos eventos como jurado de concursos de violino.
Com seu desempenho extraordinário no violino, Sheng Zhongguo é conhecido como "músico eminente", "violinista mais encantador" e "Menuhin da China". Ao falar sobre o processo de aprendizagem dos jovens violinistas chineses, o artista disse que aprender a tocar o violino é aprender a se conhecer como pessoa e um violinista deve ter uma moral muito alta e a capacidade de resistir à violência.