そこは革命前のロシア。ウクライナの寒村アナテフカでは、多くのロシア人のほかに、細々とだがユダヤ人たちも元気に楽しく生活している。
　彼らは伝統的な『しきたり』をしっかり守ることにより、周りのロシア人たちとも大きな争いを起こすことなく、何世代もうまくやってきた。こんな彼らには、危ない屋根の上で生活しているようなものだと、『屋根の上のヴァイオリン弾き』の名がつけられた。

　さて、そこに住む牛乳屋さんの「テヴィエ」という男が主人公。彼には妻の「ゴールデ」との間に五人の娘がいて、それはそれは暮らしも大変だけれども『しきたり』をしっかり守って生活している。
　ところが、娘たちが結婚相手を選んでゆくにあたって、その『しきたり』は徐々に破られていく。長女の「ツァイテル」、次女の「ホーデル」までは、迷いに迷ったあげく許せたテヴィエだったが、三人目の「チャバ」がロシア人を相手に選ぼうとしたとき、ついに許すことができず、テヴィエはチャバを勘当してしまう。
　時代は変わっていく……。それでも『しきたり』は守るべきか？ しきたりを破ることは、民族と信仰を裏切ることになるのでは……、テヴィエは思い悩む。

　しかし残酷にも、アナテフカの『しきたり』を守ってきたユダヤ人も、ロシア皇帝からの追放令を受ける日がついに来てしまう……。