是的，不退赃退赔会影响减刑。根据我国《刑法》的相关规定，犯罪分子退赃退赔是减刑的必要条件之一，只有犯罪分子主动退赃退赔，才能体现出其悔罪、赎罪的诚意，法院在量刑时才会考虑给予其减刑。如果不退赃退赔，则意味着犯罪分子没有悔改之意，法院在量刑时就不会考虑给予其减刑。