「少子化」は、経済成長にマイナス要因ではあるけれど、「だから成長できない」という考え方はばかげています。日本以上に急ピッチで少子化・高齢化が進んでいる韓国、台湾をみてください。普通に経済成長しています。これほどまでに明らかな反例はないのではないでしょうか。また、世界的にも今後30年は、最貧国を除くと、ほとんどの国と地域での人口減少が予想されていることも忘れてはなりません。
もちろん人口の減少は経済にとって望ましいことではありません。ですが、GDPに与える影響は、ピーク時で人口の減少率が年1パーセント弱くらい。普通に経済成長をしていれば2～3パーセント伸びます（『経済成長って何で必要なんだろう？』などを参照）。ですから、成長が1～2パーセントになるかもしれない、それだけの話です。
しかも日本の場合、女性と高齢者の労働参加率が非常に低いので、それを使いながらだったら、足かせは1％ではなくて、0.5％減まで抑えられるかもしれません。
ーー
そうなんだな。成長しないことの後付の理由として利用されている感じはする。