不安はありませんよ。同じような境遇ですね。自分も15年以上乗った1.8Lのオルティアから、この8月にフィット 1.3Gに乗り換えました。室内は必要にして充分、トランク容量は小さくなりましたが、後部席の利用機会が減った今ではパタンと背もたれを倒してしまえばむしろセダンよりも自由な空間ができます。5kg全自動洗濯機を運ばなければならない時があり、立てたまま積載できた時は軽トラやワンボックスを借りなくては…の不安が一気に解消され、むしろ感動ものでした。走りはさすがに2.0Lクラスと比較すると非力に感じることはありますが、カッ飛ばす年齢でもなくなった＆環境にそして財布にもやさしい低燃費ということで満足しています。バックモニタ−やUVガラスなどの装備のおかげで妻も安心して運転できると喜んでいます。コンパクトになっても不自由さは感じません。強いて不満を挙げるなら、みんな乗っているということです。街に出て一日何台見かけることか…。でもエアロなどのオプション装備も充実しているので、自分なりのクルマにオシャレにアレンジしてみるのも楽しいですよ。ひょっとしたらまたお子さんと乗る機会が増えるかも知れませんね。

以前は超有名な2Lのツーリングワゴンに乗っていました。でも実際に5人乗ったのは数えるほど。2名乗車が殆どで多いときでも3人でした。税金その他を考え、軽自動車に一気にダウンサイジングしましたが、燃費のよさだけでなく、2L車と比べると道路を広く使え、駐車場も隣の車や後ろを気にせず止められるので、まるで運転が上手になったかのようです。
不安があるなら一度じっくり試乗してみてはどうでしょうか？
事前に申し込んでおけば半日くらいは借りられるところも多いと思います。
普段乗ってる道を走ることで景色や使い勝手もわかると思います。

ダウンサイジングはコストダウンという消極的なものではなく、環境負荷や自分の運転負荷軽減などもあると思いますよ。

近所のスーパーやコンビニに行くなど、毎日の使い勝手は圧倒的に良くなりますね。
室内の広さなら、軽自動車でも十分な広さは有りますし、フィットならば高速での遠出でも十分な走行性能が有ると思います。