がん検診対象者全員に送らないといけないのでしょうか？

がん検診対象者全員に配布する必要はありません。各自治体の予算に合わせて優先順位をつけて対象者を限定して送付してください。
リコール用として使用される場合は、例えば下記のような対象者です。
「今年度、肺がん検診未受診の50代男性」
「２年連続で肺がん検診を受けていない女性」
「転入等で新たに市区町村の肺がん検診の対象になった男女」
「特定健診受診者で肺がん検診を受けていない男女」
よろしければ下記もご参照ください。

https://www.mhlw.go.jp/file/06-Seisakujouhou-10900000-Kenkoukyoku/handbook_tanP_180113.pdf

ただし、指針に沿ったがん死亡の減少に資する検診の受診率向上を目的としているため、厚生労働省の指針（がん予防重点健康教育及びがん検診実施のための指針）に沿わない形での対象者のご変更は、ご容赦ください。