日本園林植物配置有一個突出特點，即，同一園內的植物品種不多，常常是以一二種植物作爲主景植物，再選用另一二種植物作爲點景植物，層次清楚、形式簡潔而美觀。所以，當人們從高處鳥瞰園林時，可能會看到整片庭園樹林中所植均爲松樹。而透過類型較少的幾種植物的配置(例如用一棵鬆再加上幾叢杜鵑)，卻能夠形成豐富多變、構圖均衡的各種空間。而對於空間的認識更多地體現於對園內植物的複雜多樣的修整技藝中。例如，有的植物修整旨在展開樹木，使其枝幹間的空間層次分明，不僅可強化枝幹的自然形態，還可突出空間自身。
常綠植物
在日本園林中，最基本的植物是常綠樹木，它們與山石、水體一起被稱爲最主要的造園材料。在日本傳統造園家眼中，一座園林的四分之三都應由植物、山石和水體構成。常綠植物不僅可以經年保持園林風貌，也爲色澤淺亮的觀花或色葉植物提供了一道天然背景。不過，以常綠植物爲主構園林並不一定色彩單調，它們的綠色也有從黃綠到藍綠甚至墨綠色的區別。此外，有些常綠植物在春季還會長出淺綠色的針葉和球果，有些則在秋季結紅色或藍色的漿果，從而使園林色彩更爲豐富。
鬆：在大多數日本園林中，最流行的常綠植物是日本黑松，它也是多數日本人認爲最好的樹木。黑松是多風的日本島沿海地區的鄉土樹種。在幼年時，大多數松枝的排列都有如車輪輻條一般，從樹幹向外輻射開去。當一棵松樹長成後，因風、雪、病蟲害侵襲或日照不足，每列樹枝中的弱枝都會折斷或死去，這樣，這株樹就逐漸脫離了原有的完整形態，而是長成飽經風霜的非對稱形，黑松有着堅硬的、深綠色的針形葉，深裂的黑色樹皮和無畏、極不規則生長的習性。在日本人看來，正是這樣的個性才使黑松具有多折角、男性化的外部形態。所以，在傳統的日本園林設計中，黑松常常是作爲一座枯山水庭園或一處池泉庭園的中心焦點，它往往被置於一個半島上，曲曲折折的枝幹便懸垂於水面之上，形成一幅優美的畫面。
另一種深受日本民衆喜愛的植物是日本紅松。和黑松一樣，紅松之名也來自它的樹皮顏色，即一種黯淡的橙紅色。與黑松相比，紅松顯得較爲纖細、柔美，也較難生長，所以它被認爲是一種女性化的樹種，常常被用作男性化的黑松的從屬樹。在日本傳統園林中，這兩種松樹被一齊種植於池泉邊緣。有的紅松變種體態低於平而伸展，造型更加優美。在自然狀態下，紅松可生長至3米高，但經修剪後，它可以保持較低的體量，其高度與寬度幾近相同。
日本雪松：除松樹以外，日本雪松也是傳統日本園林中的主要樹種。這種高挺的錐形樹不僅可提供寶貴的帶有香味的木材，它還有一些適於園林造景需求的小體量的變種。這種變種雪松有着細小、濃密的藍綠色針葉，它們可被修整爲裝飾性的圓球形狀，而且在冬季，如各方面條件適合，其樹葉也會變爲青銅綠色。 日本花柏：日本花柏具有與雪松相似的形態，但葉片不同。兩者的樹冠都是圓錐形，常見品種均會生長至相當高度，但也均有相當數量的低矮形變種。花柏的葉呈鱗狀，枝葉纖細優美，可產生動人的光影效果。花柏的有些變種僅1米左右的高度，而有些品種的葉片如線且爲金色。
其它日本園林中常見的常綠針葉樹還有生長緩慢、枝條優美的紫杉，兼有喬木、灌木及匍匐性變種的杜鬆。