Các khu vườn Nhật Bản đã quen với việc sử dụng các yếu tố như cây cối, đá, sỏi và nước để thể hiện một cách nghệ thuật của cảnh quan như hòn non bộ, ao hồ và dòng nước chảy. Không giống như những khu cườn phương Tây, nơi cây và đá được sắp xếp theo dạng hình học, những khi vườn Nhật Bản đã cố gắng hết sức để tránh những đồ trang trí được tạo ra từ thời cổ đại, để tạo thành một cảnh quan hết sức tự nhiên.
Những khu vườn cổ từ thế kỷ thứ VII và thế kỷ thứ VIII
Những khu vườn Nhật Bản sớm nhất có thể được nghiên cứu cho đến nay có thể bắt nguồn từ thời Asuka (593-710) và thời Nara (710-794). Tại khu vực Yamato (nay là tỉnh Nara), gia đình Thiên Hoàng và các gia tộc danh giá khác đã xây dựng lẻ tẻ một số hòn đảo nhỏ trong ao lớn, đồng thời xây dựng các bãi cát trên bờ để tạo cảnh quan giống như biển
Thế kỷ thứ IX – Vườn Shinden-zukuri
Năm 794, thủ đô của Nhật Bản được dời từ Nara đến Kyoto, và thời kỳ Heian (794-1185) bắt đầu. Khi gia đình quý tộc Fujiwara bắt đầu độc chiếm quyền lực, một nền văn hóa nghệ thuật dựa trên tư duy độc đáo của Nhật Bản đã phát triển. Những quý tộc này sống trong những dinh thự sang trọng được gọi là các tòa nhà theo phong cách “Kodenzo”. Những khu vườn của thời đại này cũng rất ngoạn mục.
Nhiều con sông hội tụ ở Kyoto nên nước suối ở đây cũng rất phong phú. Ở Kyoto, nơi có mùa hè oi bức và ngột ngạt, người ta đã xây dựng các ao hồ và thác nước để làm mát, đồng thời nước được chuyển giữa các ngôi nhà của dinh thự và trong các khu vườn để tạo cảnh quan. Đồng thời, bố trí một ao lớn để chèo thuyền bơi lội, gần mặt nước xây dựng một chòi câu cá, thông với các gian nhà khác trong dinh thự bằng lối đi dạo có mái che, để mọi người hóng mát, thưởng ngoạn. Không gian giữa ngôi nhà chính và ao được bao phủ bởi một bãi cát trắng rộng lớn, đẹp như tranh vẽ và có thể được sử dụng cho các hoạt động chính thức.
Từ thế kỷ X đến thế kỷ XI – vườn Jodo
Từ thế kỷ thứ X đến thế kỷ thứ XI, các tầng lớp quý tộc Nhật Bản ngày càng nhiệt tình thực hành Phật giáo. Lúc bấy giờ, tư tưởng mạt pháp cho rằng giáo lý chân chính của Đức Phật đã bị suy đồi và hủy diệt bắt đầu thịnh hành nên người ta bắt đầu xây dựng các khu vườn theo hình thức Tịnh độ được mô tả trong kinh Phật. Phong cách vườn này có một cái ao ở trung tâm, và một cây cầu vòm có thể dẫn đến một hòn đảo nhỏ ở giữa ao. Chùa Motsuji ở tỉnh Iwate và Điện thờ Shirazu ở tỉnh Fukushima vẫn mang phong cách của vườn Jodo ngày nay.