《黄帝内经》中认为五谷即“粳米、小豆、麦、大豆、黄黍”，而在《孟子滕文公》中称五谷为“稻、黍、稷、麦、菽”，在佛教祭祀时又称五谷为“大麦、小麦、稻、小豆、胡麻”，再而后便是李时珍在《本草纲目》中记载谷类有33种，豆类有14种，总共47种之多。
还有一种说法认为五谷泛指五类作物，即“悬、藤、根、角、穗”。
通常说的，是指稻谷、麦子、大豆、玉米、薯类，而习惯地将米和面粉以外的粮食称作杂粮，所以五谷杂粮也泛指粮食作物。故通常认为，五谷是粮食作物的统称。
古时一般是指：粟、豆 、麻、麦、稻；五谷为泛词，泛指农作物或农产品。可延伸为含谷类或以土生作物为原料的食品和饮品。
“五谷”这一名词的最早记录，见于《论语》。根据《论语》的记载：二千四百多年以前，孔子带着学生出门远行，子路掉队在后面，遇见一位用杖挑着竹筐的老农，问他：“你看见夫子吗？”老农说：“四肢不劳动，五谷分不清，谁是夫子？”
五谷的意思是指五种谷。比《论语》更古的书如《诗经》、《书经》等里面，只有“百谷”，没有说“五谷”的。从百谷到五谷，是不是粮食作物的种类减少了呢？不是的。当初人们往往把一种作物的几种不同品种一个个起上一个专名，这样列举起来就多了。而且“百”字在这里不过是用来指多的意思，也并不是真有一百种。五谷这一名词的出现，标志着人们已经有了比较清楚的分类概念，同时反映当时的主要粮食作物有五种。
五谷这一名词在当初创造的时候，究竟指的是什么，没有留下记载来。我们现在能够看到的最早的解释，是汉朝人写的。汉人和汉以后人的解释主要有两种：一种说法是稻、黍、稷、麦、菽（即大豆）；另一种说法是麻（指大麻）、黍、稷、麦、菽。这两种说法的差别，只是一种有稻而没有麻，另一种有麻而没有稻。麻子虽然可以供食用，但是主要是用它的纤维来织布。谷指的是粮食，前一种说法没有把麻包括在五谷里面，比较合理。但是从另一方面来说，当时的经济文化中心在北方，稻是南方作物，北方栽培的有限，所以五谷中有麻而没有稻，也有可能。《史记·天官书》“凡候岁美恶”（预测年岁丰歉）下面所说的作物，就是麦、稷、黍、菽、麻五种，属于后一种说法。大概因为这些原因，所以汉人和汉以后的人对五谷就有两种不同的解释。
把这两种说法结合起来看、共有稻、黍、稷、麦、菽、麻六种主要作物。战国时代的名著《吕氏春秋》（公元前三世纪作品）里有四篇专门谈论农业的文章，其中《审时》篇谈论栽种禾、黍、稻、麻、菽、麦的得时失时的利弊。禾就是稷。这六种作物和上面所说的六种完全相同。《吕氏春秋·十二纪》中说到的作物，也是这六种。
很明显，
稻、黍、稷、麦、菽、麻就是当时的主要作物。所谓五谷，就是指这些作物，或者指这六种作物中的五种。但随着社会经济和农业生产的发展，五谷的概念在不断演变着，所谓五谷，实际只是粮食作物的总名称，或者泛指粮食作物罢了。
