平江人觉得自己不是岳阳人，主要是因为历史原因。在唐代以前，平江和岳阳是不同的政治实体，各自属于不同的州县。而到了唐代，官方为了方便管理，将两地合并为同一州，但其实本土人民的地域认同并未发生改变。

此外，平江和岳阳在地理上也有较大差异，平江位于洞庭湖南岸，而岳阳则在洞庭湖西侧。因此，平江人认为自己和岳阳人有明显的地域和历史差异，自然不愿意被归为同一类别。