Потому что это - не кастовое деление. Это совсем другое. Готов с оружием в руках защищать свою землю - боярин. Не готов - смерд (землепашец). Бояре тебя защищают - ты их кормишь. Тогда всё, кстати, честнее было. Никакие деньги тебя от воинской обязанности спасти не могли. Имеешь определённое количество земли в собственности - обязан выйти по призыву сам и привести с собой определённое (в зависимости от размеров надела) количество ратников (своих родственников или холопов).
Кастовое деление - это по рождению. Сын шудры не мог стать кшатрием ни при каких обстоятельствах. Сын холопа по рождению считался вольным человеком и мог получить надел земли "на украинах" в собственность (за воинские заслуги).
Кстати, именно поэтому в известном фильме Иоанн Васильевич ни разу не усомнился с обращением. Вот на ратника Шпак уж точно никак не тянул.