Как однако вредно бывает читать учебники последовательно. Вот я читал последовательно учебник по статистическому обучению, а там - представьте - сначала рассказывается про метод ближайших соседей, а про методы сглаживания ядром - сильно потом. В результате я реализовал все расчеты именно на методе ближайших соседей, а все другое оставил на отдаленное светлое будущее, когда хоть что-нибудь хоть как-нибудь заработает. Однако, как сейчас выясняется, ядерное сглаживание на порядок быстрее метода ближайших соседей, ибо сортировать там ничего не надо. К тому же ядро симметрично, что позволяет свернуть на валидации матрицу до треугольной и получить выигрыш по времени еще вдвое.