Баг: Ожидать, что Scanner сам преобразует в число

number := scanner.Text() // это строка!

Нужно явно:

number, err := strconv.Atoi(scanner.Text())