Почему Дурсли так не хотели отпускать Гарри Поттера в Хогвартс?

Ответ на вопрос можно найти в "Ордене Феникса"

После того, как дементоры напали на Гарри и Дадли, Вернон Дурсль сказал следующее:

"Почему мы тебя тогда взяли — ума не приложу. Права была Мардж, надо было отдать тебя в приют! Проявили мягкотелость себе во вред, подумали, что сможем это из тебя вытравить, сделать из тебя нормального человека! Но ты гнилой от рождения, и с меня хватит..."

Как маглы, они терпеть не могли всё, что было связано с колдовством. Хотя, Дурсли недолюбливали Гарри, как сына волшебников, тем не менее, они надеялись, что соответствующее воспитание подавит в мальчике скрытые магические задатки. По этой же причине в семье пресекались любые разговоры о волшбе и связанной с ней темах. Когда Гарри поступил в Хогвартс, Дурсли были вынуждены остаться его приёмной семьёй, так как этого требовал наказ Дамблдора. Тем не менее, даже несмотря на это, они препятствовали любой деятельности, связанной с колдовством, когда Гарри приезжал на Тисовую улицу на лето.