请问是不是每一个城市都有一个教育局

是的，每个县级行政区都有一个教育局，如果是地级市以上的城市就不止一个，除了市辖区教育局还要再加上一个是市教育局。