ترددت الأندلس، في ارتباطها الإداري، بين ولاية الشمال الأفريقي والإشراف المباشر لمركز الخلافة. وعندما تكون الأندلس تابعة لولاية الشمال الأفريقي يقوم والي القيروان بتعيين ولاة الأندلس، مثل الحر بن عبد الرحمن الثقفي (توفي عام 100 هـ)، وعنبسة بن سحيم الكلبي ( توفي عام 107 هـ). ثم اتبعت الأندلس مركز الخلافة الأموية في دمشق أيام الخليفة عمر بن عبد العزيز (99 ـ 101 هـ) من أجل الإسراع في الإنجاز والإشراف المباشر، فعين السمح بن مالك ولياً عليها (توفي عام 102 هـ). لكنها عادت ولاية تابعة لأفريقية في ولاية عنبسة (استشهد عام 107)، ومن جاء بعده. وهكذا ترددت تبعية الأندلس بين الإشراف المباشر للخلافة عليها، وبوساطة ولاية الشمال الإفريقي، حسب مقتضيات الأمور.لكن قد تفرض ظروف الأندلس أحياناً تعيين والٍ بسرعة، فيتفق أهل الأندلس على شخص معين يولونه أمر الأندلس، حتى يأتي غيره، ويؤيد الخليفة أو والي أفريقية هذا. كما حدث بعد مقتل عبد العزيز بن موسى، إذ عين أهل الأندلس الوالي أيوب بن حبيب اللخمي (رجب ـ ذو الحجة 97 هـ). كذلك الحال عند استشهاد السمح (عام 102 هـ). وفي هذه الحال يكتب بالأمر إلى والي الشمال الأفريقي لإقراره أو تعيين غيره.وكانت الأندلس، أغلب فترة الولاة (95 ـ 138 هـ) تابعة لولاية أفريقية، وكانت مدينة أشبيلية قاعدة الولاية، ثم انتقلت إلى مدينة قرطبة ذات الموقع المتوسط بين الساحل والداخل.ٱستفاد عرب الأندلس من النظام الإداري الذي وجدوه بالأندلس، فعدلوا به بعض الشيء، في عصر الولاة (95 ـ 138 هـ)، بحسب ما اقتبسوه من النظم الإدارية المشرقية.ويبدو أن النظام الإداري للأندلس لم تتضح معالمه إلا في أواخر عصر الولاة، وذلك عندما قسم الوالي يوسف الفهري (129 ـ 138 هـ) الأندلس إلى خمس ولايات هي: ولاية باطقة، وتقع بين نهر وادي يانة والبحر المتوسط، وأشهر مدنها قرطبة، وقرمونة، وإشبيلية، ومالقة، والبيرة، وجيان، وإستجة. ولاية طليطلة، وتمتد بين جبال قرطبة حتى نهر دويرة، وأشهر مدنها: طليطلة ومرسية ولورقة وشاطبة ودانية وبلنسية ووادي الحجارة وقونقة. ولاية ماردة، تمتد فيما وراء نهر وادي يانة شرقاً حتى المحيط الأطلسي غرباً، وأشهر مدنها: ماردة وباجة وأشبونة وإسترقة وسمورة وشلمنقة. ولاية سرقسطة وتمتد من ساحل البحر المتوسط عند طركونة وبرشلونة إلى جبال البرانس وبلاد البشكنس، وأشهر مدنها: سرقسطة وطركونة وبرشلونة ولاردة وطرطوشة ووشقة. ولاية أربونة، كانت توجد في الأراضي الفرنسية، وتشمل مصب نهر الرون، وأشهر مدنها: أربونة وقرقشونة ونيم وماجلونة.نلاحظ من كل هذا أن الوالي الكبير في قرطبة مسؤول عن الولاة الخمسة لهذا التنظيم الإداري، وكل والٍ مسؤول عن ولايته، لأن كل ولاية تتبعها مجموعة مدن وهي الكور، وكل كورة يتبعها عدة أقاليم (قرى كبيرة)، وكل إقليم يتبعه عدة أجزاء (أرياف). وقد أورد ابن عذاري الكثير من أسماء الأقاليم والأجزاء التابعة لكورة بلنسية ولكورة سرقسطة، وذكر لنا أقاليم ألبيرة وأجزاءها، وكذلك أقاليم إشبيلية، وأقاليم قرطبة.في عصر الإمارة (138 ـ 316 هـ)، أصبحت الأندلس إمارة مستقلة قاعدتها قرطبة، وتولى أمرها عبدالرحمن الداخل وذريته من بعده. ويبدو لنا خلال هذه الفترة أن النظام الإداري في الأندلس بقي على حاله السابق، واعتمد عبدالرحمن الداخل والأمراء من بعده في إدارة الثغور والولايات والكور على جماعة مختارة من الأعوان المخلصين، ومن أفراد البيت الحاكم، مع الاعتماد على أسر اشتهرت في الأندلس، مثل أسرة أبي عبدة، وأسرة بني شُهيد وأسرة مغيث الرومي وغيرهم. فمثلاً أعطى عبد الرحمن الداخل ولاية إشبيلية إلى حسان بن مالك (أبو عبدة)، وقضى هذا الوالي على حركات التمرد هناك، وضبط أحوال الولاية، وأصبح لهذه الأسرة (أسرة أبي عبدة) نفوذ كبير في هذه الولاية.