משה יחיאל גדל בגדנ"ע יהודה ובעונת 1970/71 נרכש על ידי הכח רמת גן תמורת 5,000 לירות. כבר בעונתו הראשונה זכה עם הקבוצה בגביע המדינה, וכבש שער בניצחון 1:2 על מכבי חיפה במשחק הגמר.
שנתיים לאחר מכן זכה עם הכח גם בתואר האליפות, השני והאחרון בתולדות המועדון. הוא המשיך בקבוצה לאורך כל העשור והיה אחד השחקנים הבולטים של הכח בשנות השבעים, לצידו של אחיו חיים יחיאל. בעונת 1977/78 הכח ירדה לליגה השנייה, אך עלתה בחזרה עונה לאחר מכן.
בעונת 1980/81, אחרי עשר עונות בהכח רמת גן, נמכר יחיאל לבני יהודה תמורת חצי מיליון לירות. בעונתו הראשונה זכה עם הקבוצה בגביע המדינה, בדיוק עשור לאחר הזכייה עם הכח, וגם הפעם כבש במשחק הגמר (2:2 מול הפועל ת"א וניצחון בפנדלים).
הוא שיחק בבני יהודה שנתיים וחצי, ובאמצע עונת 1982/83 ביקש לעזוב לאחר שאיבד את מקומו בהרכב. הוא הצטרף להפועל פ"ת, שנאבקה על העלייה מהליגה השנייה. הוא כבש בחצי עונה 9 שערים ב-19 הופעות בליגה ובגביע, אבל הקבוצה לא הצליחה לעלות.
יחיאל המשיך בקבוצה גם בעונת 1983/84, אבל באמצע העונה חזר להכח רמת גן. בעונת 1984/85 שב לליגה השנייה והצטרף להפועל רמת השרון, ובעונת 1985/86 חזר להכח, שבינתיים ירדה לליגת המשנה.
בעונת 1987/88, בגיל 36, עבר להפועל מרמורק מליגה א' (הליגה השלישית), באמצע העונה נפצע, פרש ממשחק ומונה למאמן הפועל אזור מאותה ליגה, אם כי השמועות על פרישתו היו מוקדמות והוא המשיך על תקן מאמן שחקן.
בעונת 1988/89 שיחק בהפועל אשקלון, גם היא מליגה א', ואף כבש לרשת האקסית שהידרדרה בינתיים, הכח רמת גן. לאחר מכן פרש, הפעם באמת, ואימן את קבוצת נעוריו בליגת הנוער, גדנ"ע יהודה. בעונת 1992/93 אימן את הפועל בת ים, ועונה לאחר מכן המשיך להפועל כפר שלם, שם אימן ארבע עונות, עד לסיום עונת 1996/97.
משם המשיך לצעירי יפו ואימן שם קרוב לשלוש עונות עד שהתפטר לקראת סיום עונת 2000 והוחלף ברפעת טורק.
