יניב חרמש שיחק מגיל 8 במחלקת הנוער של הפועל, ובגיל 17 כבר ערך הופעת בכורה, אם כי יחידה באותה עונה. גם בעונה שלאחר מכן, 1995/96, מיעט לשחק ושותף רק בשלושה משחקים כמחליף לקראת הסיום. באחד מהם, משחק הגביע מול מכבי שעריים, זכה לכבוד המפוקפק של החמצת פנדל בדו-קרב מן הנקודה הלבנה, שהכריעה את המשחק לרעת הקבוצה.
חרמש הצליח להתאושש ובעונה הבאה, אותה סיימה הקבוצה במקום השני, כבר לקח חלק בעשרה משחקי ליגה והמשיך להתנדנד בין הספסל לכר הדשא גם בשלוש העונות הבאות. נתון מעניין לגביו הוא מאזן משחקי הדרבי בהם פתח בהרכב - שלושה ניצחונות, תיקו אחד ואף הפסד.
בתום עונת 1999/2000 שוחרר מהקבוצה לאחר שניר לוין הוחלף בעמדת המאמן ע"י אלי כהן. הוא שיחק בהמשך במכבי קרית-גת, הפועל הרצליה, הפועל עכו וצפרירים חולון.
