רפי כהן הגיע להפועל פ"ת מהפועל אילת עוד לפני שמלאו לו 18, בעונת 1988/89, לאחר שמזכיר הפועל פ"ת באותה תקופה, אורי קרני, ראה אותו באימוני נבחרת הנוער והתרשם. השוער שקדם לו, רוני ג'רבי, שוחרר מן הקבוצה, וכהן השתלט באופן מיידי על העמדה. הפתיחה שלו היתה לא קלה, כשבשניים ממשחקיו הראשונים ספג שתי שלישיות, ממכבי חיפה ובית"ר י-ם, אבל בהמשך הצליח להתאושש ולהתאקלם, וב-23 המשחקים שהגיעו לאחר מכן ספג עשרה שערים בלבד.
גם בעונות שלאחר מכן המשיך להציג יכולת גבוהה, למרות מספר טעויות פה ושם, ובשנתיים הבאות, בהן סיימה הפועל במקום השני, ספג פחות מאשר כל שוער אחר בליגה הראשונה. בעונת 1989/90 הוא אף קבע שיא מועדון, כששמר על רשת נקייה במשך לא פחות משמונה משחקים רצופים.
בעונת 1991/92 הופיע לראשונה במדי הנבחרת הבוגרת, ולקח חלק בזכייה של הקבוצה בגביע המדינה. בעונה הבאה הוא שיחק עם הפועל בגביע המחזיקות, ושער מיותר שספג בנגיחה מול פיינורד מנע העפלה מפתיעה לשלב הבא על חשבון ההולנדים.
עונת 1992/93 כבר היתה פחות מוצלחת, גם מבחינת הקבוצה, שנאבקה בתחתית הטבלה, וגם מבחינת רפי כהן, שנפצע ונאלץ לשבת ביציע במשך תקופה ממושכת. עם סיום העונה נמכר למכבי חיפה, ולקח חלק בעונה מצוינת של קבוצה זו, שהסתיימה בזכייה באליפות ובהופעה מוצלחת בגביע המחזיקות, כשבמקביל הוא גם הפך לשוער הקבוע של הנבחרת.
אחרי שלוש שנים במכבי חיפה החל לנדוד בין קבוצות נוספות - הפועל חיפה, בני יהודה ומכבי ת"א, וב-1998 איבד באופן לא נעים את מקומו בנבחרת, לאחר שספג שער טיפשי מרגליו של פרננדו היירו, שהוביל להפסד מול נבחרת ספרד והמאמן שלמה שרף הודיע בשידור חי שהוא יפסיק לזמן אותו.
בעונת 1999/2000 חזר רפי כהן להפועל פ"ת, והוסיף למאזנו שנתיים נוספות בקבוצה, הראשונה בהן מוצלחת והשנייה קצת פחות. בעונת 2001/02 הוא הספיק לשחק גם במכבי קרית-גת וגם במכבי פ"ת לפני שחזר להפועל שוב בעונת 2002/03, כדי לתפוס את מקומו של אייל אברמוב שלא הציג יכולת משביעת רצון בפתיחת העונה.
הוא המשיך כשוער הראשון של הקבוצה גם בעונות הבאות, אך במהלכן חלה ירידה מסוימת ביכולתו. בעונת 2004/05 אף ספג שער בבעיטה מחצי מגרש מול מכבי הרצליה שהובילה להדחת הקבוצה מגביע המדינה. בעונת הבאה מצא את עצמו על הספסל לאחר שנפצע וסילבייה צ'אבלינה הקרואטי השתלט על עמדת השוער, אבל בעונת 2006/07 שוב הובטח לו מקום כשוער הראשון, עם שחרורו של צ'אבלינה.
בעונה זו הקבוצה היתה חלשה מאד, וירדה בסיומה ליגה. כהן יכל להתנחם בכך שהשווה בסיומה את שיא ההופעות של שחקן בליגת העל, 519, שהוחזק ע"י גידי דמתי. הוא היה צפוי לשבור את השיא בתחילתה, אך במהלך חלק מהעונה סופסל לטובת השוער המחליף ברק ויסוקר. שנתיים מאוחר יותר נשבר השיא ע"י אלון חרזי, שהשלים 525 הופעות.
בעונת 2007/08, חתם בקבוצה אבי פרץ מהפועל אשקלון ותפס את אפודת השוער הראשון. רפי כהן עוד הספיק להופיע פעמיים בגביע הטוטו, ואז קיבל שחרור להכח ר"ג, שעלתה ביחד עם הפועל לליגה הראשונה.
בעונה הבאה עבר להפועל ר"ג, איתה עלה ליגה הודות להרחבת הליגות וריבוי העולות באותה עונה. הוא שיחק בהמשך גם בהפועל ירושלים, עד שפרש בגיל 42, בסיום עונת 2012/13.
לאחר מכן מונה למאמן השוערים של הפועל פ"ת.
קישורים חיצוניים:
ראיון אחרי הפרישה (נפתח בכרטיסייה חדשה), יוני 2013
הארץ (נפתח בכרטיסייה חדשה) - רפי כהן עדיין זוכר את האליפות שאיבד בגלל סדאם חוסיין, והשופטים (מרץ 2020)
![1989/90 - מחזור 11 - בני יהודה (1:1)
מתוך [anew href="http://www.bnei-yehoda.co.il"]האתר הרשמי [/anew] של בני יהודה.](https://images.hpt.co.il/images/1990_11_BY1-1_pic1.jpg)
![1990/91 - מחזור 29 - מכבי חיפה (0:0)
איתן אהרוני נוזף בעוז אליה. [a href="https://goo.gl/ZZdg7t"]מתוך עמוד הפייסבוק של מוזיאון מכבי חיפה[/a]](https://images.hpt.co.il/images/1991_29_MHaifa0-0_pic01.jpg)
![1991/92 - מחזור 11 - מכבי חיפה (2:1)
קרלוס אולראן מול אייל ברקוביץ' בקרית-אליעזר. [a href="https://goo.gl/ZZdg7t"]מתוך עמוד הפייסבוק של מוזיאון מכבי חיפה[/a]](https://images.hpt.co.il/images/1992_11_MHaifa1-2_pic01.jpg)
![1991/92 - מחזור 22 - מכבי חיפה (1:1)
גבע מרקוס קופץ על ראובן עטר, גיא גת מפקח מימין. [a href="https://goo.gl/ZZdg7t"]מתוך עמוד הפייסבוק של מוזיאון מכבי חיפה[/a]](https://images.hpt.co.il/images/1992_22_MHaifa1-1_pic04.jpg)
![1991/92 - מחזור 22 - מכבי חיפה (1:1)
אלון חזן וניר לוין מביטים באיתן אהרוני מרחיק. [a href="https://goo.gl/ZZdg7t"]מתוך עמוד הפייסבוק של מוזיאון מכבי חיפה[/a]](https://images.hpt.co.il/images/1992_22_MHaifa1-1_pic02.jpg)
