לעומת התלהבות זו, בולטת רתיעתם של מתמטיקאים ידועי שם מעיסוק בבעיה זו. גאוס עסק במשפט פרמה, ולאחר שלא כהרגלו לא הצליח בכך, כתב: "בבעיה זו, כבעיה מבודדת, יש עניין מועט ביותר מבחינתי, משום שניתן לנסח בקלות שפע בעיות כאלה, שאיש אינו יכול להוכיחן או להפריכן". בשנת 1920 נשאל המתמטיקאי הגרמני דויד הילברט (Hilbert), גדול המתמטיקאים בדורו, מדוע אינו מנסה להוכיח את משפט פרמה, וענה: "לפני שאתחיל עלי להשקיע שלוש שנים של לימוד מעמיק, ואין לי זמן כה רב לבזבוז על כשלון סביר". על-מנת שלא לחטוא לאמת, אציין שמאחורי ציטוטים אלה מסתתרים נימוקים כבדי משקל, שאינם נראים במבט ראשון, אך המקום אינו מספיק כדי לפרטם.

חששם של מתמטיקאים ממשפט פרמה נבע מכשלון קודמיהם, אך בשנת 1931 העניק ביסוס תיאורטי לחשש זה הלוגיקן האוסטרי (ואחר-כך אמריקני) קורט גדל (Gödel). עד לאותה עת היה ברור שבטיפול בכל טענה מתמטית ייתכנו רק שני כיוונים: ניתן להוכיח את הטענה, או לחילופין ניתן להפריכה. גם אם קשה מאוד לפתור בעיה מסוימת, הרי אם יושקעו בה מאמץ וכשרון במידה מספקת - תימצא לה הוכחה נאותה. הילברט ידע שזו תחושה שלא זכתה להוכחה, אך הוא היטיב לתארה באומרו: "ההכרה ביכולת לפתור כל בעיה מתמטית היא תמריץ עז לכל מי שטורח על הפתרון. אנו שומעים בתוכנו את הקריאה המתמדת: הנה הבעיה, מצא את פתרונה, אתה יכול לעשות זאת בכוח המחשבה בלבד, כי במתמטיקה לא ניתקל בחוסר יכולת לדעת".

משפט חוסר השלמות של גדל, שהפך לאבן פינה בלוגיקה המתמטית, ריסק לרסיסים תחושה נפלאה זו, בהוסיפו אפשרות שלישית לגורל הצפוי לטענה מתמטית. המשפט קובע כי בכל מערכת לוגית מקיפה, ניתן לנסח משפטים מתורת המספרים שאינם ניתנים להכרעה, כלומר אי אפשר להוכיחם וגם לא להפריכם (זהו גלגול מודרני של הפרדוקס העתיק הידוע בשם "פרדוקס השקרן", שמבקש לקבוע האם המשפט "משפט זה הוא שקר" אמיתי או שקרי). כל עוד לא הוכח, עלול משפט פרמה (וגם השערת גולדבך) להיכלל בקטגוריה שלישית זו.

אם כך, כאשר נתונה לפנינו טענה להוכחה, האם יש דרך לזהות שזו טענה שאינה ניתנת להכרעה, ולכן כדאי להרפות ממנה? המתמטיקאי הבריטי אלן טיורינג (Turing) בדק את האפשרות ליצור מכונה שתוכל לקבל כל טענה, ולקבוע האם היא ניתנת להכרעה. לשם כך הגה מכונה פשוטה להפליא השקולה, מבחינת יכולתה לבצע משימות חישוביות, למחשב המתוחכם ביותר. באמצעות "מכונה" זו הוכיח טיורינג, בשנת 1937, שלא ניתן ליצור מכונה שתספק את התשובה הנדרשת ("מכונת טיורינג", שנוצרה במסגרת מחקר תאורטי ביסודות המתמטיקה, מהווה תרומה חשובה ליצירת המחשב האלקטרוני, ובפרט להבנת גבולותיו).

בנסיבות אלה קל להבין את מקורה של נימת יאוש מסוימת המופיעה בדבריו של הארי ואנדיבר (Vandiver), מתמטיקאי מאוניברסיטת טקסס שהקדיש את חייו למשפט פרמה (בהמשך לדרכו של קומר, מצא ואנדיבר תנאים נוספים שעמידה של חזקה נתונה בהם מוכיחה שהיא מקיימת את משפט פרמה). בסיום הערך שכתב בנושא זה באנציקלופדיה בריטניקה נאמר: "ייתכן שהמשפט לעולם לא יוכח או יופרך".