ローリーはマサチューセッツ州ニュートンで、アイルランド系移民のジョン・ローリーとマリア・ローリー（旧姓カラン）の間に5番目の子供として生まれました。 カリフォルニア州サンフランシスコに移住し、ケン・ベンチュリー（1964年全米オープンチャンピオン）、ハービー・ウォード（1955年& 1956年全米アマチュアチャンピオン）、トニー・レマ（1964年全英オープンチャンピオン）などのアマチュアのキャリアが高まるのを支えました。 ローリーはサンフランシスコのサンフランシスコ・ゴルフ・クラブでプレーしていました。 1984年にカリフォルニア州リバーサイド郡で死去し、カリフォルニア州パシフィックグローブのエル・カーメロ墓地に埋葬されている。
彼はサンフランシスコで自動車ディーラーとして数百万ドルの富を得た。 ロウリーとボブ・ホープは友人で、1951年の英国アマチュア選手権に二人で出場している。 彼は若いアマチュアゴルファーのスポンサーになることを楽しみにしていたが、その中には2人の社員もいた。 ベンチュリーとウォードである。 1956年、彼はこの2人のアマチュアと、ベン・ホーガンとバイロン・ネルソンという2人のプロゴルファーとの試合を企画し、サイプレス・ポイント・クラブで4ボールの親善試合を行った。 アマチュアは強いプレーをしたが、試合はプロが1アップで勝った。 ベンチュリーは数年後、新聞社に「今まで見た中で最高のゴルフだった」と語っている。
ロワリーは、全米ゴルフ協会の執行委員会のメンバーでもありました。 しかし、ハービー・ウォードのスポンサーになったことで、ローリーは、税務上認められない事業費を申請していたことが問題となりました。 ロウリーのUSGAの専門知識を信頼していたウォードは、1957年にアマチュア資格を剥奪されてしまった。