离开了天津。
1909年，英国大力士奥彼音（实为在一个英国马戏团工作，并不是大力士）在上海摆下擂台，讥讽中国人是“东亚病夫”，上海民众十分不满，但又无人敢应战。农劲荪从报上得知此消息，遂向上海知名人士、同盟会员、革命党人陈其美推荐了霍元甲。霍元甲一到上海，上海各大报纸用大号字体刊登消息。霍元甲挑战奥彼音，奥和霍约定比武中不得使用指戳、足勾等中国武术技法，并约期在张园公开比赛。但到了比赛时间，却不见他的踪影，原来奥彼音已逃之夭夭。
张园擂台比武虽没打成，但在上海掀起了习武热潮，各大学校蜂拥而至，邀请霍元甲及其弟子去讲习武术。这一时期，有一人对霍元甲影响很大，促成了霍元甲从讲求传统武德，向武术救国转变。这个人，就是霍元甲青年时代的知己农劲荪。
霍元甲是在脚行干活时认识农劲荪的。当时的农劲荪是孙中山手下的革命者，在天津开办怀庆药栈，以采药为由掩护革命。霍自正告诉记者，农劲荪早年留学日本，通外语，有学问，也爱好武术。“孙中山希望他结交一些武术名家，为推翻满清统治作准备，而曾祖父又渴望学知识，两人一见如故，成了莫逆之交。”
1910年6月1日，霍元甲在农劲荪等人帮助下，在上海创办了“中国精武体操会”（后改名精武体育会）。霍自正说，在寻求救国的道路上，霍元甲迈出了很不容易的两步：“第一是打破家规，开始收外姓人为徒。霍家七代家传绝技迷踪拳，向来是不传给外姓人的，为救国，曾祖父破了家规；第二是把迷踪拳改为迷踪艺，让花哨的套路变得更实用，以便让人们能够尽快掌握要领，学会防身。”
迷踪艺以霍家绝技为基础，又囊括了各派之精华。霍自正说：“此拳不难学，但是极难练，柔中有刚，迈步如猫，急如闪电。与人交手时，往往对方还没有看清门道就被击倒，令对手眼花缭乱，迷失踪迹，因此得名。”孙中山先生对霍元甲将迷踪拳公之于世的高风亮节非常赞许，亲笔写下了“尚武精神”四个大字，赠送给精武体育会。
1910年9月，日本柔道会对霍元甲吓跑俄、英大力士之事，很不服气，便挑选了十几名高手，找霍元甲较量。霍元甲先让他的徒弟刘振声上场，刘以静