快地答应了，用希腊数学家欧几里得的着作《原本》做教材，对徐光启讲授西方的数学理论，利玛窦每两天讲授一次，徐光启总是准时到达。
经过一段时间的学习，徐光启完全弄懂了欧几里得这部着作的内容，深深地为它的基本理论和逻辑推理所折服，认为这些正是我国古代数学的不足之处。于是，徐光启建议利玛窦同他合作，一起把它译成中文。开始，利玛窦对这个建议颇感犹豫，因为欧几里得的这部着作是用拉丁文写的，拉丁文和中文语法不同，词汇也很不一样，书里的许多数学专业名词在中文里都没有相应的现成词汇。要译得准确、流畅而又通俗易懂，是很不容易的，早先曾有一个姓蒋的举人同利玛窦合作试译过，就因为这个缘故而不得不半途而废。但徐光启认为只要肯下功夫，总是可以译成的，在他的一再劝说下，利玛窦也就同意了。
先由利玛窦用中文逐字逐句地口头翻译，再由徐光启草录下来，译完一段，徐光启再字斟句酌地作一番推敲修改，然后由利玛窦对照原着进行核对。遇有译得不妥当的地方，利玛窦就把原着再仔细地讲述一遍，让徐光启重新修改，如此反复。徐光启对翻译非常认真，常常是到了深夜，利玛窦休息了，他还独自坐在灯下加工、修改译稿。有时为了确定一个译名，他不断地琢磨、推敲，不知不觉地就忙到天亮。译文里的“平行线”、“三角形”、“对角”、“直角”、“锐角”、“钝角”、“相似”等等中文的名词术语，都是经过他呕心沥血的反复推敲而确定下来的。
徐光启和利玛窦译出了这部着作的前六卷，徐光启想一鼓作气，接着往下译，争取在年内译完后九卷，但利玛窦却主张先将前六卷刻印出版，听听反映再说。付印之前，徐光启又独自一人将译稿加工、润色了三遍，尽可能把译文改得准确，然后他又同利玛窦一起，共同敲定书名的翻译问题。这部着作的拉丁文原名叫《欧几里得原本》，如果直译成中文，不大象是一部数学着作。如果按照它的内容，译成《形学原本》，又显得太陈旧了。
利玛窦说，中文里的“形学”，英文叫作“o”，它的原意是希腊的土地测量的意思，能不能在中文的词汇里找个同它发音相似、意思也相近的词。徐光启查考了十几个词组，都不理想，后来他想起了“几何”