Nguồn gốc của Cờ Vây được ẩn giấu trong lịch sử của Trung Hoa cổ đại. Có nhiều sự khác biệt giữa nghiên cứu lịch sử của các học giả và giai thoại dân gian về việc Cờ Vây được tạo ra bởi 2 vị vua Trung Hoa cổ đại, một chư hầu hay một nhà chiêm tinh. Một trong những giai thoại đó là Cờ Vây được sáng tạo bởi vị vua huyền thoại của Trung Hoa cổ đại (trị vì từ năm 2357 đến năm 2256 trước Công Nguyên), sáng tạo ra để cho con trai mình giải trí. Một lời xác nhận khác thì cho rằng một vị vua huyền thoại khác, Đế Thuấn (2255 đến 2205 TCN) đã tạo ra Cờ Vây để phát triển trí tuệ cho con trai của mình. Lại có một giai thoại khác nói rằng Ngô, một chư hầu của hoàng đế Thương Hiệt (từ năm 1818 đến năm 1766 TCN) sáng tạo ra Cờ Vây cùng với bài lá. Cuối cùng, một giai thoại khác nói rằng Cờ Vây được sáng tạo bởi một nhà chiêm tinh đời nhà Chu (1045 - 255 TCN). Dù sao đi nữa, Cờ Vây vẫn được công nhận rộng rãi là đã tồn tại ít nhất 3000 năm và rất có thể là 4000 năm, đó là lý do vì sao Cờ Vây là bàn cờ chiến thuật cổ xưa nhất trong lịch sử.

Tuy nhiên, không phải ngay từ ban đầu Cờ Vây đã là một trong những môn cờ khó nhất và trí tuệ nhất. Ban đầu, Cờ Vây được những nhà chiêm tinh sử dụng để tiên đoán tương lai. Về sau, trong những cuốn sách cổ của Trung Hoa như “Luận ngữ” của Khổng Tử, “Tả truyện” và “Mạnh Tử”, trong đó không có cuốn nào viết sớm hơn thế kỷ thứ sáu TCN, miêu tả Cờ Vây như là một “trò giải trí của phường cờ bạc và bọn vô công rồi nghề”. Mặc dù có thể có những tài liệu khác nói về sự tồn tại của Cờ Vây trong lịch sử Trung Hoa cổ đại, nhưng những cuốn sách đó đã bị tiêu hủy bởi Tần Thủy Hoàng Đế (259 - 221 TCN), người đã ra lệnh đốt tất cả sách vở trong thời gian trị vì của mình. Vì vậy, các tài liệu về sau này cho tới thời nhà Hán (206 TCN - 221 SCN) đều không được kiểm chứng. Giả sử rằng những tài liệu sau này là sự thực, thì vì Cờ Vây có vẻ rất thịnh hành ở Trung Hoa trong thế kỷ thứ 6 TCN, nó phải được sáng tạo và phát triển trước đó ít nhất một hoặc hai thế kỷ.

Bắt đầu từ khoảng những năm 200 TCN cho tới năm 600 SCN là kỷ nguyên vàng của thơ ca và Cờ Vây. Dù với nguồn gốc tai tiếng buổi ban đầu, lúc này Cờ Vây đã đạt được vị trí rất cao quý. Ví dụ vào thế kỷ thứ 2 SCN, có nhà thơ Mã Dung, người đã nổi tiếng vì ca ngợi Cờ Vây trong những vần thơ của mình. Trong những giai thoại về Cờ Vây còn lại từ cổ xưa, có hai giai thoại nổi tiếng nhất như sau.

Trong khoảng thế kỷ thứ 3 đến thứ 4 TCN, có một kỳ thủ tên là Osan đã lưu danh sử sách vì khả năng siêu phàm có thể chơi lại cả một ván cờ từ đầu tới cuối (ngay cả những nước trong khoảng từ 150 đến 300 trong ván cờ) bằng trí nhớ, từng nước một. Ngày nay, đương nhiên, mọi kỳ thủ chuyên nghiệp và nhiều kỳ thủ nghiệp dư mạnh cũng có thể làm được như vậy. Thực tế, phương pháp dạy cờ truyền thống ở Nhật Bản là giáo viên sẽ chơi lại từng nước một của những ván cờ đã đánh với học sinh để phân tích các nước đã đi. Dù sao đi nữa, giai thoại này chỉ ra rằng sức cờ và trí nhớ tốt có mối quan hệ mật thiết trong Cờ Vây.

Giai thoại thứ 2 nói về sự tôn kính với Cờ Vây trong thời đại vàng của mình ở Trung Hoa. Vào thời nhà Tần (265-420 SCN), Tạ An đang có chiến tranh với cháu của mình là Tạ Huyền. Sau bao trận đánh long trời lở đất, hai bên quyết định giữ lại quân đội của mình và phân thắng bại trên bàn Cờ Vây giữa hai tướng. Đáng tiếc rằng kết quả của ván cờ này không được ghi lại.

Cờ Vây còn có hai thời kỳ vàng khác ở Trung Hoa vào thời nhà Đường (618-906 SCN) và thời nhà Tống (960-1126 SCN). Những quyển sách đầu tiên về Cờ Vây được viết trong thời kỳ này, ví dụ như “Gokyo và Gosetsu”. Đồng thời, cũng có rất nhiều kỳ thủ được tôn vinh là Ki-Sei hay Ki-Shing, với Ki là “Cờ”, Sei nghĩa là “thánh” và Shing nghĩa là “pháp sư” hay “phù thủy”. Những tước hiệu này hiện nay vẫn được sử dụng ở Nhật Bản, ví dụ như Kisei vẫn là tước hiệu danh giá nhất.