Hai thuật ngữ tổ chức máy tính và kiến trúc máy tính là hai thuật ngữ cần được phân biệt khi mô tả một hệ thống máy tính.

Để minh họa rõ hơn về hai khái niệm này, chúng ta hãy xét đến phép toán nhân. Việc máy tính có trang bị phép toán này hay không là vấn đề thuộc về kiến trúc máy tính. Trong khi đó, việc cài đặt phép toán thông qua một đơn vị nhân đặc biệt hay qua cơ chế sử dụng lập đi lập lại đơn vị cộng của hệ thống là vấn đề thuộc về tổ chức máy tính. Ở đây sự chọn lựa sử dụng cơ chế nào phụ thuộc vào các yếu tố như tần số sử dụng phép toán, tốc độ tương đối của cả hai cách tiếp cận, giá cả và kích thước vật lý của một đơn vị nhân đặc biệt.

Kể từ lúc ngành công nghiệp máy tính ra đời cho đến nay, sự phân biệt giữa kiến trúc và tổ chức máy tính là một yếu tố quan trọng. Nhiều hãng sản xuất máy tính cho ra đời cả một họ máy chỉ khác nhau về tổ chức còn kiến trúc hoàn toàn giống nhau. Kết quả là các kiểu máy trong cùng một họ có giá cả và hiệu suất vận hành khác nhau. Hơn thế nữa, một kiến trúc máy có thể tồn tại qua nhiều năm liền trong khi tổ chức máy dựa trên đó sẽ thay đổi theo bước tiến của công nghệ. Ở đây chúng ta có thể lấy ví dụ trường hợp kiến trúc máy IBM System/370. Kiến trúc này được giới thiệu lần đầu vào năm 1970 với một số kiểu máy khác nhau. Khách hàng với nhu cầu khiêm tốn có thể mua kiểu máy rẻ hơn, chậm hơn và nâng cấp lên kiểu máy đắt tiền hơn, nhanh hơn khi nhu cầu sử dụng tăng lên. Điểm quan trọng trong việc nâng cấp này là khách hàng không phải bỏ đi những phần mềm đang được sử dụng trên máy cũ của họ. Trải qua năm tháng, hãng IBM đã cho ra đời thêm nhiều kiểu máy mới dựa trên công nghệ cải tiến nhằm thay thế những kiểu máy lỗi thời, mang lại cho khách hàng lợi ích về tốc độ và chi phí thấp, trong khi vẫn bảo toàn sự đầu tư của họ về phần mềm nhờ có sự dùng chung một kiến trúc máy cho tất cả kiểu máy trong cùng một họ. Bằng cách tổ chức định hướng người sử dụng như vậy, kiến trúc IBM System/370, qua một vài tinh chỉnh không đáng kể, vẫn tồn tại cho đến ngày nay với vai trò ngọn cờ đầu trong dòng sản phẩm IBM.

Trong lớp các máy tính được gọi là máy vi tính, hai yếu tố tổ chức và kiến trúc có mối quan hệ rất gần gũi. Những thay đổi về công nghệ không chỉ ảnh hưởng đến tổ chức mà còn dẫn đến sự ra đời của những kiến trúc mạnh hơn, phong phú hơn. Nói chung thì sự đòi hỏi về tính tương thích từ thế hệ này sang thế hệ khác kém gay gắt hơn đối với những chiếc máy nhỏ này. Do vậy, các quyết định thiết kế có tính kiến trúc và thiết kế có tính tổ chức thường có sự tương tác lẫn nhau.