HPC (P2) - Lựa chọn kiến trúc GPU nào cho Deep Learning

Như trong phần trước, tôi đã giới thiệu sơ qua về khái niệm Deep Learning và khả năng to lớn của việc sử dụng kiến trúc của GPU trong xử lý song song phục vụ tăng tốc cho quá trình học tập và rèn luyện trí tuệ nhân tạo của máy tính, đặc biệt với Deep Learning và Neuron Networks. Trong phần tiếp theo này, tôi sẽ giới thiệu qua về các nền tảng phần cứng hiện thời cho việc xử lý các thuật toán song song cùng với lựa chọn của mình.

Với mấy ông chỉ coding phần mềm thương mại và mobile, có lẽ việc khó khăn nhất khi bắt đầu làm về Deep learning nói riêng và Machine Learning nói chung là chọn được đúng nền tảng đi kèm phần cứng hỗ trợ tính toán song song mạnh. Đương nhiên, ai cũng nghĩ thế. Có vài hướng đi cơ bản với mục đích tăng thật nhiều core xử lý cùng lúc như sau:

01.Intel Xeon Phi
Với khẩu hiệu: Thêm nhân, thêm sức mạnh (More Cores, More Performance)
Xeon Phi ra đời là mở rộng của bo mạch chủ chạy Chip Intel, nhằm đưa thêm nhiều nhân xử lý co-processor vào hệ thống thông qua khe cắm mở PCI -Express. Intel đặt tên mỹ miều cho kiến trúc này là Intel MIC (Intel Many Integrated Core Architecture) nhưng bản chất là gắn thêm nhiều con CPU Xeon vào bản mạch rồi cắm vào khe PCI-E mà thôi 

Hồi đầu chúng nó được đặt tên mã là hiệp sỹ (Knights) này nọ kiểu Knights Ferry, Knights Corner, Knights Land và Knights Hill. Sau này thì dồn lại về theo kiểu đánh số xe BMW có series 3, 5 và 7 tương ứng là 3100 series, 5100 series và 7100 series. Do bản chất vẫn là dây chuyền sản xuất Intel CPU nên số nhân cũng tương đối hạn chế, ví dụ như con mạnh nhất hiện giờ 7120D có 61 nhân, 512 SIMD units (Single Instruction, Multiple Dataset), 16GB RAM thừa kế kiến trúc cổ xưa Pentium (thời CPU cắm mobo kiểu cartridge???). Giá con Xeon Phi này đắt, tầm 4300 USD và đặc biệt là không có bán đại chúng cho người dùng thông thường. Tuy thế, nói gì thì nói, bản chất vẫn là intel x86 nên ace lập trình cũng chả phải học hành lại gì mấy, dùng luôn kỹ năng coding hiện tại thôi. Sở dĩ tôi đề cập đến Xeon Phi đầu tiên dù chưa được sờ vào so với 2 cái sau đây vì nó chính là các bộ xử lý trong chiếc siêu máy tính mạnh nhất hành tinh của chúng ta hiện giờ từ suốt  2013 đến giờ, chiếc Thiên Hà 2 (Tienhe 2) của Trung Quốc.

Thông tin thêm: Thiên Hà 2 bản chất là kết nối sâu của 16000 node tính toán, mỗi node là một con HPC với 2 Xeon CPU e5-2692 v2(đời Ivy Bridge), 3 card Xeon Phi loại serie 3, chỉ có 8GB RAM on-card và 64GB RAM hệ thống.  Nhẩm nhanh cũng tầm 12000 USD cho mỗi node nếu cá nhân đi mua roài. Thiên Hà 2 có sức mạnh tính toán lý thuyết max là 54.9 PetaFLOPS còn thực tế thì chạy ở tầm 60% khoảng 34 PetaFLOPS.

Vị trí: Trung tâm siêu điện toán quốc gia, Quảng Đông, Trung Quốc.
Kiến trúc: 32,000 Intel Xeon E5-2692 12C tốc độ 2.200 GHz + 48,000 Xeon Phi 31S1P
Tiêu thụ điện: 17.6 MW (24 MW bao gồm cả làm mát)
Hệ điều hành:  Kỳ Lân OS (Kylin Linux)
Bộ nhớ: 1,375 TiB (1,000 TiB CPU and 375 TiB coprocessor)[1]
Ổ cứng: 12.4 PB
Khả năng tính toán: 33.86 PFLOPS
Trị giá: 2.4 tỷ Nhân Dân Tệ (US$390 triệu)
Mục đích sử dụng: Mô phỏng, phân tích, và ứng dụng an ninh quốc phòng.

Túm lại là con Thiên hà 2 tốn điện vãi lúa.

02. OpenCL (Khronos Group)

Với khẩu hiệu kết nối phần mềm tới silicon (Connecting Software to Silicon, hơi phiêu tý he he)

Open Computing Language với ưu điểm chạy được đa nền tảng phần cứng CPU, GPU, DSP, FPGAs, cung cấp một giao diện API tiêu chuẩn cho việc xử lý đa nhiệm song song theo cả hai kiểu tác vụ hay dữ liệu (task-based or data-based). OpenCL được duy trì và phát triển bởi Khronos Group. Nguyên thuỷ xuất phát từ Apple nên được Apple cam kết và hỗ trợ tận răng với các thế hệ máy tính và hệ điều hành Mac OS X. Nền tảng phần cứng, phần mềm đứng đầu là AMD/ATI, là nhà sản xuất cả CPU lẫn GPU, đối tác chính của Apple . Tuy nhiên, OpenCL ra đời tương đối chậm, cùng với thư viện phần mềm tuy mở open source nhưng ì ạch, driver không ổn định, lib thì ít và thiếu vắng các cộng đồng lớn, OpenCL không phù hợp với newbie như tôi và tôi cũng võ đoán rằng cũng rất ít nhà nghiên cứu đi sâu được ngay dùng cho DL. Sau này, nếu có tham vọng đi sâu hơn thì OpenCL thực sự rất có tương lai.

Thông tin thêm: Khronos Group một tổ chức phi lợi nhuận của Mỹ thành lập năm 2000 ban đầu bởi khoảng 7-8 công ty gồm cả ATI, Intel, NVIDIA, SGI (Silicon Graphics) và Sun Microsystems. Đến giờ thì đã có tới xấp xỉ tầm 120 công ty tham gia thành viên, và khoảng hơn 50 thành viên "dự bị" theo chuẩn OpenCL.

03. CUDA (NVIDIA)

Với khẩu hiệu Nvidia Tăng tốc điện toán (Nvidia Accelerated Computing)

Thực ra môn CUDA này chỉ có 1 tay chơi và duy nhất là Nvidia, nhà sản xuất card màn hình và vi xử lý đồ hoạ (GPU) hàng đầu thế giới. Sự phổ biến của phần cứng, hỗ trợ mạnh về thư viện và phần mềm cùng với nhiều cộng đồng nghiên cứu và phát triển tiếng tăm trên thế giới như ở các đại học Standford , MIT, etc khiến cho hầu như không còn ai đứng làm đối thủ cạnh tranh phân khúc này. Một mình Nvidia thao túng, trong khi vẫn nhúng tay vào Khronos Group ở trên. Đó là lý do các card đồ hoạ GPU của NVIDIA luôn hỗ trợ cả OpenCL lẫn CUDA còn AMD/ATI chỉ có OpenCL mà thôi. CUDA cũng là nền tảng mà tôi lựa chọn. Bản thân Nvidia cam kết cao ngất cho việc này và các ông lớn đều thế cả mà.

Giá cả để trang bị NVIDIA GPU (đội xanh) không hề rẻ và có sức mạnh xử lý "cứng" như đội đỏ nhưng cũng rất sẵn có với đại chúng và nhiều mức độ chi tiền. Nvidia có nhiều dòng sản phẩm, từ rất cao cấp như Tesla với giá khủng hơn cả Xeon Phi ($5,000-$10,000), trung cấp Quadro từ vài trăm $ cho đến $5,000 và dòng phổ thông rẻ nhất GTX cho game thủ ở ngưỡng $100 - $1,000.  Cho Deep Learning thông thường, độ chính xác FP không cần quá chính xác nên nếu tận dụng cho học tập và xử lý cơ bản, một hệ thống với card GTX mà hiệu năng cũng có thể cực khủng không thua kém gì các hệ thống lớn đắt tiền cả. Về cân nhắc lựa chọn hiệu năng PP (Price/Performance) cho hệ thống của mình, tôi sẽ chia sẻ với các bạn trong phần sau. Đây cũng là lý do mà nhiều researcher hay data scientist trên thế giới tự xây dựng HPC của mình với lựa chọn CUDA Nvidia GTX.

HPC (1) - Tôi dựng máy tính HPC thế nào? Big data - Machine Learning - DeepLearning

Từ một post trên facebook về hiệu ứng ảnh nghệ thuật của cậu em Nam Vũ, tôi lọ mọ mở rộng hướng sử dụng và nghiên cứu trong việc sử dụng mạng thần kinh neuron network. Xuất phát điểm từ con số 0 tròn trĩnh, tôi điềm nhiên mở rộng nghiên cứu và nhận ra rằng năng suất bị hạn chế khi chỉ gói gọn sử dụng phần cứng hiện tại (một con MacPro cũ kỹ). Vì thế, cũng như bao nhà nghiên cứu khác, tôi bắt đầu việc tự đầu tư học lý thuyết về Deep Learning và để có thể đẩy nhanh quá trình học tập và thử -sai của mình, tôi quyết định bỏ tiền túi dựng lại nền tảng phần cứng của riêng mình.
Vậy trước hết, hãy tìm hiểu qua về Deep Learning. Deep Learning (DL) là gì?

Nói một cách ngắn gọn, DL là một lĩnh vực mới trong nghiên cứu về Học Máy (ML: Machine Learning), với mục tiêu đưa ML tiến gần hơn nữa với bản chất của trí tuệ nhân tạo (AI: Artificial Intelligence). Phương châm cơ bản của DL là mô phỏng lại hoạt động của não bộ thành thuật toán liên quan đến tiếp thu đối tượng quan sát qua nhiều tầng biểu đạt gồm cả cụ thể và trừu tượng tiếp đó sẽ làm rõ nghĩa dần các dữ liệu đó. Bản chất nở rộ của DL ngày nay khi DL đã có thể đưa ra kết quả với độ chính xác cao do "học" nguồn dữ liệu khổng lồ (Big Data) và năng lực xứ lý mạnh của máy tính.

Cụ thể hơn, trong lĩnh vực nhận dạng và tái tạo hình ảnh thì lý thuyết lẫn ứng dụng DL được minh chứng rõ rệt nhất. Cho máy một hình ảnh chụp được, nó sẽ phải tự DL để có thể phân tách và nhận diện dữ liệu từng phần trên hình ảnh. Một chiều là chia ma trận để trị, chiều kia là trừu tượng hoá để sắp xếp lớp (layer) và phân loại. Như thế, nếu có thể xử lý song song từng việc nhỏ trên mỗi bộ vi xử lý sẽ giúp đẩy nhanh quá trình này. Các CPU của Intel hiện thời, có thể có 2 lõi (Dual Core) đến 4 lõi (Quadcore) rồi một số có thể lên đến 8 lõi, 12 lõi hay những loại chuyên biệt thì tầm max phổ thông hiện tại là 18 lõi - 36 luông (Xeon 2699v3 với giá lên tới tầm 5000 USD mà cũng không dễ dàng mua được). Tự nhiên, tìm kiếm sức mạnh xử lý song song trở nên cấp thiết đối với phần cứng. Trong cuộc chiến đếm core-lõi phục vụ xử lý song song ấy, Nvidia, nhà sản xuất card đồ hoạ máy tính lớn đã nhanh chóng nắm bắt được cơ hội này để tiên phong, đồng thời, các nhà nghiên cứu cũng nhận ra tiềm năng khổng lồ của các card đồ hoạ hiện tại để tham gia vào Deep Learning này. Hiển nhiên, số lõi xử lý ảnh và tính toán trong các card đồ hoạ giờ vượt xa gấp cả trăm, nghìn lần so với CPU Intel. Nvidia GTX Titan X, card đồ hoạ phổ thông hàng đầu cho game thủ hiện tại, cũng chứa đến 3072 lõi xử lý chạy song song, gấp cả nghìn lần một bộ xử lý intel dual core thông thường. Mỗi lõi, hiện giờ chỉ để xử lý một vùng điểm hiển thị trên màn hình với thông tin màu sắc, đổ bóng, etc mà thôi thì nay có thể chuyển hoá dùng để tính toán nhiều thứ khác nữa khi được viết thêm các phần mềm thích hợp điều khiển. Vì thế, đùng một cái, người dùng thông thường, đặc biệt các game thủ đang có trong tay những cỗ máy nhỏ nhưng rất có võ, công lực đủ lớn nếu biết cách chuyển hướng sử dụng. Tên gọi các siêu tính toán HPC (High Performance Computing PC) trở nên dễ dàng tiếp cận với công chúng cộng đồng nghiên cứu gia hơn bao giờ hết, chứ không còn nhất thiết phải của một ông lớn CNTT nào nữa cả. Nói tới đây, chỉ riêng về lựa chọn card đồ hoạ nào cho hệ thống nghiên cứu học tập DL của mình với tiêu chí ngon - bổ - rẻ thì tôi cũng đã phải đọc đến hàng tá các loại tài liệu phân tích đánh giá. Vậy mà vẫn không tránh khỏi một số sai lầm cốt yếu mà tôi sẽ chia sẻ thêm sau.

Nếu dành 2 phút để xem 2 nhà khoa học nổi tiếng dẫn chương trình Mythbuster trên Discovery sau đây demo sự khác biệt về xử lý của CPU và GPU thì các bạn sẽ thấy rõ ngay.

Một chiếc iphone trong lòng bàn tay người dùng ngày nay có sức mạnh xử lý chẳng kém gì siêu máy tính vài thập kỷ trước. Điện toán cá nhân ngày càng mạnh, càng rẻ và dễ tiếp cận, việc đòi hỏi năng lực xử lý thông tin nhiều, nhanh càng cấp thiết. Chúng ta đã bắt đầu vào những năm cuối của quá trình hậu máy tính, với dự doán đến năm 2020 có thể có trên 10 tỷ thiết bị điện toán cầm tay kết nối internet. Sự kết nối tạo ra một lượng dữ liệu không lồ và khả năng tính toán cực lớn linh động và thay đổi từng ngày, từng giờ, từng phút, từng giây (ví như dự đoán giá cả cổ phiếu, thị trường) Vì thế, không thể lập trình thông thường được nữa, nó phải làm theo các thuật toán đặc biệt sao cho các thuật toán ấy sẽ phải tự lập trình lại bản thân và tự biến đổi bản thân chính chương trình ban đầu để thích ứng, kiểu máy tự học được. Thuật toán kiểu thế gọi cho hoành là Machine Learning.

ML cũng không phải cái gì mới. Ứng dụng đầu tiên của nó có lẽ là phần mềm tự học đánh cờ vua từ thời mainframe. Sau khi tự học tầm vài trăm ván cờ, nó sẽ có đủ kinh nghiệm để đánh bại các loại chơi cờ lìu tìu như lập trình viên bọn tôi. Năm 1997, thì IBM Deep Blue đã thắng kiện tướng cờ vua thế giới Garry Kasparov. Từ đó, không ai còn đề cập  đến chuyện chơi cờ quạt gì với máy tính nữa. Deep Blue lúc đó đứng thứ 259 siêu máy tính trên thế giới, khả năng xử lý 11.38 GFLOPS. Trong khi chỉ mỗi cái card đồ hoạ GTX 980 mới mua nâng cấp máy mà tôi đang gõ bài này đã có thể xử lý tầm trên 5000 GFLOPS rồi. Đơn giản vì nó có tới 2048 nhân xử lý.

Cái mobilephone còn không rời tay được chốc lát thì quanh ta tầm này chẳng còn gì mà không dính đến nhu cầu điện toán nữa đâu. Mà làm gì có nhu cầu điện toán nào thời nay mà không loay xoay với ML nữa cả. Kiểu như:

• Tối ưu tập đối tượng khách hàng cho quảng cáo sản phẩm mới.
• Diệt và phòng chống virus máy tính (cũng phải học pattern mà phòng ngừa)
• Các trò định hướng, dự đoán, từ xu thế giá cả, cổ phiếu, thị trường, thời tiết, giá ngoại tệ, vé máy bay, chi phí bảo hiểm.
• Xác định xu hướng sở thích giới trẻ, hội già, nhóm người sống ở bán cầu Đông, bán cầu Tây (facebook)gợi ý mua thêm sách, thêm đồ (amazon, ebay) hay nêu dữ liệu quan tâm có thể liên quan khi tìm kiếm (Google)
• Nhận biết khuôn mặt, nhận biết giọng nói (hình sự vcd), nhận biết vật thể trên đường (xe tự lái)
• Phát triển thuốc men dược phẩm, tổng hợp hoá học, tính toán mô phỏng, chẩn đoán phòng ngừa ung thư.
• Tính toán bài tập thể dục, calories tiêu thụ cần thiết và đặt các mục tiêu mới rèn luyện sức khoẻ mới.
• Tính toán dẫn đường, chỉ dẫn giao thông, tình trạng giao thông đi lại theo thời gian thực.

Cùng với đó, sự nở rộ phong trào IoT (Internet of Things), QuantifiedSelf, càng thúc đẩy nhanh, nhiều, sâu và rộng quá trình số hoá mọi sự vật hiện tượng xung quanh hoạt động của con người, khiến cho ML, DL, AI là nhu cầu bắt buộc hiện diện thường nhật trong đời sống con người.

Tiếp cận với GPU để học cách thức hoạt đông DL ở trên như một newbie, tôi đã lựa chọn nền tảng HPC của mình thế nào?

Hãy làm bạn với Ung Thư (UT) - hành trình của một tế bào! (P3)

DÒ DẪM CÓ ĐỊNH HƯỚNG KIẾN THỨC

Đành rằng dò dẫm làm chuyện rất riêng tư, không ai thay thế được nhưng kiến thức nào sẽ giúp cho việc này? Có 2 biến số quan trọng đó là (1) tế bào UT sinh hoạt hàng ngày khác tế bào thường thế nào? và (2) những dấu hiệu cơ bản nào giúp nhận biết có vẻ gần TỚI HẠN… UT chính là tế bào của cơ thể ta sinh ra theo kiểu tự tăng trưởng một cách đột phá, thiếu vắng kiểm soát, kiềm toả. Nếu như tập tạ để tay to vốn dĩ chủ ý để tăng lượng tế bào cơ tay và hoàn toàn được kiểm soát bới ý chí thì một cái polip, u nang hay thịt thừa ở dạ dày chẳng hạn lại do tế bào ở đây phát triển nhanh chóng ngoài mong muốn. Do tính vô chính phủ, tế bào UT thoạt tiên sinh ra để thay thế tế bào già cỗi chết đi nhưng rồi cứ tiếp tục nhân đôi mãi không ngừng nghỉ, phình ra thành các cứ điểm u nang, kích cỡ to lên về mặt vật lý. Rồi cứ thế mải mê sinh sôi nảy nở, chúng cũng quên luôn mất mình được sinh với mục đích gì. Không nhằm để thay thế tế bào thành dạ dày, chúng trở thành những tế bào không còn rõ rệt gì về bản chất, gốc rễ nữa, kiểu sinh ra trên đời này mà không biết mình là ai ấy để càng sinh trưởng mạnh mẽ hơn tới mức “giai đoạn cuối” thì túa ra chạy theo dòng máu bám rễ lung tung. Hệ bạch huyết phòng vệ cũng dần dần không hiểu nó thuộc cái dòng tộc gì để mà điều quân phù hợp để tiêu diệt và thu dọn xác nữa. Vô tình, hệ bạch huyết lại giúp khuếch tán UT khắp toàn cơ thể. Túm lại, tế bào UT, chúng chỉ còn biết nhân đôi - nạp nhiên liệu - nhân đôi - nạp nhiên liệu, thi thoảng đi di cư phượt lang thang. Các tế bào khoẻ mạnh khác thì luôn luôn giữ được dòng giống, tổ tông của mình, tuân thủ chu kỳ sinh-lão-tử cùng với sự thay đổi và lớn lên của cơ thể. Với UT, chỉ một số ít bột phát bởi gen di truyền, một phần lớn còn lại thì do sự tấn công lý-sinh-hoá vào các cấu trúc tế bào và bộ máy sao chép tế bào từ cả 2 phía môi trường sống bên ngoài và phản ứng bên trong của cơ thể. Loại trừ việc di truyền thì thực chất, UT thoạt tiên cũng chỉ là tế bào bình thường, tử tế khác, nhưng sau không chiến thắng được sự tấn công của khoảng 1 vạn lượt “bom đạn” dội vào mỗi ngày. Vâng 10K “bom đạn” dội vào hàng ngày liên tục suốt cuộc đời con người đã khuất phục những tế bào thiếu gan dạ và chuyển biến chúng thành UT .” Bom đạn” ấy có cái tên mỹ miều là “gốc tự do", được sinh ra bởi (1) vật chất từ môi trường ngoài đưa vào cơ thể (chủ yếu qua ăn uống, hít thở) và (2) áp lực tâm-sinh lý của chính cơ thể khi tạo các chuối phản ứng trước điều kiện và môi trường sống. Gốc tự do, hay cũng còn tên khác là chất ôxy hoá là bản chất sâu xa của phát triển sự sống và cũng chính là sự lão hoá của cơ thể chúng ta. Vậy gốc tự do có cấu tạo ra sao? Ngắn gọn thôi nhé, đó là một phân tử hoá học quá năng động do bị mất cân bằng điện tích, phóng tác đi mất các điện tử (electron) nên cứ luôn luôn nhăm nhe chiếm lại sự cân bằng bằng cách can thiệp sâu, giành giật điện tử từ các tế bào khoẻ mạnh khác trong cơ thể. Như vậy, mỗi ngày để đối phó với quá trình già cỗi thì cần giảm thiểu sự tấn công của “bom đạn", cân bằng lại cuộc sống để ít phải va chạm phân tử hơn. Khi sức ép tấn công này giảm xuống, các tế bào khoẻ mạnh sẽ rảnh rang hơn để giúp chúng ta cô lập lại tế bào UT, chăm chút sửa chữa các cỗ máy copy mắc lỗi, đồng thời để lũ lãnh đạo quản lý có thêm thời gian mà tu tập, chú tâm giành lại kiểm soát ở những nơi đã lơi lỏng, những cứ điểm UT. 

Sử dụng những thực phẩm rau-củ-quả cùng với việc cung cấp đủ nước đầy đủ cho cơ thể là thành phần tốt giúp ích việc này. 

Nhìn nhận vấn đề bao quát, ta thấy có sự xung đột sắc tộc lồng trong xung đột ngoại tộc, nội chiến nằm trong lòng quốc tế chiến. Khi đó, không thể tránh khỏi phát sinh thương vong cho tất cả các bên tế bào khoẻ mạnh lẫn UT. Lúc này, nếu tĩnh tâm và lắng nghe chính cơ thể mình, có lẽ sẽ cảm nhận được. Để có thông tin chi tiết nhất, ta cần dựa vào mạng lưới tế bào thần kinh vốn đã vô cùng nhạy cảm. Hãy cảm nhận sự xuất hiện và mất đi của các hạch thần kinh trên cơ thể. 

Như đã nói, mỗi người sẽ có năng lực để cảm nhận sự TỚI HẠN này. Một gợi ý không mang tính định lượng mà chỉ có ý nghĩ định tính khoa học đó làm cảm nhận việc hít thở, trao đổi khí oxy của cơ thể với môi trường sống. Khi quan sát về các vòng đời của các loại tế bào trong cơ thể bạn, dễ thấy nhất với vòng đời tương đối ngắn, việc rụng tóc và mọc dài tóc là một chỉ số cho ta biết về tốc độ phân tách tế bào của cơ thể. Rụng ít tóc hơn, mọc dài chậm hơn là dấu hiệu tốt trong giai đoạn này. Dấu hiệu TỚI HẠN có thể đơn giản là quá trình rụng/mọc dài tóc bình thường nay trở nên bất thường. Tuy nhiên, có lúc cần nhạy cảm hơn thì thực ra các tế bào bạch cầu có vòng đời chỉ vài giờ sau khi được sinh ra từ tuỷ sống rồi sẽ đào thải tại phổi. Hãy cảm nhận khí thở và áp lực khác ở phổi của mình để biết chắc nắm bắt sự thay đổi hay đầu vào điểm TỚI HẠN ra sao? Tế bào màng dạ dày và ruột cũng có vòng đời vài ngày. Cũng khó để đưa ra cảm nhận nhưng cảm nhận biến đổi phản ứng với dinh dưỡng đưa vào cơ thể, hay nước uống, thuốc uống cũng là một dấu hiệu (cái này chả bệnh tật gì cũng thế nhỉ?)

Càng thiền tâm, càng nhận biết sớm nhất và chính xác nhất các thay đổi này. Khi liên tục dò dẫm như vậy, chúng ta sẽ đúc rút được những quy luật phù hợp của riêng mình, tạo thành các phác đồ điều trị hữu ích. Cùng với ý chí thép tuân thủ, ta không những có thể cải tạo lại cơ thể và đơn giản sống cùng UT một cách khoẻ mạnh mà thậm chí còn dần dần loại trừ và xoá xổ hẳn các cứ điểm UT...