ภาพรวมแพลตฟอร์ม
แพลตฟอร์มโครงสร้างพื้นฐาน TATC ให้โครงสร้างพื้นฐานการประมวลผลประสิทธิภาพสูง (HPC) และปัญญาประดิษฐ์ระดับองค์กร สร้างขึ้นสำหรับโหลดงานระดับการผลิต TATC มอบการเข้าถึงการเร่ง AI ที่ปรับขนาดได้แบบรวมศูนย์ผ่าน API โมเดลมาตรฐานและคลัสเตอร์เซิร์ฟเวอร์ GPU bare metal ความหนาแน่นสูง
ออกแบบมาในฐานะผู้ให้บริการโครงสร้างพื้นฐานอธิปไตยระดับภูมิภาค TATC มุ่งเน้นการแยกผู้เช่าเดียวทางกายภาพ การควบคุมฮาร์ดแวร์โดยตรง และการจัดการข้อมูลที่เน้นความเป็นส่วนตัวทั่วทุกระดับบริการ
1. เกตเวย์ AI Token API
TATC Token API ให้ endpoint RESTful แบบรวมศูนย์ที่เข้ากันได้กับ OpenAI สำหรับการให้เหตุผลและ embeddings ของ LLM ที่มีการจัดการ
- •มาตรฐานโปรโตคอล: เข้ากันได้อย่างสมบูรณ์กับ SDK OpenAI มาตรฐานและเฟรมเวิร์กการจัดการของบุคคลที่สาม
- •การกำหนดเส้นทางปริมาณการใช้: การกำหนดเส้นทาง edge ที่มีเวลาแฝงต่ำพร้อมการจำกัดอัตราต่อผู้เช่าและการติดตามการใช้งาน
- •สถาปัตยกรรม: สถาปัตยกรรมการให้เหตุผลแบบ decoupled ที่รับประกันความพร้อมใช้งานสูงและการแยกคำขอ
2. การประมวลผล Bare Metal GPU
เซิร์ฟเวอร์ Bare Metal GPU ของ TATC ให้ฮาร์ดแวร์ทางกายภาพผู้เช่าเดียวโดยเฉพาะที่ออกแบบมาสำหรับโหลดงานที่เน้นการประมวลผล เช่น การปรับจูนโมเดล การให้เหตุผลขนาดใหญ่ และการประมวลผลเชิงพื้นที่/AIGC ที่ซับซ้อน
- •การแยกฮาร์ดแวร์: ไม่มี overhead จากการเวอร์ชวลไลเซชันและไม่มีการแย่งทรัพยากรหลายผู้เช่า
- •การควบคุมสภาพแวดล้อม: การเข้าถึงรูทเต็มรูปแบบพร้อมสิทธิ์การดำเนินการที่สมบูรณ์เหนือการกำหนดค่าระบบปฏิบัติการ โมดูลเคอร์เนล และสแต็กการดำเนินการ
- •การเชื่อมต่อ: โทโพโลยีเครือข่ายภูมิภาค throughput สูงที่ปรับให้เหมาะสำหรับการกำหนดค่าการขยายหลายโหนด
ความปลอดภัย ความเป็นส่วนตัว และการกำกับข้อมูล
TATC ดำเนินการอย่างเคร่งครัดในฐานะผู้ให้บริการ Infrastructure-as-a-Service (IaaS) และ Platform-as-a-Service (PaaS)
- •Zero-Data-Retention (ZDR): เกตเวย์ API ดำเนินการบนพื้นฐานการผ่านเท่านั้น ข้อมูลนำเข้า prompt ของลูกค้าและการเติมเต็มโมเดลจะถูกประมวลผลในหน่วยความจำและจะไม่ถูกจัดเก็บ บันทึก หรือใช้สำหรับการฝึกโมเดล
- •อธิปไตยข้อมูล: โหลดงานทั้งหมดถูกปรับใช้และดำเนินการภายในสถานที่ศูนย์ข้อมูลระดับภูมิภาค Tier III ที่ผ่านการตรวจสอบ
- •การแยกผู้เช่า: ปริมาณการใช้เครือข่ายและสภาพแวดล้อมการประมวลผลถูกแยกอย่างมีเหตุผลและทางกายภาพด้วยการอนุญาตแบบจำกัดขอบเขตคีย์ API ต่อผู้เช่าและตัวเลือก VPC peering
การส่งมอบบริการและกรอบ SLA
บริการโครงสร้างพื้นฐานทั้งหมดบนแพลตฟอร์ม TATC ยึดถือขอบเขตการดำเนินงานมาตรฐาน:
- •โครงสร้างพื้นฐานที่มีการจัดการ: TATC รับผิดชอบต่อการดำเนินงานสถานที่ทางกายภาพ การสำรองพลังงาน การบำรุงรักษาฮาร์ดแวร์ และความพร้อมใช้งานเครือข่าย edge
- •สิทธิ์ชั้นโหลดงาน: ลูกค้าถือสิทธิ์และความรับผิดชอบที่สมบูรณ์เหนือแอปพลิเคชันซอฟต์แวร์ที่ปรับใช้ สภาพแวดล้อมคอนเทนเนอร์ และปลั๊กไลน์ข้อมูลของตนเอง
- •การรับประกันความพร้อมใช้งาน: โครงสร้างพื้นฐานแพลตฟอร์มหลักดำเนินการภายใต้ SLA ความพร้อมใช้งาน 99.9% รองรับด้วยการรับประกันเครดิตบริการตามที่ระบุไว้ในข้อตกลงบริการระดับองค์กรแต่ละฉบับ
หมายเหตุ: บริการทั้งหมดและการจัดสรรทรัพยากรขึ้นอยู่กับการตรวจสอบบัญชีและกรอบการปฏิบัติตามระดับภูมิภาค คุณลักษณะ ความพร้อมใช้งานของฮาร์ดแวร์ และขีดจำกัดโควตาอาจมีการเปลี่ยนแปลงตามการกำหนดค่าแบบไดนามิกตามข้อตกลงองค์กรที่ใช้งานอยู่