คู่มือปฏิบัติเพื่อเพิ่มอัตราการประมวลผลสูงสุด (Throughput) ในการให้บริการ LLM สำหรับ GPU บน GKE

การให้บริการโมเดลภาษาขนาดใหญ่ (LLMs) อาจมีค่าใช้จ่ายสูงเนื่องจากต้องใช้ตัวเร่งฮาร์ดแวร์และการใช้งานที่ไม่มีประสิทธิภาพ Google Kubernetes Engine (GKE) จึงนำเสนอฟีเจอร์ต่างๆ เช่น การปรับขนาดอัตโนมัติ (Autoscaling) และการจัดสรรภาระงาน (Load balancing) เพื่อช่วยให้บริการ LLM ในวงกว้างในขณะที่ช่วยลดค่าใช้จ่าย และเพื่อเพิ่มประสิทธิภาพการให้บริการ LLM เครื่องมือวัดประสิทธิภาพ (Benchmarking) สำหรับ GKE จะช่วยตั้งค่าคลัสเตอร์ ปรับใช้เซิร์ฟเวอร์การอนุมาน (Inference) และวัดประสิทธิภาพโดยอัตโนมัติเพื่อประเมินความสมดุลด้านประสิทธิภาพ บทความนี้จะให้คำแนะนำในการเพิ่มอัตราการประมวลผลสูงสุดบน NVIDIA GPU ด้วย GKE และแนวทางในการปรับแต่งแพลตฟอร์มเซิร์ฟเวอร์โมเดลเพื่อการอนุมานที่มีประสิทธิภาพ อ่านเพิ่มเติม

การปรับปรุงแอปพลิเคชันให้ทันสมัย (Application Modernization)

Google IT นำบริการ Google Cloud มาปรับใช้ในองค์กร

ทีมไอทีองค์กรของ Google ทำหน้าที่จัดการโครงสร้างพื้นฐานที่สนับสนุนพนักงาน โดยมีเป้าหมายเพื่อนำเสนอโซลูชันที่ปลอดภัยและปรับขยายได้เพื่อประสิทธิภาพการทำงานสูงสุด เพื่อตอบสนองความต้องการภายในองค์กร พวกเขาได้ใช้ประโยชน์จากโครงสร้างพื้นฐานคลาวด์ของ Google เอง และประสบความสำเร็จในการย้ายข้อมูลบริการจากผู้ให้บริการภายนอกมากกว่า 100 บริการ การเปลี่ยนแปลงนี้ช่วยลดงานที่สร้างมูลค่าต่ำ เพิ่มทักษะให้กับทีม และทำให้สามารถส่งมอบฟีเจอร์ที่มีมูลค่าสูงขึ้นได้ เมื่อการยกย้ายระบบ (Lift-and-shift) และการปรับปรุงระบบคลาวด์ให้ทันสมัยเสร็จสิ้นแล้ว วันนี้ Google ได้มาร่วมแบ่งปันประสบการณ์ ประโยชน์ที่ได้รับ และความเสี่ยงที่พบในระหว่างกระบวนการดังกล่าว อ่านเพิ่มเติม

การต่อยอด AI เชิงวิเคราะห์ (Analytical AI Agents) ด้วยตัวชี้วัดที่น่าเชื่อถือของ Looker

Generative AI กำลังเข้ามาเปลี่ยนแปลงวิธีที่ผู้ใช้งานโต้ตอบกับผลิตภัณฑ์และบริการ โดยเฉพาะอย่างยิ่งในด้านการวิเคราะห์ แทนที่จะต้องเขียนชุดคำสั่ง (Query) ด้วยตนเอง ปัจจุบันผู้ใช้สามารถเข้าถึงข้อมูลโดยใช้ภาษาธรรมชาติ โดยมี AI ทำหน้าที่เป็นสะพานเชื่อมระหว่างผู้ใช้กับข้อมูล ในช่วงทศวรรษที่ผ่านมา Bytecode ได้ช่วยองค์กรกว่า 1,000 แห่งสร้างสแต็กข้อมูลและนำ Looker มาใช้เพื่อการวิเคราะห์ด้วยตนเองที่น่าเชื่อถือ คำถามทั่วไปจากลูกค้าคือจะผสานรวม AI เข้ากับการวิเคราะห์ข้อมูลของตนได้อย่างไร สำหรับผู้ที่ใช้เครื่องมือข้อมูลและ AI ของ Google Cloud (BigQuery, Looker และ Vertex AI) กระบวนการนี้จะง่ายและรวดเร็วกว่าที่คิด อ่านเพิ่มเติม

พื้นที่สะอาดข้อมูลขับเคลื่อนด้วย AI (AI-Powered Data Clean Rooms): ขุมพลังเชิงกลยุทธ์ของนักการตลาดยุคใหม่

ธุรกิจต่างๆ พยายามค้นหาข้อมูลลูกค้าเพื่อขับเคลื่อนยอดขายและรับข้อมูลเชิงลึก แต่ความท้าทายเกิดขึ้นเมื่อผู้ค้าปลีกลังเลที่จะแชร์ข้อมูลที่ละเอียดอ่อน ตัวอย่างเช่น แบรนด์สินค้าอุปโภคบริโภคจะได้รับประโยชน์จากการทำความเข้าใจพฤติกรรมของลูกค้าบนเว็บไซต์ของผู้ค้าปลีก แต่ความร่วมมือดังกล่าวต้องหยุดชะงักเนื่องจากความกังวลเรื่องความเป็นส่วนตัวของข้อมูล ส่งผลให้ผู้นำบริษัทต่างมองหาแนวทางแก้ไขจากทีมการตลาดและ CMO อ่านเพิ่มเติม

ขอแนะนำ ScaNN ในการค้นหาเวกเตอร์ (Vector Search) ของ BigQuery สำหรับชุดคำสั่งขนาดใหญ่

Google ประกาศเปิดตัวรุ่นทดลองใช้ (Preview) ของดัชนีเวกเตอร์ TreeAH ใน BigQuery โดยใช้ประโยชน์จากอัลกอริทึมเพื่อนบ้านใกล้ที่สุดโดยประมาณ (Approximate Nearest Neighbor) ขั้นสูงจากงานวิจัยของ Google ดัชนีใหม่นี้ช่วยลดความหน่วงและค่าใช้จ่ายได้อย่างมากเมื่อเทียบกับดัชนีไฟล์กลับด้าน (Inverted File Index หรือ IVF) ที่ใช้ก่อนหน้านี้ การประกาศนี้จะครอบคลุมถึงความแตกต่างทางสถาปัตยกรรมระหว่าง TreeAH และ IVF ผลลัพธ์ประสิทธิภาพ และคำแนะนำเกี่ยวกับเวลาและวิธีการใช้ TreeAH เพื่อผลลัพธ์ที่ดีที่สุด อ่านเพิ่มเติม

เรียลไทม์ในพริบตา: ขอแนะนำการสืบค้นข้อมูลอย่างต่อเนื่อง (Continuous Queries) ใน BigQuery เพื่อข้อมูลเชิงลึกที่อัปเดตแบบนาทีต่อนาที

ธุรกิจต่างๆ สร้างข้อมูลเรียลไทม์จำนวนมหาศาล ทว่าหลายแห่งยังคงพึ่งพาการวิเคราะห์แบบกลุ่ม (Batch-oriented) ที่เชื่องช้า BigQuery ได้รับความนิยมในการจัดการชุดข้อมูลขนาดใหญ่ แต่ปัจจุบันผู้ใช้ต้องการความสามารถแบบเรียลไทม์ เพื่อตอบสนองความต้องการนี้ BigQuery จึงได้รับการพัฒนาให้เป็นแพลตฟอร์มการวิเคราะห์แบบเรียลไทม์ที่ขับเคลื่อนด้วยเหตุการณ์ (Event-driven) วันนี้ Google ประกาศเปิดตัวรุ่นทดลองใช้ของระบบสืบค้นข้อมูลอย่างต่อเนื่องใน BigQuery ซึ่งช่วยให้ผู้ใช้สามารถจัดการสตรีมข้อมูลได้อย่างต่อเนื่องเพื่อรับข้อมูลเชิงลึกที่รวดเร็วและเป็นเรียลไทม์ยิ่งขึ้น อ่านเพิ่มเติม

สืบค้นข้อมูลของคุณในไม่กี่วินาทีด้วย Cloud SQL Studio

Cloud SQL Studio เครื่องมือขนาดกะทัดรัดสำหรับการสืบค้นฐานข้อมูลโดยตรงจากคอนโซล พร้อมใช้งานทั่วไปแล้วสำหรับ MySQL, PostgreSQL และ SQL Server โดยนำเสนออินเทอร์เฟซที่สอดคล้องและใช้งานง่ายในทุกเครื่องมือฐานข้อมูลที่รองรับ ช่วยลดความยุ่งยากในการเชื่อมต่อและความปลอดภัย ฟีเจอร์สำคัญประกอบด้วยเครื่องมือสำหรับสร้าง แก้ไข และจัดการฐานข้อมูลอย่างง่ายดาย รวมถึงผู้ช่วย AI ที่ช่วยให้ผู้ใช้เขียนคำสั่งสืบค้นโดยใช้ภาษาธรรมชาติ ซึ่งช่วยเพิ่มประสิทธิภาพการทำงานและประสิทธิผลในการบริหารจัดการฐานข้อมูล อ่านเพิ่มเติม

GenOps: การเรียนรู้จากโลกของสถาปัตยกรรมไมโครเซอร์วิสและ DevOps แบบดั้งเดิม

การจัดการแอปพลิเคชัน Generative AI มักตกเป็นหน้าที่ของทีมดูแลข้อมูล แต่แอปพลิเคชันเหล่านี้มีข้อกำหนดเฉพาะตัวที่คล้ายคลึงกับงานของทีม DevOps มากกว่าบทบาทด้านข้อมูลและ AI แบบดั้งเดิม ต่างจากวิทยาศาสตร์ข้อมูล (Data Science) ที่มุ่งเน้นการสร้างโมเดล Generative AI เกี่ยวข้องกับการสร้างบริการจากโมเดลและการผสานรวมข้อมูล โมเดล และ API รูปแบบนี้คล้ายกับสภาพแวดล้อมแบบไมโครเซอร์วิส (Microservices) ที่บริการต่างๆ ซึ่งทำงานร่วมกันได้จะถูกเรียกใช้งานผ่าน API บล็อกโพสต์นี้จะพาไปสำรวจความต้องการทีม 'GenOps' ใหม่เพื่อตอบสนองข้อกำหนดการดำเนินงานเฉพาะเหล่านี้ และพิจารณาว่าจะสามารถนำแนวทางปฏิบัติจากไมโครเซอร์วิสและ DevOps มาปรับใช้กับ Generative AI ได้อย่างไรอ่านเพิ่มเติม

มีอะไรใหม่ใน Assured Workloads: เปิดใช้งานการอัปเดตและแพ็กเกจควบคุมใหม่

การปฏิบัติตามข้อกำหนดเป็นกระบวนการที่ดำเนินอย่างต่อเนื่องและพัฒนาไปพร้อมกับองค์กรและการเปลี่ยนแปลงด้านกฎระเบียบ Assured Workloads ได้อัปเดตพอร์ตโฟลิโอด้วยการควบคุมและนโยบายใหม่ๆ ที่กำหนดโดยซอฟต์แวร์ เพื่อสนับสนุนข้อกำหนดด้านการปฏิบัติตามข้อกำหนดบน Google Cloud ได้ดียิ่งขึ้น อ่านเพิ่มเติม

ทดลองใช้งาน Gemini 1.5 Pro และการตรวจจับช่องโหว่

Google กำลังสำรวจว่าเครื่องมือ Generative AI จะสามารถเพิ่มความปลอดภัยของโค้ดได้อย่างไร เมื่อเร็วๆ นี้ พวกเขาได้ใช้ Gemini 1.5 Pro ในการทำวิศวกรรมย้อนกลับ (Reverse Engineer) มัลแวร์ WannaCry อย่างรวดเร็ว และระบุสวิตช์หยุดทำงาน (Killswitch) ได้ในเวลาเพียง 34 วินาที โมเดล AI นี้แสดงให้เห็นถึงศักยภาพในการปรับปรุงการตรวจจับและแก้ไขช่องโหว่ของโค้ด อย่างไรก็ตาม แนวทางนี้ยังอยู่ในขั้นตอนการทดลอง และจำเป็นต้องมีการพัฒนาและตรวจสอบความถูกต้องเพิ่มเติมก่อนที่จะพิจารณาให้เป็นเครื่องมือความปลอดภัยที่เชื่อถือได้ อ่านเพิ่มเติม