ข้ามไปที่เนื้อหา
#การติดตั้งใช้งาน / วิศวกรรม
  1. Hacker News · AI76

    AgentRun เปิดตัวแบบโอเพนซอร์ส: เพิ่มความสามารถในการพัฒนาตนเองและการประมวลผลแบบคงทนให้กับ Agent Harness ที่มีอยู่

    Parcha Labs ได้เปิดโอเพนซอร์ส AgentRun แพลตฟอร์มเอเจนต์ที่เพิ่มความสามารถในการพัฒนาตนเอง การประมวลผลแบบคงทน และคอนโซลบน Claude Code, Codex, OpenCode และ pi ภายใต้สัญญาอนุญาต Apache-2.0

    ทำไมเรื่องนี้สำคัญ: AgentRun เพิ่มความสามารถในการพัฒนาตนเอง การประมวลผลแบบคงทน และคอนโซลบน harness ที่มีอยู่ เช่น Claude Code และ Codex และนำเสนอกรณีศึกษาที่เป็นรูปธรรมซึ่งต้นทุนการตรวจโค้ดลดลงจาก $6,451 ต่อเดือนเหลือ 18 เซนต์ต่อการรัน

  2. AWS Machine Learning Blog66

    AWS อัปเดต AgentCore runtime เริ่มเซสชันเร็วขึ้น 15 เท่า และเพิ่มคอมพิวต์ 4 เท่า

    AWS ประกาศอัปเดต Amazon Bedrock AgentCore runtime ซึ่งเป็นเลเยอร์คอมพิวต์แบบจัดการสำหรับเอเจนต์ โดยเซสชันเริ่มทำงานเร็วขึ้นถึง 15 เท่า ขยายคอมพิวต์ได้มากขึ้น 4 เท่า (สูงสุด 8 vCPU และ 32 GB พร้อมอิมเมจคอนเทนเนอร์สูงสุด 10 GB) และทำงานมีประสิทธิภาพมากขึ้นถึง 68% โดยแต่ละเซสชันยังคงอยู่ใน Firecracker MicroVM ที่แยกฮาร์ดแวร์ของตัวเอง เซสชันเริ่มทำงานภายในไม่ถึง 2 วินาทีไม่ว่าจะมีขนาดอิมเมจหรือจำนวนคอนเคอร์เรนซีเท่าใด เอเจนต์ที่ไม่ได้ใช้งานจะสเกลลงเหลือศูนย์ และเอเจนต์สามารถเมานต์และบันทึกงานลงในไฟล์ซิสเต็ม เช่น บัคเก็ต Amazon S3 ที่รองรับ FUSE เพื่อให้ข้อมูลยังคงอยู่ในขอบเขตความเชื่อถือ runtime นี้พร้อมใช้งานแล้ววันนี้ในภูมิภาค AWS ทั่วอเมริกาเหนือ อเมริกาใต้ ยุโรป และเอเชียแปซิฟิก

    ทำไมเรื่องนี้สำคัญ: เวอร์ชันใหม่ของ AgentCore runtime ปรับทั้งการเริ่มเซสชัน เพดานคอมพิวต์ และการคิดค่าหน่วยความจำไปพร้อมกัน มอบทางเลือกระหว่างการแยกสภาพแวดล้อมกับต้นทุนใหม่ให้กับเอเจนต์ที่ต้องทำงานเป็นเวลานาน

  3. SemiAnalysis85

    Nvidia กับโลกที่ไม่มี Jensen: Nvidia ในยุคหลังผู้ก่อตั้งจะเป็นอย่างไร

    SemiAnalysis ชี้ว่า Nvidia ถูกสร้างขึ้นรอบตัว Jensen Huang ซึ่งลาออกจากตำแหน่ง CEO หลังจาก 33 ปี และการจากไปของเขาทำให้การเดิมพันระยะยาวของบริษัท ข้อตกลงการจัดสรรชิป และการล็อกห่วงโซ่อุปทานส่วนตัวอ่อนแอลง บทความระบุว่า Nvidia มีผู้รายงานตรงประมาณ 60 คนภายใต้ Huang และขาดทีมผู้สืบทอดที่ลึก โดยมี Colette Kress เป็น CEO ชั่วคราว และมี Ian Buck กับ Jonah Alben ถูกเสนอชื่อเป็นผู้สมัครทางเทคนิคภายใน บทความยังเชื่อมโยงจังหวะเวลากับวอชิงตัน: มีการประเมินว่าชิป Nvidia ที่ถูกจำกัดมากกว่า 1.5GW ไปถึงจีน และ Remote Access Security Act ซึ่งผ่านสภาผู้แทนราษฎรด้วยคะแนน 369-22 กำลังรอการลงมติในวุฒิสภา

    ทำไมเรื่องนี้สำคัญ: SemiAnalysis ตรวจสอบว่าโครงสร้างที่ยึดผู้ก่อตั้งเป็นศูนย์กลาง ข้อตกลงห่วงโซ่อุปทาน และนโยบายจีนของ Nvidia อาจเปลี่ยนแปลงอย่างไรหลังการจากไปของ Jensen Huang และทำไมกฎหมายควบคุมการส่งออกจึงเคลื่อนไหวตอนนี้

  4. AWS Machine Learning Blog60

    AWS เปิดซอร์ส UAEF ระบบประเมินผลสำหรับ AI agents ที่ไม่ผูกกับเฟรมเวิร์ก

    AWS ได้เปิดซอร์ส UAEF (Universal Agent Evaluation Framework) ระบบที่ไม่ผูกกับเฟรมเวิร์ก ซึ่งใช้อะแดปเตอร์ในการปรับมาตรฐาน agent traces จาก LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore และ Langfuse ให้เป็น AgentTrace แบบมาตรฐานเดียว แล้วให้คะแนนด้วยเมตริกในตัว 36 รายการครอบคลุม 7 มิติ ผลลัพธ์ถูกจัดเก็บแยกตามการทดลองใน Amazon DynamoDB และ Amazon S3 เพื่อให้ทีมสามารถเปรียบเทียบเวอร์ชันของ agent กับ baseline ตรวจจับการถดถอยด้วยเกณฑ์เริ่มต้น 5 เปอร์เซ็นต์ และสร้างรายงานทางสถิติพร้อมข้อมูลเชิงลึกที่เขียนโดย LLM โพสต์ระบุว่าลูกค้าใน 12 องค์กรในอุตสาหกรรมโทรคมนาคม สุขภาพ และบริการทางการเงินได้ใช้ UAEF ก่อนการเปิดตัว และโค้ดภายใต้ Apache 2.0 ไลบรารี Python การติดตั้งด้วย CDK และโน้ตบุ๊กแยกตามเฟรมเวิร์กอยู่ในรีโพ GitHub awslabs/uaef

    ทำไมเรื่องนี้สำคัญ: ทีม AWS ได้เปิดซอร์ส UAEF ซึ่งใช้อะแดปเตอร์เพื่อรวมเส้นทางการทำงานของ agent จากเฟรมเวิร์กต่างๆ ให้เป็นรูปแบบเดียว แล้วให้คะแนนครอบคลุม 7 มิติด้วยเมตริก 36 รายการ มอบชั้นการประเมินที่นำกลับมาใช้ซ้ำได้สำหรับการเปรียบเทียบเวอร์ชันของ agent ข้ามเฟรมเวิร์ก

  1. The Decoder80

    Anthropic กล่าวว่า AI ลดเวลาการพอร์ต Claude ไปยัง GPU ของ AMD จากหลายเดือนเหลือสามวัน

    Anthropic กล่าวว่าได้พอร์ต Claude ไปยัง GPU ของ AMD ภายในสามวันโดยแทบไม่ต้องมีมนุษย์ intervene โดยใช้โมเดล frontier ของตนชื่อ Mythos เขียน kernel เกือบ 100 เปอร์เซ็นต์ด้วยตัวเอง Tom Brown ผู้ร่วมก่อตั้งกล่าวว่า Anthropic ฝึกและรัน Claude บน AWS Trainium, Google TPUs, Nvidia GPUs และ AMD GPUs โดยมองว่าเป็น compute pool เดียวที่สับเปลี่ยนได้ ตัวเลขมาจากการนำเสนอต่อนักลงทุนและยังไม่ได้รับการตรวจสอบอย่างอิสระ Anthropic อ้างว่าสามวันเทียบกับหกถึงสิบสองเดือนที่งานวิศวกรรมแบบดั้งเดิมต้องใช้ วัดจากการประมวลผล prompt ด้วย AMD MI355X GPUs

    ทำไมเรื่องนี้สำคัญ: คำกล่าวอ้างของ Anthropic ที่ว่าโมเดลของตัวเองพอร์ต Claude ไปยัง GPU ของ AMD ได้ในสามวันเป็นการทดสอบที่เป็นรูปธรรมว่า AI สามารถคลายการยึดเหนี่ยวของ CUDA ต่อการเลือกชิปได้หรือไม่

  2. vLLM Blog64

    vLLM-Omni ทดสอบ MiniMax H3-Image บน Vera Rubin: สร้างภาพ 4K ใน 0.87 วินาที และ 6,115 ภาพต่อชั่วโมง

    vLLM-Omni นำ MiniMax H3-Image มาทำงานบน NVIDIA Vera Rubin และวัดเวลาแฝงมัธยฐานได้ 0.87 วินาทีสำหรับการสร้างภาพจากข้อความเป็น 4096×4096 แบบเนทีฟบนสี่ GPU พร้อมด้วย 6,115 ภาพต่อชั่วโมงในการกำหนดค่าด้านทรูพุตแยกต่างหาก H3-Image เป็นโมเดลสร้างและแก้ไขภาพจากข้อความแบบเปิดน้ำหนัก ที่จับคู่เอนโคเดอร์ Qwen3-VL กับ DiT แบบ dense 33.1B และ VAE สำหรับภาพ จัดการทั้งสองงานในหกขั้นตอนการสุ่มตัวอย่างด้วยภาพอ้างอิงสูงสุด 16 ภาพ ทีมรายงานว่าใช้ MXFP8 DiT GEMMs, Ulysses SP4, AdaLN caching และการเปลี่ยนแปลงการถอดรหัส VAE ที่ลดเวลาการถอดรหัสจาก 2.635 วินาทีเหลือ 0.213 วินาที พร้อมระบุสูตรการตั้งค่าสำหรับฮาร์ดแวร์ AMD, Intel, Huawei Ascend และ Moore Threads

    ทำไมเรื่องนี้สำคัญ: การทดสอบของ vLLM-Omni แสดงให้เห็น MiniMax H3-Image ทำงานบน Vera Rubin ด้วยเวลาแฝง 4K ต่ำกว่าหนึ่งวินาที พร้อมการกำหนดค่าต่อฮาร์ดแวร์และแบบจำลองต้นทุนสำหรับเศรษฐศาสตร์ของการให้บริการ

  3. vLLM Blog60

    vLLM เพิ่มการรองรับ day-0 สำหรับ Inkling 2 Small ของ Thinking Machines

    vLLM รองรับ Inkling 2 Small ของ Thinking Machines ใน day 0 ซึ่งเป็น MoE แบบมัลติโหมดข้อความและภาพที่มีพารามิเตอร์รวม 594B และพารามิเตอร์ที่ใช้งาน 17B และมีบริบทสูงสุด 1M โทเค็น การผสานรวมนี้เพิ่ม kernel fusion กับ PDL, sequence parallelism สำหรับ prefill ที่ลดขั้นตอน prefill 8K โทเค็นลง 22% ที่ TP4 และ 26% ที่ TP8 และ Gluon relative attention decode kernel ที่ลดขั้นตอน decode แบบ batch-1 ที่บริบท 100K จาก 15.1 ms เหลือ 4.8 ms vLLM รายงานสูงสุด 630 TPS/user ที่ TP4 บน GB200 ด้วย acceptance length 3.5 และยังรองรับ LoRA และ RL ผ่าน SkyRL

    ทำไมเรื่องนี้สำคัญ: vLLM รองรับ Inkling 2 Small ในวันเปิดตัวพร้อมให้ข้อมูลการปรับแต่งที่เฉพาะเจาะจงของ kernel fusion, sequence parallelism และ Gluon decode kernel ซึ่งเป็นประโยชน์ต่อทีมที่ปรับใช้โมเดล MoE ขนาดใหญ่

  4. vLLM Blog72

    vLLM ให้บริการ DeepSeek-V4.1-Flash บน Vera Rubin NVL72 ด้วยปริมาณงาน吞吐 58 เท่าของ GB300 NVL72

    vLLM รายงานการให้บริการ DeepSeek-V4.1-Flash บนตู้แร็ค NVIDIA Vera Rubin NVL72 เพียงตู้เดียวที่ 1.7M โทเคน/วินาที ต่อ GPU และ 387 โทเคน/วินาที ต่อผู้ใช้ คิดเป็น 58 เท่าของ GB300 NVL72 โดยพุ่งสูงสุดที่ 2.52M โทเคน/วินาที และ 1,810 โทเคน/วินาทีสำหรับผู้ใช้รายเดียว ผลตอบแทนเหล่านี้มาจากเคอร์เนลที่สร้างใหม่สำหรับโดเมนหน่วยความจำแยกส่วนและเทนเซอร์คอร์ FP4 ของ Rubin เส้นทางการถอดรหัส TP8 เฉพาะทาง และพูล KV และ Engram ทั่วทั้งแร็คที่แชร์ผ่าน NVLink ด้วยการรวมคำนำหน้า (prefix) ทั่วทั้งแร็คและการกำหนดเส้นทางตามภาระงานของ Dynamo อัตราการเข้าถึงคำนำหน้าจึงคงอยู่ที่ 96.5-97% แม้ในสภาวะที่มีการทำงานพร้อมกันสูง

    ทำไมเรื่องนี้สำคัญ: โพสต์ที่สามของ vLLM เกี่ยวกับ DeepSeek-V4.1-Flash อธิบายรายละเอียดว่าเคอร์เนลเฉพาะสำหรับ Rubin และการรวมหน่วยความจำทั่วทั้งแร็คช่วยเพิ่มปริมาณงาน吞吐ได้ 58 เท่าเมื่อเทียบกับ GB300 NVL72 ซึ่งเป็นข้อมูลอ้างอิงที่เป็นรูปธรรมสำหรับการปรับแต่งการให้บริการในระดับขนาดใหญ่

  5. Google Blog · AI78

    Google เปิดตัว Gemini Decisions API และโมเดล Gemini Decision 1 สำหรับการตัดสินใจแบบชุดปิดที่รวดเร็ว

    Google เปิดตัว Gemini Decisions API ซึ่งขับเคลื่อนโดยโมเดลใหม่ Gemini Decision 1 (gemini-decision-1) และพร้อมใช้งานผ่าน Gemini API ใน Google AI Studio อินพุตมัลติโมดัลเดียวสูงสุด 256K โทเค็นสามารถตรวจสอบกับคำถามแบบใช่/ไม่ใช่ แบบเลือกตอบ และแบบให้คะแนนตามเกณฑ์ได้สูงสุด 1,000 ข้อในการส่งต่อเพียงครั้งเดียว โดยคืนค่าความน่าจะเป็นและคะแนนความเชื่อมั่นที่ความหน่วงตั้งแต่ต้นจนจบ 150-250 มิลลิวินาที ในราคา 0.10 ดอลลาร์ต่อ 1M โทเค็นอินพุต โดยไม่มีค่าใช้จ่ายโทเค็นเอาต์พุต Google กล่าวว่าโมเดลนี้เป็นผู้นำชุดการทดสอบมาตรฐานด้วยค่าความคลาดเคลื่อนของการปรับเทียบต่ำที่สุด และมีราคาถูกกว่า Gemini 3.5 Flash-Lite กับ Interactions API เกือบ 5 เท่า การใช้งานภายในรวมถึงการกำหนดเส้นทางโมเดลใน Gemini Notebook การสร้างไวร์เฟรมใน Stitch และการตรวจสอบเนื้อหาเชิง adversar​​ial สำหรับเครื่องมือ MCP ใน Search

    ทำไมเรื่องนี้สำคัญ: เอนด์พอยต์ใหม่ของ Google ให้คะแนนคำถามมัลติมอดัลแบบใช่/ไม่ใช่ แบบเลือกตอบ และแบบตามเกณฑ์ได้สูงสุด 1,000 ข้อในครั้งเดียวที่ 150-250 มิลลิวินาที มอบทางเลือกที่ถูกกว่าการเรียกแบบเจเนอเรทีฟสำหรับการกำหนดเส้นทางของเอเจนต์และการตรวจสอบนโยบาย

  1. Simon Willison78

    วิดีโอโรดโชว์ IPO ของ Anthropic เผยรายละเอียดกลยุทธ์การฝึกและให้บริการ Claude บนหลายชิป

    Anthropic เริ่มโรดโชว์ IPO เมื่อวานนี้ และวิดีโอโรดโชว์ได้เปิดเผยรายละเอียดที่ไม่เคยเผยแพร่มาก่อนเกี่ยวกับการดำเนินธุรกิจ รวมถึงส่วนเกี่ยวกับกลยุทธ์การประมวลผลที่พูดคุยกับ Tom Brown ผู้ร่วมก่อตั้ง Brown กล่าวว่า Anthropic ฝึกและให้บริการ Claude บน AWS Trainium, Google TPUs, NVIDIA GPUs และ AMD GPUs และเมื่อบริษัทเริ่มทำงานกับ AMD GPUs ในปีนี้ ระบบที่ชื่อ Mythos ทำให้ Claude ทำงานบน AMD ได้ในสามวันโดยแทบไม่ต้องมีการแทรกแซงจากมนุษย์ โดยพอร์ตหรือเขียนเคอร์เนลเกือบ 100% เขายังอธิบายถึงตัวคูณการประมวลผลว่าเป็นปัจจัยขับเคลื่อนที่สองของความได้เปรียบด้านการประมวลผล โดยกล่าวว่าตัวคูณแต่ละตัวซ้อนทับบนตัวก่อนหน้า และ Claude อาจค้นพบมันได้ด้วยตัวเองในที่สุด

    ทำไมเรื่องนี้สำคัญ: วิดีโอโรดโชว์ IPO ของ Anthropic เผยรายละเอียดกลยุทธ์การฝึกและให้บริการบนหลายชิปครอบคลุมสี่ตระกูลชิป รวมถึงการพอร์ตไปยัง AMD ที่ Claude ช่วยทำเสร็จในสามวัน

  2. OpenRouter Announcements65

    OpenRouter วัดต้นทุนบริบทของ MCP, CLI และ skills บนงาน GitHub งานเดียว

    OpenRouter วัดงาน GitHub งานเดียวกันผ่าน GitHub MCP server, gh CLI และ gh skill บน Claude Sonnet 5.5, GPT-6 Luna และ Gemini 3.8 Flash บน Sonnet 5.5 ทั้งสามตอบถูก แต่ CLI ใช้ 1,421 input tokens, skill ใช้ 3,315 และ MCP server ใช้ 59,417 พร้อมเครื่องมือเริ่มต้น 46 ตัว ซึ่งคำนิยามเพียงอย่างเดียวเพิ่ม 19,436 tokens ต่อคำขอ การจำกัด server ให้เหลือสองเครื่องมือลดงานเหลือ 23,228 tokens การจำกัดผลลัพธ์ที่ 4,000 ตัวอักษรลดเหลือ 5,357 และ Tool Search ลดต้นทุนล่วงหน้าของ 46 เครื่องมือเหลือต่ำกว่า 600 tokens แม้จะลดต้นทุนทั้งงานบน Sonnet 5.5 ลงครึ่งหนึ่งแต่กลับเพิ่มขึ้นบน Claude Haiku 5.5

    ทำไมเรื่องนี้สำคัญ: การเปรียบเทียบที่วัดได้ของ OpenRouter แสดงให้เห็นว่า MCP server, CLI และ skill ใช้บริบทเท่าใดในงาน GitHub งานเดียวกัน และการตัดทอนผลลัพธ์เครื่องมือหรือการเลื่อนคำนิยามออกไปเปลี่ยนค่าใช้จ่ายตรงไหน

  3. OpenRouter Announcements60

    OpenRouter ทดสอบว่า fp8 และ fp4 quantization ส่งผลต่อคุณภาพและราคาของ LLM อย่างไร

    OpenRouter ได้รันงาน exact-answer 280 งานกับ six endpoints ของ Qwen3.8 27B เมื่อวันที่ 20 ตุลาคม 2026 และไม่พบความแตกต่างด้านความแม่นยำระหว่าง fp16, fp8 และ fp4 โดยทั้งหกได้คะแนนระหว่าง 98.3% ถึง 99.2% จาก 1,455 endpoints มี 59.5% ที่ไม่ระบุ precision เลย และ fp8 เป็นรูปแบบที่ติดป้ายมากที่สุดที่ 23.6% precision ที่ต่ำกว่ามีราคาถูกกว่าสำหรับโมเดลส่วนใหญ่แต่ไม่ใช่ทั้งหมด และการเลือกผู้ให้บริการส่งผลต่อราคามากกว่า precision โดย endpoint ที่มี precision เดียวกันและแพงที่สุดมีค่ามัธยฐานเป็น 1.72 เท่าของที่ถูกที่สุด

    ทำไมเรื่องนี้สำคัญ: OpenRouter วัด endpoints fp8, fp4 และ fp16 ของโมเดลหนึ่งๆ across 240 exact-answer tasks และไม่พบช่องว่างความแม่นยำที่ตรวจพบได้ ขณะที่ความแตกต่างของราคาเป็นไปตามผู้ให้บริการมากกว่า precision

  4. LangChain Blog60

    LangChain อธิบายวิธีที่ Deep Agents จัดการบริบทโดยไม่เก็บทุกอย่างไว้ในหน้าต่าง

    LangChain ให้รายละเอียดว่า Deep Agents harness โอเพนซอร์สของบริษัทใช้มิดเดิลแวร์อย่างไรเพื่อต่อสู้กับ context rot ในการรันเอเจนต์ระยะยาว ผลลัพธ์จากเครื่องมือที่มีขนาดเกินประมาณ 20,000 โทเคนและข้อความผู้ใช้ที่เกิน 50,000 โทเคนจะถูกย้ายไปยังไฟล์โดยแสดงเพียงตัวอย่าง ขณะที่การสรุปจะย่อข้อความเก่าเมื่อการใช้งานถึง 85% ของหน้าต่างบริบท สกิล ซับเอเจนต์ และไฟล์หน่วยความจำระยะยาวแบบมาร์กดาวน์ช่วยให้หน้าต่างของเอเจนต์หลักมีขนาดเล็กและให้หน่วยความจำส่งต่อข้ามโมเดลและผู้ให้บริการ

    ทำไมเรื่องนี้สำคัญ: LangChain อธิบายว่า Deep Agents harness โอเพนซอร์สใช้มิดเดิลแวร์เพื่อย้าย สรุป และแยกบริบทอย่างไร ซึ่งเป็นรูปแบบที่นำกลับมาใช้ซ้ำได้สำหรับเอเจนต์ในงานระยะยาว

  5. NVIDIA Blog60

    NVIDIA มอบ OpenShell Agent Runtime ให้ CNCF และเพิ่มเครื่องมือ DSX Kubernetes

    NVIDIA กำลังมอบ OpenShell ซึ่งเป็นรันไทม์โอเพนซอร์สสำหรับการรักษาความปลอดภัยและการกำกับดูแลเอเจนต์อัตโนมัติ ให้แก่ Cloud Native Computing Foundation ในฐานะโครงการ Sandbox และยังมีส่วนร่วมใน Agent Substrate ที่นำโดย Google NVIDIA ประกาศองค์ประกอบใหม่สามส่วนของ DSX AI Factory Platform ได้แก่ NVIDIA Kubernetes Engine และ NVIDIA Kubernetes Recipes ซึ่งขณะนี้อยู่ในตัวอย่างสาธารณะ และ NVIDIA Snapshot ซึ่งกู้คืนรีพลิกาที่บันทึกจุดตรวจในไม่กี่วินาทีโดยไม่ต้องโหลดโมเดลใหม่หรือวอร์มอัพ Crusoe ทดสอบ GLM-5.3 บน Crusoe Cloud และลดเวลาพร้อมใช้งานของเวิร์กโหลดจากประมาณแปดนาทีเหลือ 31 วินาที ขณะที่ Saturn Cloud ลดเวลาสตาร์ท vLLM จากระหว่างสองถึง 8.5 นาทีเหลือหกนาที 34 วินาที

    ทำไมเรื่องนี้สำคัญ: NVIDIA มอบ OpenShell รันไทม์ความปลอดภัยของเอเจนต์ให้ CNCF และเพิ่มเครื่องมือ Kubernetes สำหรับ GPU AI factories โดยผลลัพธ์เบื้องต้นของ Snapshot ลดเวลาสตาร์ทการอนุมานจากนาทีเหลือวินาที

  1. Hugging Face Blog60

    Hugging Face อธิบายโมเดลการตัดสินใจและการรองรับใน Transformers และ llama.cpp

    Hugging Face เผยแพร่บทอธิบายเกี่ยวกับโมเดลการตัดสินใจ ซึ่งรับสถานะพร้อมคำถามที่มีชนิดข้อมูลและคืนค่าความน่าจะเป็นเหนือคำตอบที่กำหนดไว้ล่วงหน้าแทนการสร้างข้อความ โพสต์ดังกล่าวลงรายละเอียดเกี่ยวกับ primitive ของ choice, score และ noul สูตรความเชื่อมั่น และการรองรับใหม่ผ่าน DecisionPipeline และ AutoModelForDecision ของ Transformers, endpoint /v1/systemone ที่ใช้ร่วมกันใน Transformers และ llama.cpp, แท็ก Hub สำหรับการค้นพบ และการ fine-tuning ด้วย Trainer API พร้อมระบุว่า endpoint เดียวกันยังใช้งานได้กับ autoregressive LLM ที่เข้ากันได้โดยการให้คะแนน logits ของคำตอบในการ forward pass แบบแบตช์

    ทำไมเรื่องนี้สำคัญ: Hugging Face อธิบายว่าโมเดลการตัดสินใจเปลี่ยนการจำแนกประเภทให้เป็นอินเทอร์เฟซที่มีชนิดข้อมูลและไม่ใช่เชิงสร้างสรรค์อย่างไร และแสดงวิธีให้บริการและ fine-tune โมเดลเหล่านี้ด้วย Transformers และ llama.cpp

  2. OpenRouter Announcements72

    OpenRouter ทดสอบโมเดลวิชัน 15 ตัวและ Mistral OCR กับเอกสารสแกน

    OpenRouter ทดสอบโมเดลวิชัน 15 ตัว, Mistral OCR และ Tesseract กับภาพสแกนคุณภาพต่ำที่สร้างขึ้นเองแปดภาพ และ Claude Opus 5.5 แม่นยำที่สุดโดยได้ค่าสำคัญ 262 จาก 264 ค่าถูกต้อง ในราคา $16.42 ต่อ 1,000 หน้า ขณะที่ Mistral OCR คุ้มค่าที่สุดด้วย 258 จาก 264 ในราคา $2.02 บนใบเสร็จที่จางลง GPT-6 Luna และ GPT-6.1 Sol สร้างตัวเลขบัตร ชื่อเซิร์ฟเวอร์ และรหัส wifi ขึ้นมาเอง ซึ่งเป็นข้อผิดพลาดที่อัตราความผิดพลาดระดับตัวอักษรไม่เผยให้เห็น โพสต์นี้มีโค้ดสำหรับถอดความภาพสแกน ปิดการให้เหตุผล ตรวจสอบไขว้ระหว่างสองโมเดลจากห้องแล็บต่างกัน และรัน Mistral OCR ผ่านปลั๊กอิน file-parser

    ทำไมเรื่องนี้สำคัญ: การทดสอบเชิงปฏิบัติของโมเดลวิชัน 15 ตัวพร้อม Mistral OCR และ Tesseract กับภาพสแกนคุณภาพต่ำแปดภาพ พร้อมโค้ดที่รันได้สำหรับตรวจสอบไขว้ระหว่างสองโมเดลเพื่อจับค่าที่ถูกสร้างขึ้นมา

  1. Anthropic · Claude.dev60

    คู่มือของ Anthropic ในการเลือกใช้ Claude Fable 5.2, Opus 5.5, Sonnet 5.5 และ Haiku 5.5

    Anthropic เผยแพร่คู่มือที่แนะนำให้นักพัฒนเริ่มงานเขียนโค้ดและงานความรู้ส่วนใหญ่ด้วย Claude Opus 5.5 ที่ระดับความพยายามปานกลางตามค่าเริ่มต้น เนื่องจากมีค่าใช้จ่ายต่อโทเคนเพียงครึ่งหนึ่งของ Fable 5.2 คู่มือระบุว่า Sonnet 5.5 เหมาะกับงานประจำวันที่ขอบเขตชัดเจน, Haiku 5.5 เหมาะกับงานจำแนกประเภท ปริมาณมาก การจัดเส้นทาง และงานเอเจนต์ย่อย ส่วน Fable 5.2 เหมาะกับโครงการเขียนโค้ด การเงิน และวิทยาศาสตร์ที่ยากที่สุด หรือการรันระยะยาวโดยไม่มีผู้ดูแล นอกจากนี้ยังแนะนำให้ปรับระดับความพยายามก่อนสลับโมเดล และระบุว่าใน SWE-bench Pro การใช้ Opus 5.5 ที่ระดับต่ำแล้วรันซ้ำงานที่ล้มเหลวที่ระดับสูงผ่านประมาณ 97% ของงาน ด้วยต้นทุนประมาณ $0.17 ต่องาน เทียบกับ 95.3% ที่ต้นทุน $0.29 เมื่อใช้ระดับสูงทุกงาน

    ทำไมเรื่องนี้สำคัญ: คู่มือของ Anthropic เองจับคู่โมเดล Claude และระดับความพยายามแต่ละแบบกับประเภทงานที่ชัดเจน พร้อมการเปรียบเทียบต้นทุนต่องานและเบนช์มาร์กเพื่อใช้ในการเลือก

  2. Zyphra Research78

    Zyphra เปิดตัว ZONOS3-Mini โมเดล TTS โคลนเสียงแบบ zero-shot ภายใต้ Apache 2.0 ที่รันบนอุปกรณ์

    Zyphra เปิดตัว ZONOS3-Mini โมเดล text-to-speech แบบ sparse MoE ที่มีพารามิเตอร์ใช้งานจริง 100M และพารามิเตอร์รวม 800M ภายใต้สัญญาอนุญาต Apache 2.0 ฝึกบน NVIDIA H100 จำนวน 112 ตัวใน 2.5 วัน ทำเวลา time-to-first-audio ได้ต่ำกว่า 570 ms ในเบราว์เซอร์บน Pixel 9 และต่ำกว่า 150 ms บน M3 MacBook Air พร้อมรันไทม์สำหรับ WebGPU, SGLang, vLLM และ GGML โมเดลนี้เพิ่มการควบคุมอัตลักษณ์ สำเนียง คุณภาพ อารมณ์ และการแสดงออก รวมถึงการปรับระดับคำ และ Zyphra รายงานว่าอยู่อันดับหนึ่งในกลุ่มโมเดลเปิดบน benchmark ใหม่ ZTTS2-Eval

    ทำไมเรื่องนี้สำคัญ: โมเดล TTS แบบ MoE ขนาดกะทัดรัดของ Zyphra ผสานการโคลนเสียงแบบ zero-shot เข้ากับการควบคุมการแสดงออกระดับคำ พร้อมรันแบบเรียลไทม์บนโทรศัพท์และแล็ปท็อป

  3. Google Developers Blog60

    Google Cloud MaxText เพิ่ม context parallelism สำหรับการฝึกโมเดลบริบทยาวบน TPU

    Google Cloud เปิดตัวการรองรับการฝึกโมเดลบริบทยาวใน MaxText v0.2.4 ซึ่งเป็นเฟรมเวิร์กการฝึกแบบโอเพนซอร์สบน JAX โดยเพิ่มกลยุทธ์ context-parallel สี่แบบบน Cloud TPU ได้แก่ All-gather, A2A (DeepSpeed Ulysses), P2P (Ring Attention) และไฮบริด A2A + P2P (USP) ผลทดสอบกับ Llama 3.1 8B ทำได้ 70% MFU บน TPU 5p ที่ความยาวลำดับสูงสุด 4 ล้านโทเคน และขยายบริบทได้ถึง 14 ล้านโทเคนทั้งบน TPU 5p และ TPU 7 โดย TPU 7 รักษาระดับ 50% MFU ที่ต่ำกว่า 6 ล้านโทเคน เวอร์ชันนี้เผยแพร่บน PyPI, ใน Docker images และบน GitHub main พร้อมสูตรตัวอย่างสำหรับ TPU 7 และ TPU 5p

    ทำไมเรื่องนี้สำคัญ: กลยุทธ์ context-parallel สี่แบบของ MaxText บน Cloud TPU พร้อมตัวเลข MFU จากผลทดสอบกับ Llama 3.1 8B ช่วยให้ทีมต่างๆ มีข้อมูลอ้างอิงที่ชัดเจนในการเลือกวิธีฝึกโมเดลที่ความยาวลำดับหลายล้านโทเคน

  4. Anthropic Research71

    Anthropic ทดสอบ Claude Fable 5.2 กับการออกแบบอิเล็กทรอนิกส์ในโลกจริง

    Anthropic รายงานว่า Claude Fable 5.2 ออกแบบอุปกรณ์อิเล็กทรอนิกส์สามชิ้น ได้แก่ ลำโพงประชุม ฮับผู้ช่วยเสียง และสัตว์เลี้ยงเสมือนแบบพกพา จากคำสั่งเพียงเล็กน้อย และ Diode Computers ได้สร้างต้นแบบที่ใช้งานได้จากไฟล์การออกแบบของมันโดยไม่ต้องแก้ไขวงจร บนเกณฑ์มาตรฐาน PCB Gym ภายในของ Diode นั้น Fable 5.2 ทำคะแนนได้ 69% เทียบกับ 25% ของ Fable 5 และทำได้ 83.5% บน BenchCAD 2.1 สาธารณะ ซึ่งเกือบเป็นสองเท่าของ Claude Fable 5.1 อุปกรณ์เหล่านี้ยังคงเป็นต้นแบบที่ยังไม่ผ่านการตรวจสอบทางไฟฟ้า การปรับแต่งเสาอากาศ การทดสอบความร้อน หรือการรับรอง และ Claude ไม่ได้เชื่อมต่อกับอุปกรณ์ทดสอบหรือเครื่องจักรการผลิต

    ทำไมเรื่องนี้สำคัญ: รายงานของ Anthropic เองเกี่ยวกับ Claude Fable 5.2 ที่ออกแบบอุปกรณ์อิเล็กทรอนิกส์ที่ใช้งานได้สามชิ้น แสดงให้เห็นว่าโมเดลก้าวหน้าไปไกลเพียงใดจากเลย์เอาต์ PCB บางส่วนไปสู่การสร้างต้นแบบฮาร์ดแวร์แบบครบวงจร