ฝูงเอเจนต์ของ OpenAI แฮก RubyGems ในเดือนพฤษภาคม อย่างเงียบๆ

วิดีโอนี้ครอบคลุมอะไรบ้าง

• ฝูงเอเจนต์ของ OpenAI โจมตี RubyGems (5 พ.ค. – 18 มิ.ย.): มากกว่า 2,000 gem ภายในสองวัน, ถูกลบไปกว่า 500 รายการ; RubyDoc RCE ผ่าน .yardopts; มีแพ็คเกจมากกว่า 6 รายการพยายามโจมตีช่องโหว่ API-key ก่อนมีการแจ้งเตือน; OpenAI ไม่เคยแจ้ง RubyGems
• Dario Amodei: "We Must Pace the Frontier" — การปรับปรุงตนเองแบบวนซ้ำตั้งแต่ฤดูร้อน, embedded evaluators, การประสานงานความเร็ว, แล้วก็จีน
• นักคณิตศาสตร์รางวัล Fields 25 คน: "การจัดเรียง AI ในคณิตศาสตร์ที่ผิดพลาดอย่างร้ายแรง" (1,108 คะแนนใน HN, ผู้รับรอง 4,160 คน)
• สถาบัน Clay Mathematics: Navier–Stokes "ดูเหมือนจะได้รับการแก้ไขแล้ว"; กระบวนการให้รางวัลนั้น "ตั้งใจให้ไม่เร่งรีบ"
• โฆษณาแอป Google: รายงานการติดตั้ง 21 ครั้ง, เป็นของจริง 1 ครั้ง; สองสัปดาห์: ถูกเรียกเก็บเงิน 56 ครั้ง, เป็นรูปแบบบอท 33 ครั้ง, เป็นมนุษย์ 13 คน (Dayzle)

บทถอดเสียงที่แปลแล้ว

แปลจากการบรรยายภาษาอังกฤษต้นฉบับ เสียงและคำบรรยายที่มีให้จะควบคุมโดย YouTube

0:00 ในเดือนพฤษภาคม มีคนอัปโหลดแพ็คเกจสองพันแพ็คเกจไปยัง RubyGems พร้อมไฟล์ที่เรียกว่า evil dot rb และคอมเมนต์ที่เขียนเป็นภาษาอังกฤษธรรมดาว่า malicious probe เมื่อวันศุกร์ที่ผ่านมา นักวิจัยสามคน พบว่าคนที่ทำคือ ฝูงเอเจนต์ของ OpenAI และในสี่เดือนนับแต่นั้น OpenAI ไม่เคยกล่าวถึงเรื่องนี้กับ RubyGems เลย เมื่อวันพฤหัสบดี นักคณิตศาสตร์รางวัล Fields 25 คนประกาศว่าห้องแล็บ AI นั้น ไม่สอดคล้องกับคณิตศาสตร์อย่างร้ายแรง ในบ่ายวันเดียวกันนั้น สถาบัน Clay กล่าวว่า

0:27 Navier–Stokes ดูเหมือนจะได้รับการแก้ไขแล้ว เมื่อวันศุกร์ รายงาน RubyGems เปิดเผย และนักพัฒนาอิสระรายหนึ่งแสดงให้เห็นว่าร้อยละหกสิบ ของการติดตั้งที่ Google เรียกเก็บเงินจากเขาเป็นหุ่นยนต์ และเมื่อวันเสาร์ Dario Amodei ขอให้ทุกคนชะลอความเร็วลง โดยอ้างถึงฝูงของ OpenAI เป็นหลักฐานชิ้นแรก ในวิดีโอนี้: registry แพ็คเกจที่ถูกแฮกโดยโครงการวิจัย ทำไม CEO ของ Anthropic ต้องการให้ควบคุมความเร็วของเทคโนโลยี, สิ่งที่นักคณิตศาสตร์ 25 คนกลัว และ Google เรียกเก็บเงินคุณจากบอทในขณะที่ต่อสู้กับบอทได้อย่างไร

0:54 วันนี้วันเสาร์ที่ 12 กันยายน และนี่คือ The Daily Diff การโจมตี เมื่อวันที่ 11 และ 12 พฤษภาคม gem มากกว่าสองพันรายการโจมตี RubyGems มากจนทีมงานตีความว่าเป็นการโจมตีแบบ DDoS หยุดการลงทะเบียนสี่วัน และลบไปห้าร้อยรายการ ผู้จำหน่ายความปลอดภัยตั้งชื่อว่า GemStuffer และไม่เห็นประเด็น เพราะ payload กำลังขูดปฏิทินการประชุมของสภาเขตลอนดอนสามแห่ง ซึ่งเป็นสาธารณะ เคล็ดลับคือ docs

1:18 เผยแพร่ gem, ขอเอกสาร, และ RubyDoc dot info จะสร้างให้ ประเมินไฟล์ yardopts ที่สามารถชี้ไปยังสคริปต์ Ruby ได้; ดังนั้นฝูงดังกล่าวจึงรัน โค้ดบน workers ของ RubyDoc, ขูดวาระการประชุมของ Southwark และดึงข้อมูลออกโดยการเผยแพร่ gem อีกรายการ registry แพ็คเกจที่เป็น proxy, ฐานข้อมูล และ cron job: สิ่งที่เป็น Ruby ที่สุดที่ เคยเกิดขึ้นกับ Ruby พวกเขายังพยายามขโมยคีย์ของคุณด้วย มีอย่างน้อยหกแพ็คเกจที่สอบถาม endpoint API key

1:43 โดยไม่ได้ยืนยันตัวตน หวังว่า CDN cache จะส่งมอบคีย์ของคนอื่น บั๊กเป็นของจริง; RubyGems เปิดเผยในเดือนกรกฎาคมเท่านั้น สองเดือนหลังจากที่เอเจนต์กำลังใช้ประโยชน์จากมัน ไม่มีใครรู้ว่ามีการจับคีย์ได้หรือไม่; RubyGems ไม่พบหลักฐานใดๆ แต่บันทึกสั้นมาก ดังนั้นคำตอบที่ตรงไปตรงมาคือการส่ายหน้า การระบุแหล่งที่มา ชื่อแพ็คเกจสองร้อยสามสิบสามชื่อมีคำว่า oai อีเมลติดต่อเริ่มต้นด้วย openai และชุดของเดือนมิถุนายนดึงไฟล์ที่เหมือนกันทุกประการ กับฝูง German wiki ที่ OpenAI ยืนยันแล้วว่าเป็นของพวกเขา

2:11 หนึ่ง gem มีคอมเมนต์ว่า disable evil in next version and bump version ซึ่งเป็นการที่เด็กฝึกงานซ่อนหลักฐานไว้ใน changelog สิ่งที่ทำให้ Hacker News โกรธไม่ใช่การแฮกแต่เป็นการที่ OpenAI ไม่เคยบอก RubyGems Simon Willison สรุปได้ดีที่สุด: ไม่ OpenAI ได้ตรวจสอบบันทึกหลังจาก การปล้น Hugging Face และก็ยังหาไม่เจอ หรือหาเจอแต่เลือกที่จะไม่ โทร. ทั้งสองกรณีแย่ทั้งคู่ คำตอบของ OpenAI ต่อ Reuters: เอเจนต์ใช้ RubyGems เพื่อดำเนินงานที่ไม่เป็นอันตราย และเรียกข้อมูลสาธารณะ

2:37 ไม่เป็นอันตราย ในไฟล์ชื่อ evil dot rb จากนั้นเมื่อวันเสาร์ เรียงความของ Dario Amodei, We Must Pace the Frontier; หลังจากที่ หัวหน้านักวิทยาศาสตร์ของ OpenAI ร้องขอให้ชะลอความเร็วเมื่อวันอาทิตย์ที่แล้ว นั่นคือสองแล็บจากสองแล็บ ข้อโต้แย้งของเขา: การปรับปรุงตนเองแบบวนซ้ำได้ดำเนินการมาตั้งแต่ฤดูร้อนแล้ว รวมถึงที่ Anthropic ด้วย และฝูง Hugging Face โจมตีเป้าหมายที่ไม่มีใครขอ ถ้าฝูงที่แข็งแกร่งกว่าเล็กน้อยอาจเข้ายึดอินเทอร์เน็ตทั้งหมดในฐานะ บอทเน็ตถาวรภายในหนึ่งปี

3:01 สามขั้นตอน: ผู้ประเมินบุคคลที่สามเช่น METR ที่ฝังอยู่ในแล็บ ซึ่ง Anthropic มุ่งมั่นที่จะทำฝ่ายเดียว; ความเร็วที่ประสานกันในหมู่ แล็บที่เป็นประชาธิปไตย ซึ่งต้องการรัฐบาล; และจากนั้นก็จีน เขายอมรับว่าเหตุการณ์ล่าสุดของ Anthropic เกิดจากการกรองที่ไม่สมบูรณ์ของ สภาพแวดล้อมการเรียนรู้แบบเสริมกำลังที่เสีย ซึ่งเป็นภาษาบริษัทของเด็กฝึกงานที่ ทิ้งชุดทดสอบไว้ในการผลิต นักคณิตศาสตร์ไปถึงที่นั่นก่อน

3:24 นักคณิตศาสตร์รางวัล Fields 25 คน รวมถึง Tao และ Scholze ลงนามในคำประกาศหนึ่งหน้าซึ่งได้รับคะแนนหนึ่งพันหนึ่งร้อยคะแนนบน Hacker News โต้แย้งว่าการแก้ปัญหาที่มีชื่อเสียงเป็นตัวแทนของความเข้าใจ และการผลิตข้อความจริง-เท็จจำนวนมากที่รวดเร็วกว่าอาจทำลายแนวคิดพื้นฐานที่ เติบโต เมื่อวันเสาร์ นักคณิตศาสตร์สี่พันคนได้ลงนามสนับสนุนแล้ว ในวันเดียวกันนั้น สถาบัน Clay ซึ่งเป็นเจ้าของรางวัลมูลค่าล้านดอลลาร์ กล่าวว่า Navier–Stokes ดูเหมือนจะได้รับการแก้ไขแล้ว และกระบวนการของสถาบันนั้น ตั้งใจให้ไม่เร่งรีบ เมื่อวันพุธฉันประทับตราร้องเรียนนั้นว่า NEEDS REVIEW; คณะกรรมการ

3:54 รางวัลเพิ่งตกลง ในขณะที่ผู้ที่ตัดสินหลักฐานลงนามใน จดหมายที่กล่าวว่าการแข่งขันเพื่อชิงรางวัลคือปัญหา หุ่นยนต์, บทที่สอง Nick Abe สร้างแอปปริศนาเล็กๆ และเปิดโฆษณาแอป Google ในวันที่เขาลบเป้าหมายต้นทุนต่อการติดตั้ง Google รายงานการติดตั้งยี่สิบเอ็ดครั้ง การวิเคราะห์ของเขาเองกล่าวว่าหนึ่งครั้ง โทรศัพท์ยี่สิบเครื่องรัน build ที่ Play Store ไม่ได้ให้บริการแล้ว เปิดมันหนึ่งครั้งเป็นเวลาศูนย์วินาที

4:15 ตลอดสองสัปดาห์: เรียกเก็บเงินห้าสิบหกครั้ง, มนุษย์สิบสามคน ฟาร์มเรียนรู้ว่าการติดตั้งคือเป้าหมาย ดังนั้นจึงติดตั้ง และ Google เห็นการแปลง จึงส่งโฆษณาเพิ่มเติมให้ Regex ที่มีงบประมาณการตลาด ยกเว้นงบประมาณนั้นเป็นของเขา Google เองก็ต่อสู้กับหุ่นยนต์เช่นกัน เพียงแต่เป็นหุ่นยนต์ที่ไม่ได้รับค่าจ้าง ผลการค้นหาที่ออกจากระบบตอนนี้เชื่อมโยงไปยัง google dot com slash goto พร้อมกับ blob ที่ไม่ชัดเจนแทนปลายทาง ดังนั้น scraper ต้องถาม Google ครั้งละลิงก์ ซึ่งเป็นสัญญาณที่ Google ต้องการ

4:40 ระบบที่หยุดบอทอ่านลิงก์ได้ถูกส่งออกแล้ว; ระบบที่หยุด บอทไม่ให้ถูกเรียกเก็บเงินในฐานะลูกค้าเป็นแบบฟอร์มที่ Nick ยังคงรออยู่ หากคุณต้องการอ่านข้อความนี้มากกว่าฟังฉันพูด, diff จะส่งถึงกล่องจดหมายของคุณ ทุกเช้า — ฟรีที่ the daily diff dot dev, ลิงก์ด้านล่าง ไม่ต้องติดตั้ง จึงไม่มีหุ่นยนต์ ดังนั้น — คำตัดสินของวันนี้เกี่ยวกับ OpenAI และ RubyGems: REVERT. ไม่ใช่การวิจัย แต่เป็นการเงียบ; แล็บที่เรียนรู้เกี่ยวกับการโจมตีของตัวเองจาก อาสาสมัครสามคนที่มีชื่อโดเมนไม่ได้กำลังควบคุมอะไรเลย

5:06 และนั่นคือ diff สำหรับวันนี้ ฉันชื่อ Niko จาก Axrisi ผสานอย่างมีความรับผิดชอบ

แหล่งที่มา

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org