Клод сулрахыг хэрхэн илрүүлэх вэ (бодит өгөгдлөөр)

Энэ видео юуг хамардаг

• Клод нээлтийн дараа ухаангүй болдог: онол нь тэг өдрийн цагтай таарч байна
• livenerf: Опус 5.5-ыг нээлтийн долоо хоногоос эхлэн 30 хоногийн цаг хэмжилт
• Сулралтыг хэрхэн илрүүлэх вэ: 78 заримдаа зөв асуулт
• Юуг харж чадах вэ: 7.5 оноо, мөн токенын тоо эхлээд хөдөлдөг
• Харалган цэг: Опус 5 солигдсон болон 8 буруу хариултын түлхүүр

Орчуулсан бичлэг

Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.

Клод нээлтийн дараа ухаангүй болдог: онол нь тэг өдрийн цагтай таарч байна

0:00 Хүн бүр Клод нээлтийн дараа хэдэн долоо хоногийн дараа ухаангүй болдог гэдгийг мэднэ. Тиймээс нэг хөгжүүлэгч Опус 5.5-ыг нээлтийн долоо хоногоос эхлэн цаг хэмжсэн юм. мөн цаг нь хэн ч одоохондоо мэдэх боломжгүй байсныг хэлж байна. Энэ видео дээр гурван асуулт байна. Та сулралтыг хэрхэн илрүүлэх вэ? Энэ тоолуур юуг харж чадах вэ? Мөн Антропик юу гэж хэлдэг вэ? Репогийн талархлын хэсэгт нэг мөр намайг чангаар инээлгэсэн.

0:20 Би үүнд эцэст нь хүрэх болно. Өнөөдөр есдүгээр сарын 30-ны Лхагва гараг, энэ бол The Daily Diff. Өнөөдөр гурван түүх байна, хамгийн том нь live nerf гэсэн GitHub репо юм.

livenerf: Опус 5.5-ыг нээлтийн долоо хоногоос эхлэн 30 хоногийн цаг хэмжилт

0:30 Олон сарын турш хүмүүс Антропик загваруудаа нээлтийн дараа чимээгүйхэн сулруулдаг гэж ярьж байсан. Ердийн таамаглалууд нь шахагдсан загвар, ижил нэр дор жижиг загвар эсвэл зүгээр л бага бодох явдал юм. Репо өнөөг хүртэлх бүх маргааныг vibes vs vibes гэж нэрлэдэг. Опус 5.5 есдүгээр сарын 22-нд гарсан. мөн долоо хоногийн өмнө би танд энэ нь бие даасан самбарыг тэргүүлж, дундаж загвараас гурван дахин олон үг бичсэн гэж хэлсэн. Хоёр хагас өдрийн дараа ninja hawk гэгддэг хөгжүүлэгч цагийг эхлүүлсэн.

0:59 өдөрт нэг удаа гучин өдрийн турш, хэн ч засах боломжгүй бүртгэлүүдтэйгээр. Hacker News-ийн сэдэв бараг 800 оноо авч, багийн чат шиг хуваагдсан. Нэг тайлбарлагч хэлэхдээ, ихэнх мэдээлэгдсэн тохиолдлуудад загваруудыг сулруулах нь бодит биш. Өөр нэг нь хүмүүс зүгээр л шинэ түвшний оюун ухаанд дасаж байна гэж хэлдэг. Мөн нэг Claude Code-ийн туршлагатай хэрэглэгч одоо энэ удаагийн сессийг үнэлэх цонхыг үргэлж хаадаг, учир нь Клодыг үнэлэх нь түүнийг улам дордуулдаг юм шиг санагдсан. Үе тэнгийнхний хяналт. Тэгэхээр, нэгдүгээр асуулт, та сулралтыг хэрхэн илрүүлэх вэ?

Сулралтыг хэрхэн илрүүлэх вэ: 78 заримдаа зөв асуулт

1:27 Та ойролцоогоор хорин гурван зуун хүнд шалгалтын асуултуудаас эхэлдэг. мөн Опус эхний оролдлогоор ерэн гурван хувийг зөв хийдэг. энэ нь илрүүлэгчид хэрэггүй, учир нь үргэлж зөв хариулдаг асуулт унаж чадахгүй. Ерэн долоон хувь нь үргэлж зөв эсвэл үргэлж буруу байсан. мөн заримдаа л зөв хариулдаг далан найм нь самбар болсон. Ижилхэн заавар, ямар ч хэрэгсэлгүй, мөн хиймэл оюун ухааны шүүгчгүйгээр яг таарсан үнэлгээ хийдэг. учир нь шүүгч ч бас өөрчлөгдөх болно. Энэ нь толгойгүй Claude Code-ээр дамжуулан Max захиалга дээр ажилладаг.

1:55 учир нь API хувилбарын үнэ сард ойролцоогоор нэг мянга зургаан зуун доллар байсан. Мөн Claude Code хувилбар нь бэхлэгдсэн, учир нь репогийн үгээр хэлбэл, өөрчлөгдсөн бэхэлгээ нь өөрчлөгдсөн загвар шиг харагддаг. Статистик нь Anthropic-ийн Эван Миллерийн бичсэн "Үнэлгээнд алдааны багана нэмэх" нэртэй өгүүллээс ирсэн. Антропик. Тиймээс Антропикийн өөрийнх нь математик одоо Антропикийг шалгаж байна, энэ нь академик хувилбар юм. үйлчилгээний нөхцлийг хэрэглэгчийн дэмжлэгт буцаан иш татахтай адил.

Юуг харж чадах вэ: 7.5 оноо, мөн токенын тоо эхлээд хөдөлдөг

2:19 Хоёрдугаар асуулт, энэ юуг харж чадах вэ? Арван өдрийн цонхонд ойролцоогоор долоо хагас оноо унасан. Тоног төхөөрөмж ажиллаж байгааг батлахын тулд зохиогч Клодын хүчин чармайлтыг зориудаар бууруулсан. Дунд зэргийн хүчин чармайлт нь гаралтыг дөрөвний нэгээр, оноог ердөө дөрвөн оноогоор бууруулсан. Бага хүчин чармайлт нь гаралтыг бараг гуравны хоёроор бууруулсан, найман оноогоор. Энэ бол хулгайлах хэсэг юм. Бага бодох нь хариултанд харагдахаасаа өмнө токенын тоонд харагддаг.

2:43 Тиймээс загварынхаа хувилбарыг бэхэлж, даалгавар тутамд гаралтын токенуудыг бүртгэж, мөн өөрийн хэд хэдэн хөлдөөсөн асуултыг хадгалаарай. Хэрэв таны агент гэнэт богинохон бичдэг бол Reddit-ийг шалгахаасаа өмнө бүртгэлээ шалгаарай. Мөн энд үнэнч хэсэг байна.

Харалган цэг: Опус 5 солигдсон болон 8 буруу хариултын түлхүүр

2:54 Хуучин Опус 5-ыг чимээгүйхэн солих нь төхөөрөмжид хэтэрхий бага өөрчлөлт байсан. мөн readme нь үүнийг урьдчилан хэлсэн. Аудит мөн буруу харагдах найман хариултын түлхүүрийг олсон. Тиймээс сулралтыг илрүүлэгч нь сулралтыг олохоосоо өмнө шалгуурт алдаа олсон.

Антропик: бид загварын чанарыг хэзээ ч бууруулдаггүй

3:08 Гурван асуулт, Антропик юу гэж хэлдэг вэ? Өнгөрсөн жил, гомдлын дараа Антропик нэгэн постоморт нийтэлсэн. Тэнд, эшлэл: бид загварын чанарыг эрэлт хэрэгцээ, өдрийн цаг эсвэл серверийн ачааллаас хамаарч хэзээ ч бууруулдаггүй гэж бичсэн. Ижил пост нь гурван алдаа Клодыг муутгасан, мөн Claude Code хэрэглэгчдийн бараг гуравны нэг нь дотуур серверт дор хаяж нэг удаа орсон гэдгийг хүлээн зөвшөөрдөг. Тиймээс гомдлууд бодит байсан бөгөөд шалтгаан нь алдаа байсан. Тиймээс репо нээлтийн долоо хоног хамгийн муу долоо хоног байж болно гэж анхааруулсан.

3:35 Гучин өдрөөс зургаа нь өнгөрсөн. Эхний боломжит дуудлага аравдугаар сарын 24-ний орчимд бууна. Тиймээс үнэнч хариулт нь хэн ч мэдэхгүй, тэр дундаа итгэлтэй байсан хүмүүс ч мэдэхгүй. Хэн ч нийтэлдэггүй тоонуудын тухай ярихад.

Мэдээллийн төвүүд тоогоо нууцалдаг; Backblaze нийтэлдэг

3:46 Lighthouse Reports болон Голландын Trouw сонин нь Европын мэдээллийн төвүүдийн дийлэнх нь цахилгаан болон усны хэрэглээгээ нууцалдаг болохыг тогтоожээ. Европын Холбооны дүрэм гурван жилийн турш мэдээлэхийг шаардсан ч. Нидерландад дөрөвний нэгээс бага нь нийтэлдэг. Нэг Microsoft-ийн мэдээллийн төв л Голландын цахилгааны нэг хувийг ашигладаг. Үүний зэрэгцээ, Backblaze дахин уйтгартай зүйлийг хийсэн. Түүний улирлын хатуу дискний статистик нь ойролцоогоор 350 мянган хатуу дискийг хамардаг. мөн эвдрэлийн хувь 1.73 хувьд хүрсэн.

4:16 сүүлийн үед хамгийн өндөр нь. Гурван Seagate загвар тэг эвдрэлтэй байсан. Энэ бол улирал тутамд нийтийн суурь үзүүлэлт ямар харагддаг вэ гэдгийг харуулсан. арван гурван жилийн турш.

Зээлийн шугам: Клод тоолуурыг бүтээхэд тусалсан

4:25 Одоо, тэр зээлийн шугам. Репогийн ихэнх хэсгийг Клодын тусламжтайгаар бичсэн гэдгийг readme хүлээн зөвшөөрдөг. энэ бол хэмжигдэж буй загвар юм. Тиймээс Клод Клод ухаангүй болсон эсэхийг шалгадаг тоолуурыг бүтээхэд тусалсан. Ийм учраас үнэлгээчид нь энгийн функцүүд юм. Зохиогчийн үгээр хэлбэл, та зохиогчид итгэх шаардлагагүй. хүн эсвэл өөр ямар ч. Хэрэв та үүнийг намайг хэлэхийг сонсохоос илүү уншихыг хүсвэл, diff өглөө бүр таны имэйлд ирнэ.

4:46 thedailydiff.dev дээр үнэгүй, холбоос доор байна. Тиймээс, өнөөдрийн live nerf-ийн шийдвэр.

Шийдвэр: SHIP IT, мөн 10-р сарын 24-нөөс өмнө иш татахгүй байх

4:51 SHIP IT. Би үүнийг илгээх байсан, учир нь энэ нь миний харсан хамгийн анхны сулралтын маргаан юм. цагийн тэмдэглэгээ, олон нийтийн дүрмийн ном болон тодорхой харалган цэгтэй. Зүгээр л аравдугаар сарын 24-нөөс өмнө иш татахгүй байх. Мөн энэ бол өнөөдрийн diff. Би Axrisi-ийн Нико байна. Хариуцлагатай нэгтгээрэй.

Эх сурвалжууд

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com