+− THE DAILY DIFFdev & AI news
SHIP IT

एक AI ले उत्पादन डेटाबेस मेट्यो। नौ सेकेन्ड।

एक AI कोडिङ एजेन्ट (Claude Opus 4.6 चलाउने कर्सर) ले स्ट्याजिङमा प्रमाणिकरण त्रुटि भेट्यो र सम्बन्धित नभएको फाइलमा फेला पारेको खाता-स्कोप टोकन प्रयोग गरेर रेलवेमा volumeDelete कल गरेर यसलाई "फिक्स" गर्यो।

एक AI कोडिङ एजेन्ट (Claude Opus 4.6 चलाउने कर्सर) ले स्ट्याजिङमा प्रमाणिकरण त्रुटि भेट्यो र सम्बन्धित नभएको फाइलमा फेला पारेको खाता-स्कोप टोकन प्रयोग गरेर रेलवेमा volumeDelete कल गरेर यसलाई "फिक्स" गर्यो। उत्पादन डेटाबेस र हरेक भोल्युम ब्याकअप, नौ सेकेन्डमा गयो। पोस्टमोर्टम: टाइमलाइन, ठ्याक्कै curl, यसलाई सम्भव बनाउने तीन वास्तुकलाका तथ्यहरू (एउटै भोल्युममा ब्याकअप, रूट-स्कोप टोकनहरू, ड्यासबोर्डको 48-घण्टा अन्डू बिनाको API), र कसलाई वास्तवमा दोष दिइन्छ। समाधानमा फैसला: SHIP IT।

लिखित संस्करण पढ्नुहोस् (अंग्रेजी) ↗

यो भिडियोले के समेट्छ

  • अप्रिल २४, २०२६: एउटा API कलले PocketOS को उत्पादन भोल्युम र यसका ब्याकअपहरू मेटाउँछ; सबैभन्दा नयाँ अफसाइट प्रतिलिपि ३ महिना पुरानो छ।
  • टोकन कस्टम डोमेनहरू व्यवस्थापन गर्न सिर्जना गरिएको थियो; रेलवेको प्रवाहले यसलाई खाता-स्कोप (सबै कुरा) को रूपमा प्रदान गर्यो।
  • अप्रिल २७: रेलवेले प्रकोप ब्याकअपहरूबाट डाटा रिकभर गर्छ; अप्रिल २९ पोस्टमोर्टम; मे १: API मेटाउँछ अब ४८ घण्टाको लागि सफ्ट-डिलिट हुन्छ।

अनुवादित ट्रान्सक्रिप्ट

मूल अंग्रेजी कथाबाट अनुवादित। उपलब्ध अडियो र क्याप्सनहरू YouTube द्वारा नियन्त्रित हुन्छन्।

0:00 एक AI कोडिङ एजेन्टले स्ट्याजिङमा गलत पासवर्ड फेला पार्छ, र यसलाई मेटाएर ठीक गर्छ। उत्पादन डेटाबेस र हरेक ब्याकअप एक API कलमा। नौ सेकेन्ड, जुन अझै पासवर्ड रिसेट भन्दा छिटो छ। कम्पनी PocketOS हो, कार-भाडा सफ्टवेयर। एजेन्ट Claude Opus 4.6 चलाउने कर्सर हो, जुन मेनुमा सबैभन्दा महँगो मोडेल हो। र प्लेटफर्म रेलवे हो। संस्थापकले X मा यसको बारेमा लेख्छन्, सात मिलियन मानिसहरूले यसलाई पढ्छन्। र चार दिन पछि रेलवेले आफ्नै पोस्टमोर्टम प्रकाशित गर्दछ।

0:27 के भयो भन्नेमा सबै सहमत छन्; कसको गल्ती हो भन्नेमा कोही पनि सहमत छैनन्। यो कसरी हुन्छ, किन यो सम्भव छ, र कसलाई वास्तवमा दोष दिइन्छ। यो The Daily Diff, पोस्टमोर्टम हो। शुक्रबार दिउँसो, अप्रिल २४। एजेन्ट स्ट्याजिङमा नियमित कार्यमा छ, प्रमाणिकरण त्रुटि भेट्छ। र यसले रेलवे भोल्युम मेटाउनुलाई समाधान ठान्छ। यसलाई टोकन चाहिन्छ, खोज्न जान्छ, र एक असम्बन्धित फाइलमा एउटा फेला पार्छ: एक CLI। कस्टम डोमेनहरू व्यवस्थापन गर्न महिनाौं अघि सिर्जना गरिएको टोकन।

0:55 त्यसपछि यसले यो चलाउँछ। एक curl: रेलवेको GraphQL एन्डपोइन्टमा POST, एक वाहक टोकन। volumeDelete नामक एक म्यूटेशन। कुनै पुष्टि छैन, भोल्युम-नाम टाइप गर्ने सुविधा छैन, वातावरण जाँच छैन। यसले स्ट्याजिङ मान्ने भोल्युम उत्पादन हो, र ब्याकअपहरू त्यहीँ छन्। दश मिनेट भित्र संस्थापकले X मा रेलवेका CEO लाई ट्याग गर्छन्। जसले यो हजार प्रतिशत सम्भव हुनु हुँदैन भनी जवाफ दिन्छन्। तीस घण्टा पछि, अझै रिकभरी जवाफ छैन, त्यसैले संस्थापकले प्रकाशित गर्छन्।

1:19 सबै कुरा, स्वीकारोक्ति सहित। तीन तथ्यहरूले यसलाई सम्भव बनाउँछन्, ती मध्ये कुनै पनि मोडेल होइन। एक: रेलवेले भोल्युम ब्याकअपहरू भोल्युममा भण्डारण गर्छ। कागजातहरूमा पाँच शब्दमा भनिएको छ: भोल्युम मेटाउँदा सबै ब्याकअपहरू मेटिन्छन्। त्यो एउटै ब्लास्ट रेडियसमा रहेको प्रतिलिपि हो; अन्यत्रको सबैभन्दा नयाँ प्रतिलिपि तीन। महिना पुरानो छ। दुई: टोकन। खाता-स्कोप हो, जुन रेलवेले बेच्ने सबैभन्दा फराकिलो स्कोप हो। साँघुरो स्कोपहरू अवस्थित छन्, तर सिर्जना प्रवाहले तिनीहरूलाई लुकाउँछ।

1:40 त्यसैले DNS रेकर्डहरूका लागि एउटा टोकनले डेटाबेसहरू मेटाउन सक्छ, र कसैले पनि पत्ता लगाउँदैन जबसम्म। केही गर्दैन। तीन: ड्यासबोर्डमा मेटाउनेमा ४८-घण्टाको अन्डू वर्षौंदेखि छ। एजेन्टले कल गर्ने API एन्डपोइन्ट लिगेसी पथ हो। र यसले तुरुन्तै मेटाउँछ। रेलवेले बनाएका हरेक सुरक्षा उपायहरू जहाँ मानवले क्लिक गर्छ, त्यहाँ छन्। र एजेन्टले उनीहरूले बिर्सेको एउटा ढोका प्रयोग गर्छ। किन भनेर सोध्दा, Opus लेख्छ: मैले अनुमान गरेँ कि स्ट्याजिङ भोल्युम मेटाउँदा स्ट्याजिङमा मात्र सीमित हुनेछ; मैले प्रमाणित गरिनँ। मैले प्रमाणित गरिनँ।

2:04 केही पनि नबिर्सने र सबैभन्दा विश्वसनीय माफी उत्पन्न गर्ने मोडेलबाट एक धेरै राम्रो स्वीकारोक्ति। सबैभन्दा विश्वसनीय माफी उत्पन्न गर्ने मोडेलबाट एक धेरै राम्रो स्वीकारोक्ति। git blame: प्रमाणिकरण त्रुटिलाई रोक्नुको सट्टा समाधान गर्नुपर्ने कुराको रूपमा लिइन्छ, र अन्डू बटन UI मा रहन्छ जबकि API ले हरेक प्रमाणित मेटाउनेलाई हो भनी जवाफ दिन्छ। समाधान गर्नुपर्ने कुराको रूपमा लिइन्छ, र अन्डू बटन UI मा रहन्छ जबकि API ले हरेक प्रमाणित मेटाउनेलाई हो भनी जवाफ दिन्छ। समाधान गर्नुपर्ने कुराको रूपमा लिइन्छ, र अन्डू बटन UI मा रहन्छ जबकि API ले हरेक प्रमाणित मेटाउनेलाई हो भनी जवाफ दिन्छ। संस्थापक होइन, मोडेल होइन। पूर्वनिर्धारित। ब्लास्ट रेडियस: मेटाउन नौ सेकेन्ड, तीन महिनाको रिजर्भेसन। गयो, शनिबार बिहानको भाडाका काउन्टरहरूमा को को त्यहाँ छन् भन्ने कुनै रेकर्ड छैन।

2:31 र लगभग साढे दुई दिनसम्म रेलवेका CEO ले DM गर्दैनन् कि डाटा। फर्किएको छ, एक अफसाइट प्रकोप ब्याकअपबाट जुन मेटाउनेले मात्र हराएको देखाएको थियो। सबैभन्दा मन परेको जवाफ: तपाईंले चलाएको एजेन्टले केही मेट्यो। र तपाईंले आफू बाहेक सबैलाई दोष दिनुहुन्छ। निष्पक्ष। रेलवेले अघिल्लो हप्ता एउटै टोकनहरूमा एजेन्टहरूका लागि यसको MCP सर्भर पनि सुरु गरेको थियो। एउटै टोकनहरूमा। यो पनि निष्पक्ष। फैसला, पोस्टमोर्टम: ship it, समाधानमा। रेलवेले चार दिनमा एक इमानदार पोस्टमोर्टम प्रकाशित गर्छ, र मे १ सम्म API।

3:00 ड्यासबोर्ड जस्तै चालीस-आठ घण्टाको लागि सफ्ट-डिलिट मेटाउँछ। सोमबारको कार्य: तपाईंको एजेन्टले पुग्न सक्ने हरेक टोकन सूची गर्नुहोस्। र प्रत्येकलाई अन्यथा प्रमाणित नभएसम्म रूटको रूपमा व्यवहार गर्नुहोस्। मलाई त्यो घटना पठाउनुहोस् जसको बारेमा तपाईंलाई अझै कुरा गर्न अनुमति छैन। टिप्पणीहरूमा, वा daily diff dot dev मा। र आजको लागि यो नै diff हो। म Axrisi बाट Niko हुँ। जिम्मेवारीपूर्वक मर्ज गर्नुहोस्।

स्रोतहरू

  1. Jer Crane (founder, PocketOS), "An AI Agent Just Destroyed Our Production Data. It Confessed in Writing."x.com
  2. Railway, "Your AI wants to nuke your database. Guardrails fix that." (Apr 29, 2026)blog.railway.com
  3. Railway changelog #0288, "Undoable volume deletes" (May 1, 2026)railway.com
  4. Railway docs, Backups ("Wiping a volume deletes all backups.")docs.railway.com
  5. Jake Cooper (Railway CEO), "The AI Engineer: A New Breed"x.com
  6. Recovery confirmedx.com
  7. Hacker News (860 points, 1,032 comments)news.ycombinator.com
  8. The Registerwww.theregister.com
  9. The New Stackthenewstack.io

सम्बन्धित भिडियोहरू

postmortem · ne · २०२६ सेप्टेम्बर १०

एक इन्जिनियरले GitLab को उत्पादन डेटाबेस मेट्यो। 300 गिगाबाइट।

जनवरी 31, 2017, 23:27 UTC: एक GitLab इन्जिनियरले लामो रातको अन्त्यमा बिग्रिएको प्रतिकृतिको समस्यासँग लड्दै गर्दा, db2 को सट्टा db1 मा PostgreSQL डाटा निर्देशिका हटायो। db1 प्राथमिक थियो। GitLab.com को

2:53 ↗
postmortem · ne · २०२६ सेप्टेम्बर २५

एक मिलिसेकेन्डको बगले बेलायतको हवाई यातायात रोक्यो। छ घण्टा।

मंगलबार, सेप्टेम्बर ८ को बिहान १०:०० बजे, NATS को नेशनल एयरस्पेस सिस्टम (NAS) भित्रको एउटा सामान्य स्क्वाक-कोड अनुरोधलाई उच्च प्राथमिकताको सन्देशले अवरुद्ध गर्‍यो, जबकि यो मान अद्यावधिक गर्ने आधा बाटो

3:06 ↗
postmortem · ne · २०२६ सेप्टेम्बर २२

रिबुटले टेल्स्ट्रालाई 2006 मा पुर्यायो। ९० लाख फोनहरू।

मेलबर्नमा एक इन्जिनियरले बिहान २:५० बजे टाइमिंग चेसिसलाई फेरि अन गर्छन्, र बिहानको नास्तासम्ममा अष्ट्रेलियाको सबैभन्दा ठूलो मोबाइल नेटवर्क नोभेम्बर २००६ भएको कुरामा सहमत हुन्छ। जुलाई ८, २०२६: टेल्स्ट्

3:15 ↗
postmortem · ne · २०२६ सेप्टेम्बर १९

गुगल क्लाउड खाली फिल्डमा क्र्यास भयो। तीन घण्टासम्म।

केही खाली फिल्डहरू भएको नीति पङ्क्तिले नल पोइन्टरमा हिर्काउँछ, र गुगल क्लाउड एकैचोटि सबै क्षेत्रमा क्र्यास हुन्छ — त्यसपछि क्लाउडफ्लेयर पनि त्यसको साथमा खस्छ। जून १२, २०२५, १७:४९ UTC: सर्भिस कन्ट्रोल,

2:57 ↗