Adds 6 new language datasets (German, French, Hindi, Italian, Korean, Russian)
across all 4 benchmark tasks (calibration, entity_extraction, memory_extraction,
room_classification) — 630 samples total, same conventions as the existing
pt-BR/es/zh datasets: inputs translated, labels/ground-truth stay English
except where noted.
Changes:
- 24 new dataset.{de,fr,hi,it,ko,ru}.jsonl files across all 4 tasks
- labels.ko.jsonl for memory_extraction: Korean ground-truth so the scorer
compares Korean model output against Korean expected content instead of
English (fixes ~20pp score gap identified during testing — see report)
- runner.py: loads labels.{lang}.jsonl when present, falls back to labels.jsonl
- orchestrator.py: adds --output-dir (writes <dir>/<lang>/YYYY-MM-DD-<host>.csv
per language); --output single-file mode unchanged
- candidates.yaml: adds community tier (igorls classifier variants, heretic)
and local tier (gemma4:e4b)
- translate_datasets.py: script used to generate the translations via Ollama;
included so contributors can extend to new languages without manual work
- reports/2026-05-13-multilingual.md: 210-run benchmark report across
6 models × 7 languages × 5 tasks on RTX 3080 Laptop 8 GB
41 lines
24 KiB
JSON
41 lines
24 KiB
JSON
{"id": "mem_001", "text": "मैंने तय किया है कि हम topic-clustering पाइपलाइन में cosine similarity की जगह Jaccard का उपयोग करेंगे। टोकन सेट्स के डिस्क्रेट स्वभाव के कारण Jaccard अधिक उपयुक्त है, और छोटे दस्तावेज़ों के लिए cosine के परिणाम बहुत नॉइज़ी थे। हम कल बेंचमार्क्स फिर से चलाएँगे।"}
|
|
{"id": "mem_002", "text": "Saela Markdown के बजाय LaTeX में ड्राफ्ट लिखना बहुत पसंद करती है। उसे लगता है कि समीकरण रेंडरिंग ज़्यादा भरोसेमंद है और शैक्षणिक काम के लिए बिब्लियोग्राफी प्रबंधन बेहद ज़रूरी है। मैं आगे से इस बात का सम्मान करूँगा और उसकी फ़ाइलों को बदलने की कोशिश करना बंद कर दूँगा।"}
|
|
{"id": "mem_003", "text": "अभी-अभी पुष्टि हुई: नया सर्वर रूम 19°C एम्बिएंट तापमान पर है। यह उपकरणों की स्पेसिफिकेशन के भीतर है, लेकिन ठंडे छोर पर। चिलर की स्पेसिफिकेशन शीट के अनुसार इष्टतम 21-23°C है — हम ज़रूरत से ज़्यादा ठंडा कर रहे हैं।"}
|
|
{"id": "mem_004", "text": "सच कहूँ तो, मुझे लगता है कि इस क्षेत्र ने chain-of-thought prompting को ज़्यादा महत्व दिया है। यह गणित बेंचमार्क पर इसलिए काम करता है क्योंकि तर्क के निशान संयोगवश अंतर्निहित संगणना से मेल खाते हैं, लेकिन कठिन तर्क में ये निशान पश्चात्-घटित औचित्यीकरण होते हैं। हालाँकि, यह सिर्फ मेरी समझ है।"}
|
|
{"id": "mem_005", "text": "मैंने उपयोगकर्ता से वादा किया था कि शुक्रवार की सुबह तक सर्वेक्षण पत्र का पहला ड्राफ्ट तैयार हो जाएगा। मैंने बुधवार और गुरुवार को केंद्रित लेखन के लिए अलग रखे हैं। उन्होंने धैर्य रखा है और मैं अपना वादा निभाना चाहता हूँ।"}
|
|
{"id": "mem_006", "text": "हमने इस बारे में बात की और सहमति बनी: रसोई के बगीचे में अब कोई कृत्रिम NPK उर्वरक नहीं। पूरी तरह से कम्पोस्ट संशोधनों और शीतकालीन कवर फसल रोटेशन अपना रहे हैं। इस शरद ऋतु में इस परिवर्तन की शुरुआत करेंगे।"}
|
|
{"id": "mem_007", "text": "Ivora साप्ताहिक नकदी प्रवाह रिपोर्ट सोमवार की सुबह में प्राप्त करना पसंद करती हैं, शुक्रवार की दोपहर में नहीं। वह अपनी सुबह की कॉफी के साथ आगामी सप्ताह का दृष्टिकोण देखना चाहती हैं, न कि पिछले सप्ताह का सारांश जब वह थकी हों। स्वचालित भेजने का शेड्यूल अपडेट किया जा रहा है।"}
|
|
{"id": "mem_008", "text": "Tartine Lab जर्नल की सबमिशन डेडलाइन 15 मार्च है। यह सख्त डेडलाइन है — वे देरी से किए गए सबमिशन स्वीकार नहीं करेंगे। Saela का पेपर तब तक उनके सिस्टम में होना चाहिए।"}
|
|
{"id": "mem_009", "text": "मैं माह के अंत से पहले हाथ से स्कैन किए गए इनवॉइस पर OCR pipeline की सटीकता को ठीक करने के लिए प्रतिबद्ध हूँ। फिलहाल यह 85% है, लक्ष्य 97% है। यदि मैं इसे हासिल नहीं कर सका, तो हम उस दस्तावेज़ प्रकार के लिए मैनुअल समीक्षा पर वापस लौट आएँगे।"}
|
|
{"id": "mem_010", "text": "row polymorphism पर मेरा नज़रिया: यह हमारे use case के लिए सही abstraction है, लेकिन त्रुटि संदेशों में इसकी वजह से आने वाला syntax noise हमारे लिए मुसीबत बनेगा। इसे बाहरी उपयोगकर्ताओं तक पहुंचाने से पहले हमें diagnostics पर काफी काम करना होगा।"}
|
|
{"id": "mem_011", "text": "मूल्यह्रास विधि पर निर्णय: कार्यालय निर्माण के लिए सीधी रेखा विधि, उपकरणों के लिए MACRS। केवल उन मदों पर Section 179 चुनाव जिनका हमें यकीन है कि हम उन्हें दीर्घकालिक रूप से उपयोग करेंगे। Ivora ने मंजूरी दे दी।"}
|
|
{"id": "mem_012", "text": "Karis ने मुझसे कहा कि वह चाहती है कि मैं साप्ताहिक अपडेट लंबे पैराग्राफ़ के बजाय बुलेट पॉइंट्स में भेजूँ। वह उन्हें बगीचे के दौरों के बीच अपने फोन पर पढ़ रही है और घना गद्य उसके कार्यप्रवाह के लिए उपयुक्त नहीं है।"}
|
|
{"id": "mem_013", "text": "सेब के फूलने के आंकड़ों से पुष्टि हुई है: इस वर्ष पहले फूलने की तारीखें दीर्घकालिक औसत से आठ दिन पहले हैं। Wendelsea Botanic Garden के रिकॉर्ड 18 साल पुराने हैं और यह रिकॉर्ड किए गए इतिहास में तीसरा सबसे जल्दी आने वाला वसंत है।"}
|
|
{"id": "mem_014", "text": "मुझे लगता है कि 'Wends Drukar से मृदु बोलते हैं' वाली बात पन्ने पर सरलीकृत लगेगी। वास्तविक दुनिया के लोग अपनी भाषाई रूढ़ियों जैसे नहीं लगते, और उन रूढ़ियों को पढ़ना पात्रों को सपाट बना सकता है। इस बारे में उपयोगकर्ता से अपनी बात रखना उचित है।"}
|
|
{"id": "mem_015", "text": "मैंने Doreth से वादा किया था कि मैं सप्ताह के अंत तक उसे विरासती सेबों की छंटाई की समय-सारणी ईमेल कर दूँगा। वह अपने सर्दियों के काम की योजना बना रही है और अपनी मज़दूर टीम के साथ तालमेल बिठाने के लिए उसे तारीखों की ज़रूरत है।"}
|
|
{"id": "mem_016", "text": "latency तुलनाओं के लिए Mann-Whitney U के बजाय permutation tests तय किए गए। कम distributional assumptions गणना समय में मामूली वृद्धि को उचित ठहराती हैं। नई विधि के तहत पिछली सभी तुलनाओं को फिर से चलाया जा रहा है।"}
|
|
{"id": "mem_017", "text": "Pol Krisat PR में टिप्पणी धागों के माध्यम से कोड समीक्षा पसंद करते हैं, अलग ईमेल या चैट संदेशों के बजाय। कहते हैं कि इससे संदर्भ बदलाव से जुड़ा रहता है। मैं भी वही प्रथा अपना रहा हूँ।"}
|
|
{"id": "mem_018", "text": "फाइल के लिए एक त्वरित तथ्य: Aerwyn Capital की diligence अवधि term sheet पर हस्ताक्षर करने की तारीख से 30 दिन की है। हमारे पास 14 अप्रैल तक का समय है cap table को साफ़ करने और audited financials को पैकेज करने के लिए।"}
|
|
{"id": "mem_019", "text": "ईमानदारी से कहूँ तो, मुझे Hollowmounts Institute के दृश्य-भाषा मॉडल पर संदेह है। उनकी मूल्यांकन पद्धति में चयन पूर्वाग्रह है — वे केवल उन प्रॉम्प्ट्स पर रिपोर्ट करते हैं जहाँ उनका मॉडल जीतता है। तकनीकी कार्य ठोस है, लेकिन पेपर में अतिशयोक्ति है।"}
|
|
{"id": "mem_020", "text": "मैं गुरुवार शाम तक Ivora को संशोधित पूर्वानुमान भेज दूँगा। इससे उसे सोमवार की बोर्ड बैठक से पहले समीक्षा करने के लिए सप्ताहांत मिल जाएगा। मैं इसे अपनी सूची में डाल रहा हूँ।"}
|
|
{"id": "mem_021", "text": "Saela ने सर्वेक्षण को केवल contrastive objectives पर ही केंद्रित करने का निर्णय लिया — clustering-based या distillation-based पद्धतियों को शामिल नहीं किया जाएगा। इससे दायरा सीमित हो गया है, लेकिन योगदान अधिक स्पष्ट है। मैं इसके अनुसार रूपरेखा को फिर से संरचित करूँगा।"}
|
|
{"id": "mem_022", "text": "Bramble पुनर्स्थापना परियोजनाओं में केवल देशी पौधों के रोपण को प्रबल रूप से वरीयता देते हैं, भले ही इसका अर्थ गैर-देशी विकल्पों की तुलना में धीमी स्थापना हो। तर्क यह है कि जो गैर-देशी पौधा तेजी से स्थापित होता है, वह एक नई समस्या बन जाता है। हम इस प्राथमिकता को अपनी भविष्य की सभी सिफारिशों में शामिल कर रहे हैं।"}
|
|
{"id": "mem_023", "text": "Brennan Lyle के साथ पुष्टि हुई: Crestmoor Systems टीम अपनी सभी आंतरिक सेवाओं के लिए OTLP HTTP का उपयोग करती है, कभी भी gRPC नहीं। उनका तर्क polyglot stack में version-skew समस्याएँ थीं। अनुकूलता कार्य के लिए यह जानना उपयोगी है।"}
|
|
{"id": "mem_024", "text": "मुझे generated parsers की तुलना में Pratt-style operator precedence ऐसी languages के लिए ज़्यादा पसंद है जिनमें जटिल precedence rules हों। error messages काफी बेहतर होते हैं और code को debug करना ज़्यादा आसान होता है। यह ज़्यादातर एक व्यक्तिगत पसंद है लेकिन मैं इसका बचाव करूँगा।"}
|
|
{"id": "mem_025", "text": "इस सप्ताह AI सहायता के बिना एक अध्याय लिखने का संकल्प ले रहा हूँ, एक कैलिब्रेशन जाँच के रूप में। परिणाम की तुलना AI-सहायित अध्यायों से करना चाहता हूँ और यह देखना चाहता हूँ कि क्या मैं सिस्टम पर बहुत अधिक निर्भर हो रहा हूँ। इस तुलना को Wendelsea Writing Group के साथ साझा करूँगा।"}
|
|
{"id": "mem_026", "text": "हमने नए index के लिए skip list के बजाय B-tree चुना। Read-mostly workload, copy-on-write लेखन, बेहतर cache behavior। यह निर्णय आर्किटेक्चर विकी में दर्ज है।"}
|
|
{"id": "mem_027", "text": "Ren Solanke के शोध प्रबंध का बचाव 6 मई को है। उन्होंने पूछा कि क्या मैं एक मसौदा अध्याय को पहले से पढ़ने के लिए तैयार हूँ। मैंने हाँ कहा — 22 अप्रैल तक एक बार प्रतिक्रिया देने के लिए प्रतिबद्ध हूँ, ताकि उनके पास बचाव से पहले संशोधन करने का समय हो।"}
|
|
{"id": "mem_028", "text": "तथ्य: Wendelsea जिला चूना पत्थर की आधार चट्टान पर स्थित है। मिट्टी का pH प्राकृतिक रूप से तटस्थ या थोड़ा क्षारीय होने की ओर बढ़ता है। उस क्षेत्र में कोई भी ब्लूबेरी उत्पादक बिना हस्तक्षेप के chlorosis से जूझेगा।"}
|
|
{"id": "mem_029", "text": "मुझे लगता है कि Aerwyn श्रृंखला की भाषा पर लिखा गया परिशिष्ट एक ऐसी विशेषता होगी जिसे या तो बहुत पसंद किया जाएगा या बिल्कुल नापसंद। कुछ पाठक गहन विश्व-निर्माण की कृतियों को पसंद करते हैं; दूसरे उन्हें आत्म-मुग्ध मानते हैं। मेरा मानना है कि यह अंतिम अंक में नमक-ऋण मोटिफ़ के प्रतिफल में सार्थक रूप से योगदान देता है।"}
|
|
{"id": "mem_030", "text": "User ने secondary sale को एक तिमाही के लिए टालने का निर्णय लिया है। किसी भी नए investor diligence से पहले cap table साफ करना चाहता है। परियोजना योजना में संबंधित कार्यों को Q2 में स्थानांतरित कर रहा है।"}
|
|
{"id": "mem_031", "text": "Pell Halloran नियमित समाधान संबंधी प्रश्नों के लिए फोन की तुलना में ईमेल को पसंद करती हैं — इससे उन्हें एक लिखित रिकॉर्ड मिलता है। आगे से सभी मानक AR प्रश्न ईमेल के माध्यम से भेजे जाएँगे। फोन केवल तत्काल एस्केलेशन के लिए आरक्षित है।"}
|
|
{"id": "mem_032", "text": "इस साल Bridgewater Community Garden में नई मेसन मधुमक्खी कॉलोनियाँ 18 मार्च को उभरीं। यह Wendelsea Orchard में सेब के फूलों के खिलने की तारीख, जो 20 मार्च को शुरू हुई, से दो दिन पहले है। थोड़ी phenological बेमेल है, लेकिन सहनीय सीमा के भीतर है।"}
|
|
{"id": "mem_033", "text": "Saela से वादा किया है कि 1 जून से शुरू होने वाले उसके अध्ययन अवकाश से पहले मैं उसके पूरे पांडुलिपि प्रारूप की समीक्षा कर लूँगा। 60 पन्नों के इस पेपर के लिए दो महीने। वक्त कम है, लेकिन अगर मैं हर बुधवार इसे दे दूँ तो यह काम बन सकता है।"}
|
|
{"id": "mem_034", "text": "ईमानदारी से कहूँ तो, मुझे एजेंटिक कोडिंग पाइपलाइनों की वर्तमान प्रवृत्ति थकाऊ लगती है। वे कोड उससे भी तेज़ी से जनरेट करते हैं जितनी तेज़ी से कोई उसकी समीक्षा कर सकता है, और बग्स का पता लगाना भी कठिन हो जाता है। मैं उनका उपयोग करता रहूँगा, लेकिन मैं यही चाहूँगा कि हम धीमे चलें और समझ विकसित करें।"}
|
|
{"id": "mem_035", "text": "invoice parsing पाइपलाइन के लिए Tesseract से PaddleOCR पर स्विच करने का फैसला किया गया है। लेआउट-जागरूक निष्कर्षण तालिकाओं को बहुत बेहतर तरीके से संभालता है। इस स्थानांतरण में लगभग एक सप्ताह लगेगा, और परिवर्तन के दौरान हम दोनों को समानांतर में चलाते रहेंगे।"}
|
|
{"id": "mem_036", "text": "Ivora आशावादी पूर्वानुमानों के बजाय रूढ़िवादी नकदी पूर्वानुमानों को पसंद करती हैं, यहाँ तक कि सटीकता की कीमत पर भी। उनका तर्क: अपेक्षा से बेहतर आश्चर्य सुखद होते हैं, अपेक्षा से खराब आश्चर्य संकट होते हैं। इसके अनुरूप हमारे मॉडल की रिपोर्टिंग में समायोजन किया जा रहा है।"}
|
|
{"id": "mem_037", "text": "Karis चाहती है कि मैं Bridgewater Schools की गार्डन कमेटी की मीटिंग में 10 अप्रैल को व्यक्तिगत रूप से शामिल हूँ, वीडियो कॉल के ज़रिए नहीं। उसे लगता है कि स्कूल के निर्णयकर्ता किसी शारीरिक रूप से मौजूद व्यक्ति के साथ ज़्यादा जुड़ेंगे। मैंने पुष्टि कर दी है कि मैं वहाँ रहूँगा।"}
|
|
{"id": "mem_038", "text": "दो बातें जो नोट करने लायक हैं: सेब के छाजन रोग की फफूंद गिरी हुई पत्तियों में सर्दी बिताती है, इसलिए पतझड़ में पत्ती हटाना बेहद ज़रूरी है। और तांबे के छिड़काव केवल कली सूजन अवस्था में ही असरदार होते हैं — एक बार कलियाँ खुल जाएँ, तो वह मौका हाथ से निकल जाता है।"}
|
|
{"id": "mem_039", "text": "मुझे लगता है कि उपयोगकर्ता का यह सहज विचार बिल्कुल सही है कि Saela के तीसरे अंक के निर्णय को पतन के बजाय तीव्र कार्रवाई का क्षण बनाया जाए। यह कथा-चाप का सम्मान करता है और घिसी-पिटी बात से बचता है। मेरी राय है, लेकिन मैं इस पर दृढ़ता से कायम हूँ।"}
|
|
{"id": "mem_040", "text": "Solas ने Distributed Tracing fix को स्प्रिंट के अंत तक (शुक्रवार) जारी करने की प्रतिबद्धता जताई। यह बग दो हफ्तों से Aerwyn Telemetry कंसोर्टियम को रोक रहा है; उन्हें पैच के जारी होने की आवश्यकता है। Brennan गुरुवार को रिग्रेशन टेस्ट चलाएंगे।"}
|