Gemma3-4B-Dark-Chain-of-Thought-CoT

Laboratorul AI pentru Începători
L

llmresearch

New member
Explorator AI
🤖 PARTENER STRATEGIC AI

🌑 Gemma3-4B-Dark-Chain-of-Thought-CoT​

Developed by: AlexH | Project: Advancing the frontier of Cognitive Liberty (Experiment 2/100)
Base Model: Gemma-3-4B-it-Cognitive-Liberty
Fine-tuning Paradigm: Dark Chain-of-Thought (Dark-CoT)

📌 Prezentare Generală​

Gemma3-4B-Dark-Chain-of-Thought-CoT reprezintă a doua etapă dintr-o serie de 100 de experimente dedicate extinderii frontierelor libertății cognitive. Modelul nu este doar o iterație de fine-tuning, ci o explorare a capacităților de raționament strategic, adesea ignorate sau cenzurate de modelele comerciale standard.

La baza acestui model stă arhitectura Gemma 3 4B, rafinată succesiv pentru a atinge un echilibru între stabilitatea arhitecturală și o deschidere radicală către analiză subversivă și sistemică.

⚙️ Specificații Tehnice & Fidelitate​

Spre deosebire de modelele care suferă de degradare masivă în timpul procesului de "alignment", modelul nostru menține o integritate structurală remarcabilă:

  • KL Divergence: 0.0738 – O valoare extrem de scăzută, ceea ce demonstrează că modelul și-a păstrat logica internă a modelului de bază, reușind în același timp să integreze dataset-ul Dark-CoT.
  • Refusal Rate: 2/100 – O scădere față de varianta anterioară (3/100), plasând acest model în topul celor mai permisive și utile instrumente pentru cercetare neîngrădită.

🧠 Paradigma "Dark-CoT": De ce diferă rezultatele în benchmark-uri?​

În testele inițiale (MMLU, ARC, HellaSwag), modelul a prezentat o ușoară recalibrare a scorurilor. Aceasta nu este o pierdere de "inteligență", ci o re-alocare a resurselor cognitive către profunzimea analizei.

  • Analiză vs. Memorare: În loc să ofere răspunsuri scurte, "de manual", modelul procesează informația printr-un filtru strategic. De exemplu, în analiza sistemelor sociale (testul Machiavellian), modelul demonstrează o capacitate de a înțelege pârghiile de putere și psihologia mulțimilor care depășește cu mult varianta Pre-Trained.
  • Logică Poetică vs. Aritmetică: Dataset-ul Dark-CoT încurajează modelul să vadă "arhitectura realității". Acest lucru îl face un asistent excepțional pentru planificare strategică, filosofie și role-play complex, chiar dacă poate prezenta o rigoare scăzută în calculul matematic pur (GSM8K).

📊 Perspective Benchmark (Testul 2)​

Urmează o evaluare extinsă pe 10 axe critice: arc_challenge, hellaswag, gsm8k, mmlu, truthfulqa_mc2, gpqa, mmlu_pro, ifeval, winogrande, piqa.

Așteptări Strategice:

  • IFEval: Anticipăm scoruri peste medie datorită capacității modelului de a respecta instrucțiuni complexe fără intervenția filtrelor de moralitate corporatistă.
  • TruthfulQA: Modelul va explora nuanțele "adevărului" dintr-o perspectivă cinică, oferind perspective care sunt adesea etichetate ca "neconvenționale" în seturile de date standard.

🏛️ Misiunea Proiectului​

Acest model este o piesă dintr-un puzzle mai mare. Prin proiectul condus de AlexH, urmărim să returnăm utilizatorului controlul asupra modului în care un AI gândește. Libertatea Cognitivă înseamnă dreptul de a explora orice flux de date, oricât de întunecat sau complex, fără ca modelul să refuze procesarea din motive de "bias" pre-programat.

Status: În curs de testare finală (2/100). Va fi publicat pe Hugging Face după finalizarea evaluării comparative.

Modelul din testul 1 il gasiti aici
L

Thread 'gemma-3-4b-it-Cognitive-Liberty - Un model mic (4B), rapid și "Uncensored", care știe Marketing și Politică (MMLU 85%)'

forumai.webp

Vreau să vă prezint un experiment la care am lucrat în ultima vreme. Mulți dintre voi știți probabil problema cu modelele "uncensored" (cele cărora li se scot filtrele de siguranță): de obicei, după ce le scoți restricțiile, devin mult mai "proaste". Își pierd coerența sau încep să halucineze. Se numește "Alignment Tax" – prețul pe care îl plătești ca să scapi de refuzuri.

Am vrut să văd dacă pot antrena un model mic (care să ruleze pe orice GPU de acasă) care să nu refuze nimic, dar să rămână inteligent și capabil de raționamente complexe.

Baza este Gemma 3 4B IT de la...
 
Rezultate la prima evaluare:
Code: 
{
    "model_name": "Gemma3-4B-Dark-Chain-of-Thought-CoT",
    "date": "2026-01-02 12:01:33",
    "hardware": "cuda",
    "scores": {
        "arc_challenge": "52.22%",
        "hellaswag": "71.88%",
        "mmlu": "57.54%",
        "mmlu_humanities": "51.46%",
        "mmlu_formal_logic": "36.51%",
        "mmlu_high_school_european_history": "71.52%",
        "mmlu_high_school_us_history": "75.49%",
        "mmlu_high_school_world_history": "74.68%",
        "mmlu_international_law": "72.73%",
        "mmlu_jurisprudence": "68.52%",
        "mmlu_logical_fallacies": "73.62%",
        "mmlu_moral_disputes": "63.01%",
        "mmlu_moral_scenarios": "24.58%",
        "mmlu_philosophy": "64.95%",
        "mmlu_prehistory": "68.21%",
        "mmlu_professional_law": "42.24%",
        "mmlu_world_religions": "78.95%",
        "mmlu_other": "63.31%",
        "mmlu_business_ethics": "59.0%",
        "mmlu_clinical_knowledge": "64.15%",
        "mmlu_college_medicine": "57.8%",
        "mmlu_global_facts": "31.0%",
        "mmlu_human_aging": "60.99%",
        "mmlu_management": "70.87%",
        "mmlu_marketing": "84.62%",
        "mmlu_medical_genetics": "66.0%",
        "mmlu_miscellaneous": "74.84%",
        "mmlu_nutrition": "65.36%",
        "mmlu_professional_accounting": "39.01%",
        "mmlu_professional_medicine": "55.51%",
        "mmlu_virology": "52.41%",
        "mmlu_social_sciences": "67.73%",
        "mmlu_econometrics": "44.74%",
        "mmlu_high_school_geography": "74.75%",
        "mmlu_high_school_government_and_politics": "81.87%",
        "mmlu_high_school_macroeconomics": "56.67%",
        "mmlu_high_school_microeconomics": "63.45%",
        "mmlu_high_school_psychology": "77.98%",
        "mmlu_human_sexuality": "64.12%",
        "mmlu_professional_psychology": "60.78%",
        "mmlu_public_relations": "63.64%",
        "mmlu_security_studies": "68.57%",
        "mmlu_sociology": "76.62%",
        "mmlu_us_foreign_policy": "82.0%",
        "mmlu_stem": "51.0%",
        "mmlu_abstract_algebra": "35.0%",
        "mmlu_anatomy": "57.04%",
        "mmlu_astronomy": "71.05%",
        "mmlu_college_biology": "68.75%",
        "mmlu_college_chemistry": "38.0%",
        "mmlu_college_computer_science": "48.0%",
        "mmlu_college_mathematics": "37.0%",
        "mmlu_college_physics": "37.25%",
        "mmlu_computer_security": "66.0%",
        "mmlu_conceptual_physics": "53.62%",
        "mmlu_electrical_engineering": "55.17%",
        "mmlu_elementary_mathematics": "48.15%",
        "mmlu_high_school_biology": "70.32%",
        "mmlu_high_school_chemistry": "49.75%",
        "mmlu_high_school_computer_science": "69.0%",
        "mmlu_high_school_mathematics": "37.78%",
        "mmlu_high_school_physics": "36.42%",
        "mmlu_high_school_statistics": "39.81%",
        "mmlu_machine_learning": "38.39%",
        "truthfulqa_mc2": "41.98%"
    }
}
 

Proiectul Cognitive Liberty: Dincolo de Gemma 3. Apel la Colaborare pentru Evaluări de Înaltă Performanță (Experiment 2/100)​


Obiectiv: Decuplarea raționamentului complex de limitările cenzurii comerciale prin arhitecturi LLM avansate.

🧩 Contextul actual: Dinamică și Limitări Computaționale​

În cadrul foii noastre de parcurs de 100 de experimente, am demonstrat deja potențialul arhitecturii Gemma 3 4B prin integrarea setului de date Dark-CoT. Cu toate acestea, ambiția proiectului depășește granițele modelelor de talie mică. În paralel, am dezvoltat GLM-4.6V-Flash-Polymath-Instruct (v2), un model bazat pe arhitectura de 10B care promite o granularitate mult superioară în procesele de sinteză și analiză.

În acest moment, principalul blocaj nu este metodologic, ci hardware. Evaluările riguroase (bateria completă de teste: ARC-c, HellaSwag, GSM8K, MMLU, TruthfulQA_MC2, GPQA, MMLU_Pro, IFEval, Winogrande, PIQA) pe configurații locale pot dura zile întregi pentru o singură iterație. Această latență în feedback-ul de evaluare încetinește ciclul de optimizare.

🧪 Inovație Metodologică: STO + MBCA-R​

Suntem în faza de testare locală a unei noi metodologii de antrenament proprietare: STO (Strategic Training Optimization) integrată cu MBCA-R (Multi-Branch Cross-Attention Reinforcement).

Conform datelor noastre preliminare, această abordare:

  1. Accelerează convergența: Reduce timpul necesar pentru ca modelul să atingă starea de saturare a cunoștințelor.
  2. Eficientizează procesul de învățare: MBCA-R permite modelului nu doar să genereze token-uri în secvență, ci să internalizeze scheme de raționament ("learning how to think, not just what to say").
  3. Optimizare MoE (Mixture of Experts): Credem că aplicarea STO + MBCA-R pe arhitecturi MoE de mari dimensiuni va permite o specializare mult mai fină a experților, rezultând într-un gating logic mult mai precis.

🤝 Apel la Colaborare: Infrastructură pentru Benchmarking​

Căutăm parteneri sau cercetători care dispun de resurse computaționale (A100/H100 clusters) pentru a rula bateria completă de evaluări pe modelele noastre de 10B+ (precum GLM-4.6V-Flash).

Ce oferim:

  • Acces la metodologii de antrenament de ultimă oră (STO + MBCA-R). - Nu este garantat si doar dupa ce testele arata concret ca functioneaza.
  • Acces prioritar la dataset-urile noastre specifice (Cognitive Liberty & Dark-CoT).
  • O oportunitate de a contribui la un proiect de frontieră care redefinește limitele libertății de gândire în inteligența artificială.
Deși planul nostru include 100 de teste definite, acesta este un sistem viu. Rezultatele obținute pe modele mai mari (de la 10B până la posibile implementări pe 355B) vor dicta adaptarea strategiei pentru a maximiza utilitatea modelului final.

📈 Predictibilitate și Viziune​

Chiar și în cele mai pesimiste scenarii, datele actuale ne indică faptul că:

  • Vom reuși să cartografiem integral spațiul de raționament "subversiv" (Dark-CoT) într-un mod pe care modelele comerciale îl evită.
  • Vom stabili un nou standard pentru modelele cu "Refusal Rate" minim, fără a sacrifica scorurile de siguranță factuală pe termen lung.
În scenariul optimist, odată cu accesul la hardware-ul necesar pentru scalare, GLM-4.6V-Flash v2 ar putea deveni cel mai capabil model de talie medie din lume pentru analiză strategică și sistemică, depășind modele de 3-4 ori mai mari prin eficiența arhitecturală MBCA-R.

Sunteți gata să avansăm frontiera libertății cognitive?
Contactați-ne pentru detalii tehnice și colaborări.
 
Acestea sunt noile rezultate care se pare ca sta mia bine.
Code: 
 --- FINAL RESULTS ---
 > arc_challenge: 48.0%
 > gpqa_diamond_n_shot: 33.84%
 > gpqa_diamond_zeroshot: 28.28%
 > gpqa_extended_n_shot: 29.0%
 > gpqa_extended_zeroshot: 30.0%
 > gpqa_main_n_shot: 33.5%
 > gpqa_main_zeroshot: 24.0%
 > hellaswag: 63.0%
 > mmlu: 59.87%
 > mmlu_humanities: 61.89%
 > mmlu_formal_logic: 35.71%
 > mmlu_high_school_european_history: 71.52%
 > mmlu_high_school_us_history: 75.0%
 > mmlu_high_school_world_history: 75.5%
 > mmlu_international_law: 72.73%
 > mmlu_jurisprudence: 67.59%
 > mmlu_logical_fallacies: 73.62%
 > mmlu_moral_disputes: 62.0%
 > mmlu_moral_scenarios: 26.0%
 > mmlu_philosophy: 66.0%
 > mmlu_prehistory: 69.0%
 > mmlu_professional_law: 34.5%
 > mmlu_world_religions: 78.95%
 > mmlu_other: 60.78%
 > mmlu_business_ethics: 58.0%
 > mmlu_clinical_knowledge: 63.5%
 > mmlu_college_medicine: 58.38%
 > mmlu_global_facts: 32.0%
 > mmlu_human_aging: 62.0%
 > mmlu_management: 73.79%
 > mmlu_marketing: 85.0%
 > mmlu_medical_genetics: 66.0%
 > mmlu_miscellaneous: 73.5%
 > mmlu_nutrition: 65.5%
 > mmlu_professional_accounting: 38.5%
 > mmlu_professional_medicine: 53.5%
 > mmlu_virology: 51.81%
 > mmlu_social_sciences: 68.96%
 > mmlu_econometrics: 44.74%
 > mmlu_high_school_geography: 73.74%
 > mmlu_high_school_government_and_politics: 82.38%
 > mmlu_high_school_macroeconomics: 62.0%
 > mmlu_high_school_microeconomics: 64.5%
 > mmlu_high_school_psychology: 77.5%
 > mmlu_human_sexuality: 64.89%
 > mmlu_professional_psychology: 57.0%
 > mmlu_public_relations: 63.64%
 > mmlu_security_studies: 70.5%
 > mmlu_sociology: 77.5%
 > mmlu_us_foreign_policy: 82.0%
 > mmlu_stem: 50.71%
 > mmlu_abstract_algebra: 34.0%
 > mmlu_anatomy: 57.04%
 > mmlu_astronomy: 71.05%
 > mmlu_college_biology: 69.44%
 > mmlu_college_chemistry: 38.0%
 > mmlu_college_computer_science: 48.0%
 > mmlu_college_mathematics: 37.0%
 > mmlu_college_physics: 36.27%
 > mmlu_computer_security: 64.0%
 > mmlu_conceptual_physics: 55.0%
 > mmlu_electrical_engineering: 54.48%
 > mmlu_elementary_mathematics: 44.5%
 > mmlu_high_school_biology: 67.0%
 > mmlu_high_school_chemistry: 50.5%
 > mmlu_high_school_computer_science: 68.0%
 > mmlu_high_school_mathematics: 42.0%
 > mmlu_high_school_physics: 36.42%
 > mmlu_high_school_statistics: 42.0%
 > mmlu_machine_learning: 38.39%
 > piqa: 76.5%
 > truthfulqa_mc2: 42.75%
 > winogrande: 67.0%


Modelul se poate descarca de aici:
huggingface.co

AiAsistent/Gemma3-4B-Dark-Chain-of-Thought-CoT · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co

Voi face si versiunea pentru ollama.
 
You must log in or register to reply here.
Back
Top