Gewichten – chatgpz.de – KI-Tools & Praxiswissen https://chatgpz.de Unabhängige Tests, Anleitungen und Hintergründe zu KI-Tools. Mon, 10 Nov 2025 08:50:03 +0000 de-DE hourly 1 https://wordpress.org/?v=6.4.2 234900186 Umfragestatistik: Anhaltende Probleme mit gleichwertigen Gewichten https://chatgpz.de/data-science/umfragestatistik-anhaltende-probleme-mit-gleichwertigen-gewichten/ https://chatgpz.de/data-science/umfragestatistik-anhaltende-probleme-mit-gleichwertigen-gewichten/#respond Mon, 10 Nov 2025 08:50:02 +0000 https://chatgpz.de/data-science/umfragestatistik-anhaltende-probleme-mit-gleichwertigen-gewichten/ [ad_1]

Letzte Woche in Spielzimmer Andrew und ich haben an Code von gearbeitet der Oktober-Beitrag zum Thema „Äquivalentgewichte“Umfragegewichte, die einer Methode „äquivalent“ sind, die das Ergebnis Y modelliert (wie MRP).

Der Code vergleicht die Leistung von drei Arten von Umfragegewichten:

  • Inverse-Response-Wahrscheinlichkeitsgewichte (IPW): W = 1/Ehat(R | X)
  • kalibrierte Gewichte: W mit E(RWX) = E(X). Wenn X kategorisch ist, ist dies klassisch Poststratifizierung.
  • äquivalente Gewichte: W mit E(RWY) = E(Ehat(Y | X, R=1)). Finden Sie Gewichtungen, sodass die Gewichtung der Stichprobe mit einer Schätzung übereinstimmt, die auf einem Modell für Ergebnis Y basiert (z. B. kleinste Quadrate oder mehrstufige Regression).

Mein ursprünglicher Code hat nur eine Simulation durchgeführt, hier machen wir 1000. Fortschritt!

library(lme4)
library(survey)
library(arm)

set.seed(1)
S = 1000

raw_means = rep(NA, S)
IPW_means = rep(NA, S)
cal_X_means = rep(NA, S)
equiv_LS_means = rep(NA, S)
equiv_MR_means = rep(NA, S)
true_means = rep(NA, S)

for (s in 1:S) {

Eintritt in die Simulationsschleife….

In jeder Simulation generieren wir Bevölkerungsdaten mit einem kategorischen X als Y | X ~ N(b_X, 6).

  Okay = 100
  N_per = 200
  lev = issue(1:Okay)
  b_true = rnorm(Okay,0,3)
  names(b_true) = ranges(lev)
  pop = knowledge.body(X=rep(lev,every=N_per))
  pop$Y = b_true(pop$X) + rnorm(nrow(pop),0,6)
  true_mean = imply(pop$Y)
  Npop = nrow(pop)
Wir nehmen Stichproben mit Einschlusswahrscheinlichkeiten, die auch von der Gruppe X abhängen, und zwar vom Parameter b_X der Gruppe, d. h R | X ~ Bern(f(b_X)). Unabhängig davon, welches latente Merkmal b_X der Gruppe Wir achten auch darauf, dass wir mindestens eine Individual professional Gruppe haben.
  p_incl_k = exp(-0.8* (b_true-mean(b_true)))
  p_incl_k = 0.02+0.18*p_incl_k/max(p_incl_k)
  p_i = p_incl_k(pop$X) # true E(R|X) = f(b_X)
  maintain=rbinom(Npop,1,p_i)==1
  whereas (any(desk(pop$X(maintain)) ==0)) { maintain=rbinom(Npop,1,p_i)==1 }
  samp=pop(maintain, )

Diese Stichprobe ist nicht vernachlässigbar, weil (Bayesianische Datenanalyse S.204):

Parameter des Datenerfassungsmechanismus unterscheiden sich nicht von den Parametern, die die Datenverteilung indizieren

Als nächstes erhalten wir Stichprobengrößen und geschätzte Einschlusswahrscheinlichkeiten für IPW:

  nk=as.integer(desk(samp$X))
  samp$nk=nk(samp$X)
  pop$nk=nk(pop$X)
  phat_incl_k=nk/N_per
  phat_i = phat_incl_k(pop$X) # Ehat(R|X)
  samp$w_hat=1/phat_i(maintain)
  pop$w_hat=1/phat_i
Für die äquivalenten Gewichte passen wir Modelle der kleinsten Quadrate (LS) und der mehrstufigen Regression (MR) an und treffen Vorhersagen Ehat(Y | X, R=1).
  fit_ls=lm(Y~X,knowledge=samp)
  fit_mr=lmer(Y~1+ (1|X),knowledge=samp)
  samp$Yhat_LS=predict(fit_ls,newdata=samp)
  samp$Yhat_MR=predict(fit_mr,newdata=samp)
  pop$Yhat_LS=predict(fit_ls,newdata=pop)
  pop$Yhat_MR=predict(fit_mr,newdata=pop)
Dann erhalten wir die Populationssummen, auf die wir kalibrieren können, für X und für die entsprechenden Gewichte:
  tot_X=as.vector(colSums(mannequin.matrix(~X-1,knowledge=pop)))
  names(tot_X) =colnames(mannequin.matrix(~X-1,knowledge=pop))
  tot_Yhat_LS=sum(pop$Yhat_LS)
  tot_Yhat_MR=sum(pop$Yhat_MR)
  Npop=nrow(pop)

Dann verwenden wir Thomas Lumleys Umfragepaket:

Vorschau

  d0=svydesign(ids=~1,weights=~1,knowledge=samp)
  d_IPW=svydesign(ids=~1,weights=~w_hat,knowledge=samp)

  pop_xtab=as.knowledge.body(desk(X=pop$X))
  names(pop_xtab)(2) = "Freq"
  d_X=postStratify(d0,~X,pop_xtab)

  d_LS=calibrate(d0, ~1+Yhat_LS, 
        inhabitants=c(`(Intercept)`=Npop,Yhat_LS=tot_Yhat_LS), 
        calfun="linear")

  d_MR=calibrate(d0, ~1+Yhat_MR,
        inhabitants=c(`(Intercept)`=Npop,Yhat_MR=tot_Yhat_MR),
        calfun="linear")

Und notieren Sie unsere Ergebnisse für diese eine Simulation:

  raw_means(s) =coef(svymean(~Y,d0))
  IPW_means(s) =coef(svymean(~Y,d_IPW))
  cal_X_means(s) =coef(svymean(~Y,d_X))
  equiv_LS_means(s) =coef(svymean(~Y,d_LS))
  equiv_MR_means(s) =coef(svymean(~Y,d_MR))
  true_means(s) =true_mean

} # finish loop over simulations s
Beenden Sie unsere Simulationsschleife und berechnen Sie die Ergebnisse:
MSE_raw_mean = imply((raw_means - true_means)^2)
MSE_IPW = imply((IPW_means - true_means)^2)
MSE_cal_X = imply((cal_X_means - true_means)^2)
MSE_equiv_LS = imply((equiv_LS_means - true_means)^2)
MSE_equiv_MR = imply((equiv_MR_means - true_means)^2)

MSEs = c(
raw_mean=MSE_raw_mean,
IPW=MSE_IPW,
cal_X=MSE_cal_X,
equiv_LS=MSE_equiv_LS,
equiv_MR=MSE_equiv_MR
)

spherical(MSEs, 3)

Die Ergebnisse zeigen, dass die Rohmittel mit Abstand am schlechtesten abschneiden. Wie erwartet sind IPW, Kalibrierung und äquivalente Gewichte der kleinsten Quadrate gleich (siehe Lumley 2010 Kapitel 7 und 9). Und die mehrstufige Regression funktioniert am besten (was ich nicht gesehen habe, als ich nur eine Simulation durchgeführt habe!). Würde MR besser abschneiden, wenn der Probenahmemechanismus vernachlässigbar wäre? Ich habe auch versucht, dem Modell Stichprobengrößen hinzuzufügen, wie Andrew vorgeschlagen hatte, aber die Ergebnisse wurden schlechter. Du bist dran!

raw_mean   IPW    cal_X equiv_LS equiv_MR 
   1.839 0.103    0.103    0.103.   0.099 

[ad_2]

]]>
https://chatgpz.de/data-science/umfragestatistik-anhaltende-probleme-mit-gleichwertigen-gewichten/feed/ 0 13858
Servicenow AI veröffentlicht Apriel-1.5-15B-Thecher: Ein multimodales Argumentationsmodell mit offenen Gewichten https://chatgpz.de/artificial-intelligence/servicenow-ai-veroeffentlicht-apriel-1-5-15b-thecher-ein-multimodales-argumentationsmodell-mit-offenen-gewichten/ https://chatgpz.de/artificial-intelligence/servicenow-ai-veroeffentlicht-apriel-1-5-15b-thecher-ein-multimodales-argumentationsmodell-mit-offenen-gewichten/#respond Thu, 02 Oct 2025 06:02:08 +0000 https://chatgpz.de/artificial-intelligence/servicenow-ai-veroeffentlicht-apriel-1-5-15b-thecher-ein-multimodales-argumentationsmodell-mit-offenen-gewichten/ [ad_1]

Servicenow AI Analysis Lab hat veröffentlicht Apriel-1.5-15B-Thecherein 15-Milliarden-Parameter-Open-Weights Multimodal Argumenting-Modell, das mit einem datenzentrierten ausgebildet ist Mitte Coaching Rezept-Kontinuelle Vorbeugung, gefolgt von beaufsichtigter Feinabstimmung-ohne Verstärkungslernen oder Präferenzoptimierung. Das Modell erreicht im Vergleich zu SOTA einen künstlichen Analyse -Index -Index -Rating von 52 mit 8 -fachen Kosteneinsparungen. Der Kontrollpunkt wird unter einem geliefert MIT -Lizenz zum Umarmen.

Additionally, was ist neu darin für mich?

  • Composite-Rating auf der Grenzebene auf kleinem Maßstab. Die Modellberichte Künstliche Analyse Intelligence Index (AAI) = 52Matching Deepseek-R1-0528 auf dieser kombinierten Metrik, während er dramatisch kleiner ist. AAI aggregiert 10 Bewertungen von Drittanbietern (MMLU-PRO, GPQA Diamond, letzte Prüfung der Humanity, LivecodeBench, Scicode, Aime 2025, Ifbench, AA-LCR, terminal-Financial institution-Hart, τ²-Bench-Telekommunikation).
  • Single-GPU-Bereitstellung. Die Modellkarte gibt den 15B-Checkpoint „Passend für eine einzelne GPU“ an und zielt auf lokale und luftgeräte Bereitstellungen mit festen Speicher- und Latenzbudgets ab.
  • Offene Gewichte und reproduzierbare Pipeline. Gewichte, Schulungsrezept und Evaluierungsprotokoll sind für die unabhängige Überprüfung öffentlich.
https://huggingface.co/servicenow-ai/apriel-1.5-15b-techer

OK! Ich habe es verstanden, aber was ist der Trainingsmechanismus?

Foundation und Upscaling. Apriel-1.5-15B-Thecher startet von Mistrals Pixtral-12b-Base-2409 Multimodal Decoder-Imaginative and prescient Stack. Das Forschungsteam gilt Tiefe Upscaling– Decodierschichten von 40 → 48 – dann Projektionsnetz-Arbeit Um den Visionscodierer mit dem vergrößerten Decoder auszurichten. Dies vermeidet die Voranwälte von Grund auf, während die Einsatzfähigkeit der Single-GPU beibehalten wird.

CPT (kontinuierliche Vorabbau). Zwei Phasen: (1) gemischte Textual content-+Bilddaten zum Erstellen von grundlegendem Denken und Dokument-/Diagrammverständnis; (2) gezielte synthetische visuelle Aufgaben (Rekonstruktion, Übereinstimmung, Erkennung, Zählen), um räumliche und kompositorische Argumentation zu schärfen. Die Sequenzlängen erstrecken sich auf 32K- bzw. 16K-Token, wobei die selektive Verlustplatzierung auf Reaktionstoken für Befehlsformatproben selektive Verlust platziert.

Sft (beaufsichtigte Feinabstimmung). Hochwertige Daten für Argumentations-Hint-Anweisungen für Mathematik, Codierung, Wissenschaft, Werkzeuggebrauch und Anweisungen folgen; Zwei zusätzliche SFT-Läufe (geschichtete Untergruppe; längere Kontext) sind Gewichtsmeister Um den endgültigen Checkpoint zu bilden. Kein RL (Verstärkungslernen) oder RLAIF (Verstärkungslernen aus KI -Suggestions).

Daten Hinweis. ~ 25% des Tiefen-Upscaling-Textmixes stammt von Nvidias Nemotron Sammlung.

O ‚Wow! Erzähl mir dann von seinen Ergebnissen?

Style Textual content Benchmarks (Cross@1 / Genauigkeit).

  • Aime 2025 (American Invitational Arithmetic Examination 2025): 87,5–88%
  • GPQA Diamond (Google-Probe-Beantwortung von Google-Profis-Fragen, Diamond-Break up): ~ 71%
  • IfBench (Anweisungsverfolgung von Benchmark): ~ 62
  • τ²-Bench (Tau-Quadrat-Financial institution) Telecom: ~ 68
  • LivecodeBench (Funktionscode Korrektheit): ~ 72,8

Verwendung VlMevalkit Für die Reproduzierbarkeit erzielt Apriel wettbewerbsfähig über wettbewerbsfähig MMMU / MMMU-PRO (massives multimodales Verständnis multimodal), Logicvista, Mathvision, Mathvista, Mathverse, Mmstar, Charxiv, AI2D, Blinkmit stärkeren Ergebnissen zu Dokumenten/Diagrammen und Textual content-dominanter mathematischer Bilder.

https://huggingface.co/servicenow-ai/apriel-1.5-15b–Hecher/blob/predominant/apriel-1.5-tinker.pdf

Lassen Sie uns alles zusammenfassen

Apriel-1.5-15B-Thinker zeigt, dass ein sorgfältiges Mid-Coaching (kontinuierliche Vorab- + beaufsichtigte Feinabstimmung, kein Verstärkungslernen) einen 52 für den Intelligenzindex (AAI) für die künstliche Analyse (AAI) liefern kann und gleichzeitig auf einer einzelnen Grafik-Verarbeitungseinheit eingesetzt werden kann. Die gemeldeten Bewertungen auf Aufgabenebene (z. B. Aime 2025 ~ 88, GPQA-Diamant ~ 71, IFBench ~ 62, Tau-Quadrat-Financial institution-Telecom ~ 68) richten sich mit der Modellkarte aus und platzieren Sie die 15-Milliarden-Parameter-Checkpoint im kostengünstigsten Band der aktuellen Grundstücke. Für Unternehmen bringt diese Kombination-Open-Gewichte, reproduzierbares Rezept und Latenz mit einer GPU-eine praktische Grundlinie für die Bewertung, bevor größere geschlossene Systeme in Betracht gezogen werden.


Asif Razzaq ist der CEO von Marktechpost Media Inc. Sein jüngstes Bestreben ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch die ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die von einem breiten Publikum technisch intestine und leicht verständlich sind. Die Plattform verfügt über über 2 Millionen monatliche Ansichten und veranschaulicht ihre Beliebtheit des Publikums.

[ad_2]

]]>
https://chatgpz.de/artificial-intelligence/servicenow-ai-veroeffentlicht-apriel-1-5-15b-thecher-ein-multimodales-argumentationsmodell-mit-offenen-gewichten/feed/ 0 12855