YZ eğitimini (machine training) anlatan güzel bir yazı

[Celalettin Penbe]

Google Bard (Gemini) özelinde yazılmış bir makaleye rast geldim, içinde çok ilginç bilgiler var, aşağıda mesela "pre-training"i anlatan kısmını ve YZ çevirisini bulabilirsiniz:

"Bard is powered by one of our most capable large language models, and, similar to most LLMs today, was pre-trained on a variety of data from publicly available sources. This pre-training allows the model to learn to pick up on patterns in language and use them to predict the next probable word or words in a sequence. For example, as an LLM learns, it can predict that the next word in “peanut butter and ___’’ is more likely to be “jelly” than, say, “shoelace.” However, if an LLM picks only the most probable next word, it will lead to less creative responses. So LLMs are often given flexibility to pick from reasonable, albeit slightly less probable, choices in order to generate more interesting responses. It’s worth noting that — although LLMs can at times perform well on factual prompts and create the impression of retrieving information — they are neither information databases nor deterministic information retrieval systems. So while a user can expect exactly the same and consistent response to a database query (one that is a literal retrieval of the information stored in it), the response from an LLM to the same prompt will not necessarily be the same every time (nor will it necessarily be a literal retrieval of the information it was trained on); all this is a result of the LLM’s underlying mechanism of predicting the next word. This is also an important factor in why LLMs can generate plausiblesounding responses that can at times contain factual errors."
------
Bard, en yetenekli büyük dil modellerimizden biri tarafından desteklenmektedir ve günümüzdeki çoğu LLM'ye benzer şekilde, kamuya açık kaynaklardan elde edilen çeşitli veriler üzerinde önceden eğitilmiştir. Bu ön eğitim, modelin dildeki kalıpları yakalamayı öğrenmesini ve bunları bir dizideki bir sonraki olası kelimeyi veya kelimeleri tahmin etmek için kullanmasını sağlar. Örneğin, bir LLM öğrendikçe, "fıstık ezmesi ve ___" ifadesinde bir sonraki kelimenin "jöle" olma olasılığının "ayakkabı bağı" olma olasılığından daha yüksek olduğunu tahmin edebilir. Bununla birlikte, bir LLM yalnızca en olası sonraki kelimeyi seçerse, daha az yaratıcı yanıtlara yol açacaktır. Bu nedenle, daha ilginç yanıtlar üretebilmek için LLM'lere genellikle makul, ancak biraz daha az olası seçenekler arasından seçim yapmaları için esneklik tanınır. Şunu da belirtmek gerekir ki -her ne kadar LLM'ler zaman zaman olgusal istemlerde iyi performans gösterebilse ve bilgi alma izlenimi yaratabilse de- bunlar ne bilgi veritabanları ne de deterministik bilgi alma sistemleridir. Dolayısıyla, bir kullanıcı bir veritabanı sorgusuna tam olarak aynı ve tutarlı bir yanıt bekleyebilirken (içinde depolanan bilginin birebir geri getirilmesi), bir LLM'nin aynı sorguya verdiği yanıt her seferinde aynı olmayacaktır (eğitildiği bilginin birebir geri getirilmesi de olmayacaktır); tüm bunlar LLM'nin altında yatan bir sonraki kelimeyi tahmin etme mekanizmasının bir sonucudur. Bu aynı zamanda LLM'lerin neden zaman zaman olgusal hatalar içerebilen makul yanıtlar üretebildiğinin de önemli bir faktörüdür.
Translated with DeepL.com (free version)

Makalenin tamamı: https://ai.google/static/documents/google-about-bard.pdf

ps1: Gemini web: https://gemini.google.com

ps2: Gemini Android app: https://play.google.com/store/apps/details?id=com.google.android.apps.bard
ps3: Gemini etkinliğini kontrol etme ve silme:
https://myactivity.google.com/product/gemini