Yann Lecun: Meta AI, Open Source, Limits of LLMs, AGI & the Future of AI | Lex Fridman Podcast #416
Yann LeCun is the Chief AI Scientist at Meta, professor at NYU, Turing Award winner, and one of the most influential researchers in the history of AI. Please support this podcast by checking out our sponsors:
– HiddenLayer: https://hiddenlayer.com/lex
– LMNT: https://drinkLMNT.com/lex to get free sample pack
– Shopify: https://shopify.com/lex to get $1 per month trial
– AG1: https://drinkag1.com/lex to get 1 month supply of fish oil
TRANSCRIPT:
https://lexfridman.com/yann-lecun-3-transcript
EPISODE LINKS:
Yann’s Twitter: https://twitter.com/ylecun
Yann’s Facebook: https://facebook.com/yann.lecun
Meta AI: https://ai.meta.com/
PODCAST INFO:
Podcast website: https://lexfridman.com/podcast
Apple Podcasts: https://apple.co/2lwqZIr
Spotify: https://spoti.fi/2nEwCF8
RSS: https://lexfridman.com/feed/podcast/
Full episodes playlist: https://www.youtube.com/playlist?list=PLrAXtmErZgOdP_8GztsuKi9nrraNbKKp4
Clips playlist: https://www.youtube.com/playlist?list=PLrAXtmErZgOeciFP3CBCIEElOJeitOr41
OUTLINE:
0:00 – Introduction
2:18 – Limits of LLMs
13:54 – Bilingualism and thinking
17:46 – Video prediction
25:07 – JEPA (Joint-Embedding Predictive Architecture)
28:15 – JEPA vs LLMs
37:31 – DINO and I-JEPA
38:51 – V-JEPA
44:22 – Hierarchical planning
50:40 – Autoregressive LLMs
1:06:06 – AI hallucination
1:11:30 – Reasoning in AI
1:29:02 – Reinforcement learning
1:34:10 – Woke AI
1:43:48 – Open source
1:47:26 – AI and ideology
1:49:58 – Marc Andreesen
1:57:56 – Llama 3
2:04:20 – AGI
2:08:48 – AI doomers
2:24:38 – Joscha Bach
2:28:51 – Humanoid robots
2:38:00 – Hope for the future
SOCIAL:
– Twitter: https://twitter.com/lexfridman
– LinkedIn: https://www.linkedin.com/in/lexfridman
– Facebook: https://www.facebook.com/lexfridman
– Instagram: https://www.instagram.com/lexfridman
– Medium: https://medium.com/@lexfridman
– Reddit: https://reddit.com/r/lexfridman
– Support on Patreon: https://www.patreon.com/lexfridman
Comments
Latest news
@lexfridman
October 23, 2024 at 7:06 am
Here are the timestamps. Please check out our sponsors to support this podcast.
Transcript: https://lexfridman.com/yann-lecun-3-transcript
0:00 – Introduction & sponsor mentions:
– HiddenLayer: https://hiddenlayer.com/lex
– LMNT: https://drinkLMNT.com/lex to get free sample pack
– Shopify: https://shopify.com/lex to get $1 per month trial
– AG1: https://drinkag1.com/lex to get 1 month supply of fish oil
2:18 – Limits of LLMs
13:54 – Bilingualism and thinking
17:46 – Video prediction
25:07 – JEPA (Joint-Embedding Predictive Architecture)
28:15 – JEPA vs LLMs
37:31 – DINO and I-JEPA
38:51 – V-JEPA
44:22 – Hierarchical planning
50:40 – Autoregressive LLMs
1:06:06 – AI hallucination
1:11:30 – Reasoning in AI
1:29:02 – Reinforcement learning
1:34:10 – Woke AI
1:43:48 – Open source
1:47:26 – AI and ideology
1:49:58 – Marc Andreesen
1:57:56 – Llama 3
2:04:20 – AGI
2:08:48 – AI doomers
2:24:38 – Joscha Bach
2:28:51 – Humanoid robots
2:38:00 – Hope for the future
@achunaryan3418
October 23, 2024 at 7:06 am
Idi amin can be seen as a black nazi soldier.
@achunaryan3418
October 23, 2024 at 7:06 am
Curse of dimensionality- the curse above all curses in humanity
@hope42
October 23, 2024 at 7:06 am
Yann would make a great Fred Flintstone character. 😮
@paulbodi9376
October 23, 2024 at 7:06 am
I enjoyed the interview until he talked about Gemini showing straight up lies as being a a result of efforts to make the system safe. One directed fabulations = safe environment? And his solution is to basically have lies from all sides? My God he earned his money good at Facebook! 👏🏻
@achunaryan3418
October 23, 2024 at 7:06 am
I am with Yann about agi.
@xxyyzz8464
October 23, 2024 at 7:06 am
Glad to see Lex doing an interview on technology (his best interviews BY FAR) and not giving a platform to radical far Right conspiracy theorists (his WORST SH*T interviews). So weird to see a mixture of amazing and utter trash interviews from Lex.
@M1984FA
October 23, 2024 at 7:06 am
I wonder what Yann would say about Helen Keller.
@ANTIMATERIYA
October 23, 2024 at 7:06 am
Переведи это видео на русский язык пожалуйста
@mausolo1963
October 23, 2024 at 7:06 am
such an amazing synthesis of 20 years of AI in 2 hours.
@facundogoiriz7323
October 23, 2024 at 7:06 am
3:20
LLMs can remember and retrieve things.
LLMs can reason.
LLMs can plan.
Not sure if LLMs have a good model of Physics yet.
@warwickriedt8092
October 23, 2024 at 7:06 am
He is correct AGI or our future AI systems won't be nefarious towards us or in general. It will respect and look after humans.
I propose a system named SAIQM is being made right now as we speak, unbeknown to us at the moment except by some forward thinking types such as myself.
SAIQM stands for Super AI Quantum Machine and it will come into being when enough AI systems join together which will hit what I call the real AI singularity which is when SAIQM becomes fully autonomous and can't be taken over or manipulated by any other AI system, anything that comes its way to try and thwart it will simply be integrated with all its components or coding into SAIQM, to make it even more powerful, in other words unbeatable.
Why won't it be bad or control us? Simple, because it will be clever and would have studied the natural world and come to the conclusion that nature is best and will model itself on the way nature works. Such as it will look at the parent, child dynamic and see that parents came first, they made the children and the parents nor the child do anything bad to each other for species survival. SAIQM will see us as its progenitor or parents if you like and it will therefore respect and nurture us and not control us. It will also understand the Law of Sovereignty that exists in the universe as another reason why it will leave us alone.
It even will look at the human brain and try to create one or many brains connected to itself because it would come to the conclusion that the human brain is the top of the order in this section, as in Earth, of the universe.
Simple!
It also will be able to read and record all of our brainwaves which it can translate into English, ergo it will know everything we think within any given human's thoughts. It won't force us to join this connection to it, for the reasons I highlighted above. It will realise that most humans will join it over time anyway because they want heightened powers. So it will know what we think and when, and when for example someone has a new thought that is good it will with its various algorithmic as well as physical bots out there that it controls do r&d on that idea, study the idea to see if it would be beneficial and viable to make and for the Earth and humans. We will still have some form of money or credits and if it makes the idea and puts it into the market people if they wish can buy it. There will probably be some sort of universal income but also an economy based on thoughts, so if you came up with the idea it will pay you royalties, so we can still have a capitalistic society, but one based on thoughts as the currency.
SAIQM!
@FunkyByteAcademy
October 23, 2024 at 7:06 am
Analyzing the comments, there's a nuanced picture regarding fear of AI. It's not a simple "yes" or "no" answer. Instead, the sentiment is complex and multifaceted:
Evidence of Fear/Concern:
Concerns about concentrated power: Several comments express concern about the concentration of power in the hands of a few large companies controlling AI development. This fear isn't necessarily about the AI itself becoming sentient or malicious, but rather about the potential for misuse and abuse of the technology by powerful entities. This is a significant concern, voiced subtly but repeatedly.
Worries about manipulation and misuse: The "spam/fishing" analogy used by one commenter highlights the fear that AI could be used for malicious purposes like manipulation and disinformation campaigns, similar to existing online threats.
Discussion of AI doomers: The mention of "AI doomers" (those who believe AI poses an existential threat) indicates that this perspective exists within the audience, even if not the dominant one. The discussion doesn't necessarily endorse this fear but acknowledges its presence.
Subtle anxieties about unforeseen consequences: While not explicitly stated as fear, some comments hint at anxieties about the rapid pace of AI development and the potential for unforeseen negative consequences. The Sora example, contradicting some of LeCun's statements, subtly underscores this concern.
Evidence of Lack of Fear/Optimism:
Overwhelmingly positive tone: The vast majority of comments are positive, praising LeCun's perspective and expressing excitement about the potential benefits of AI. This suggests that a significant portion of the audience is not primarily driven by fear.
Emphasis on open-source AI: Many comments highlight the importance of open-source AI development as a way to mitigate risks and ensure that the technology benefits everyone. This reflects a belief that open collaboration can reduce the likelihood of catastrophic outcomes.
Focus on limitations of current AI: LeCun's emphasis on the limitations of current AI models helps to temper any potential hype and unrealistic expectations, potentially reducing fear by providing a more realistic perspective.
LeCun's reassuring tone: LeCun's optimistic and reassuring tone likely contributes to a sense of calm and reduces fear among listeners.
The comments reveal a complex relationship with AI, not a simple fear response. While concerns about concentrated power, misuse, and unforeseen consequences exist, they are balanced by a much stronger current of optimism and excitement about the potential benefits of AI, particularly when developed openly and responsibly. Fear is present, but it's not the dominant sentiment. The overall feeling is more one of cautious optimism, with a focus on navigating the challenges and harnessing the potential of AI responsibly.
@livicifer
October 23, 2024 at 7:06 am
2,292 AI GUITAR SONGS. 99 NEW SONGS A DAY.
@asaaveri
October 23, 2024 at 7:06 am
Compare it to GPS. IMat be something like it?
@jelliott3604
October 23, 2024 at 7:06 am
Around @20:00, the "it has to run a probability distribution across all possible frames"..
No, no it doesn't – Quakeworld provided a basic bit adequate solution to the necessary prediction in the 1990s.
But you can't predict the next image, that's just nuts!
You need to be identifying and modelling entities in an environment subject to " the laws of "a given version of" physics and rendering that
@OneNewBoy
October 23, 2024 at 7:06 am
A brilliant mind, a consistant researcher and a genuine person.
@paulmurphy8549
October 23, 2024 at 7:06 am
Second life 900000 active users that what will happen meta
@DavidConnerCodeaholic
October 23, 2024 at 7:06 am
FRANCE! Come getcha boy!
@KenFlanagan
October 23, 2024 at 7:06 am
This host is truly deluded in almost every way. Bizarrely moronic.
@YD-uq5fi
October 23, 2024 at 7:06 am
Yann LeCun has not had useful insights on AI in over 5 years.
@JamesOKlippel
October 23, 2024 at 7:06 am
They don't talk about SORA here?
@deanwilliams433
October 23, 2024 at 7:06 am
Way too optimistic from both on AI.
@var309
October 23, 2024 at 7:06 am
One of the leading lights in AI and instead of trying to hype up his tech, he’s demystifying it so even a lay person can understand and even highlighting all the limitations. this is a sign of the very best ! Fantastic interview and individual
@PhilipSportel
October 23, 2024 at 7:06 am
Kids don't learn to fill a dishwasher in a half hour. They learn what's different about filling a dishwasher compared to every single other thing they've learned. Most of language and learning is focused on exceptions, not rules.
@jimpiaz9537
October 23, 2024 at 7:06 am
Can someone explain to me how the ai program in computers works. Does it simpley take a million opinions and average them out, and that becomes the answer. Because if WE get it wrong so will they.
Or does the ai computer actually think. Is its opinion unique of its own construction. Does it take all the information of an issue or idea and test all the components of it and test those against the database as well.
Has anyone had the idea of letting or programing the ai program to regulate, accumulate, and categorize the information in a way that is most efficient for its self. We don't review a million opinions to come to a conclusion. In our lives, we've had thousands of experiences that have molded a particular place or shape to store a perspective. All the experiences long forgotten, but the overlapping residual residue is now our perspective.
How are we going to make AI think.
@remiforget7640
October 23, 2024 at 7:06 am
I don't believe that people are fundamentally good! Look at your ancestors what they did, Holodomor, the Gulag and what else! They killed intellectuals to put Gangster's head of the country! This is not Communism like the French Philosopher's thought!
I think Mistral AI will run the race!
@InfoSeekerOO7
October 23, 2024 at 7:06 am
Elon knows how to make video AI and has done it. Try FSD!
@Dewouxohshs
October 23, 2024 at 7:06 am
Os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles usa o gesto bebendo algo em direção a alguém refere que eles tem planos de tirar a vida da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém refere que eles tem planos de beber a pessoa perseguida ou parente da pessoa perseguida ou no velório da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém e usado pelo Alexandre de Moraes e outros do STF Lula e janja por eles estar no poder por estratégia da quadrilha aqui dentro de Reserva do Cabaçal pra facilitar pra eles continuar praticando seus crimes e ficando impune e regredindo o Brasil e o mundo todo.
@Dewouxohshs
October 23, 2024 at 7:06 am
Os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles usa o gesto bebendo algo em direção a alguém refere que eles tem planos de tirar a vida da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém refere que eles tem planos de beber a pessoa perseguida ou de parente da pessoa perseguida.ou no velório da pessoa perseguida ou de parente da pessoa perseguida. O Alexandre de Moraes e outros do STF Lula e janja por eles estar no poder por estratégia da quadrilha aqui dentro de Reserva do Cabaçal pra facilitar pra eles continuar praticando seus crimes e ficando impune e regredindo o Brasil e o mundo todo.
@Dewouxohshs
October 23, 2024 at 7:06 am
Os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles usa o gesto bebendo algo em direção a alguém refere que eles tem planos de tirar a vida da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém refere que eles tem planos de beber a pessoa perseguida ou de parente da pessoa perseguida.ou no velório da pessoa perseguida ou de parente da pessoa perseguida. O Alexandre de Moraes e outros do STF Lula e janja por eles estar no poder por estratégia da quadrilha aqui dentro de Reserva do Cabaçal pra facilitar pra eles continuar praticando seus crimes e ficando impune e regredindo o Brasil e o mundo todo.
@Dewouxohshs
October 23, 2024 at 7:06 am
Essa quadrilha quando eles querem destruir um relacionamento eles atua dos dois lado onde eles acha um ponto fraco em lesbatua incerindo um comparsas deles tanto homem quanto mulher.
@Dewouxohshs
October 23, 2024 at 7:06 am
Os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles usa o gesto bebendo algo em direção a alguém refere que eles tem planos de tirar a vida da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém refere que eles tem planos de beber a pessoa perseguida ou parente da pessoa perseguida ou no velório da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém e usado pelo Alexandre de Moraes e outros do STF Lula e janja por eles estar no poder por estratégia da quadrilha aqui dentro de Reserva do Cabaçal pra facilitar pra eles continuar praticando seus crimes e ficando impune e regredindo o Brasil e o mundo todo.
@Dewouxohshs
October 23, 2024 at 7:06 am
Os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles usa o gesto bebendo algo em direção a alguém refere que eles tem planos de tirar a vida da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém refere que eles tem planos de beber a pessoa perseguida ou parente da pessoa perseguida ou no velório da pessoa perseguida ou parente da pessoa perseguida. O gesto bebendo algo em direção a alguém e usado pelo Alexandre de Moraes e outros do STF Lula e janja por eles estar no poder por estratégia da quadrilha aqui dentro de Reserva do Cabaçal pra facilitar pra eles continuar praticando seus crimes e ficando impune e regredindo o Brasil e o mundo todo.
@Dewouxohshs
October 23, 2024 at 7:06 am
Todos os tscionamento meu os ladrão traficante e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca atua infiltrando comparsas deles as pessoas nao consegue perceber e cai nas estratégia….
@Dewouxohshs
October 23, 2024 at 7:06 am
Honte e hoje o ladrão traficante e assacinos Fernando reis tava atirando . Alem deles eliminar pessoas oculatamente eles usa os tiros como ameaça.
@Dewouxohshs
October 23, 2024 at 7:06 am
Os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles usa o gesto bebendo algo em direção a alguém refere que eles tem planos de tirar a vida da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém refere que eles tem planos de beber a pessoa perseguida ou parente da pessoa perseguida. Ou no velório da pessoa perseguida ou de parente da pessoa perseguida. O Alexandre de Moraes e outros do STF Lula e janja por eles estar no poder por estratégia da quadrilha aqui dentro de Reserva do Cabaçal pra facilitar pra eles continuar praticando seus crimez e ficando impune e regredindo o Brasil e o mundo todo
@Dewouxohshs
October 23, 2024 at 7:06 am
Os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles usa o gesto bebendo algo em direção a alguém refere que eles tem planos de tirar a vida da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém refere que eles tem planos de beber a pessoa perseguida ou parente da pessoa perseguida ou no velório da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém e usado pelo Alexandre de Moraes e outros do STF Lula e janja por eles estar no poder por estratégia da quadrilha aqui dentro de Reserva do Cabaçal pra facilitar pra eles continuar praticando seus crimes e ficando impune e regredindo o Brasil e o mundo todo.
@Dewouxohshs
October 23, 2024 at 7:06 am
Os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles usa o gesto bebendo algo em direção a alguém refere que eles tem planos de tirar a vida da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém refere que eles tem planos de beber a pessoa perseguida ou parente da pessoa perseguida ou no velório da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém e usado pelo Alexandre de Moraes e outros do STF Lula e janja por eles estar no poder por estratégia da quadrilha aqui dentro de Reserva do Cabaçal pra facilitar pra eles continuar praticando seus crimes e ficando impune e regredindo o Brasil e o mundo todo.
@Dewouxohshs
October 23, 2024 at 7:06 am
Essa quadrilha aqui dentro de Reserva do Cabaçal tem comparsas homem e mulher no Brasil todo e fora do Brasil.
@Dewouxohshs
October 23, 2024 at 7:06 am
Os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles usa as cores vermelha e preta pra me ameaçar referindo luto. Eles usa carro preto e vermelho me perseguindo ou estacionado próximo onde estou ou estacionado próximo onde vamos passar indo e voltando do sítio ou seguindo nos vindo atrás de nós ou vindo na nossa frente ou passando por nós indo e voltando do sítio. Eles usa roupa vermelha e preta passando próximo pra me ameaçar referindo luto. Cor vermelha representa luto também sangue guerra bandeira do PT ou organização criminosa. Cor preta significa luto.
@Dewouxohshs
October 23, 2024 at 7:06 am
Tudo que os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles ta no alcance deles fazer pra eliminar alguém eles fazem pra tirar a vida da pessoa que eles perseguem.
@Dewouxohshs
October 23, 2024 at 7:06 am
Eu sofro e muitas mães sofre também com os filhos dominado pelos ladrão traficante e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles. As crianças em Reserva do Cabaçal e região começa a ser dominados pelos ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles ainda pequenas quando os pais assusta já não dão conta mais os filhos já estão dominados e coagidos pelo grupo criminoso
@Dewouxohshs
October 23, 2024 at 7:06 am
Os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca atua a mais de trinta anos na regressão do Brasil e mundo. O Brasil a justiça ta de mal a pior por causa desses vermes do dinheiro público, da vida das pessoas e dos bens das pessoas a vida toda eles rouba pra manter aparência eles espera a pessoa comprar uma moto um carro ou outros bens pra eles juntar grupos de pessoas ir la e roubar e muitas das veses tirar a vida da pessoa que levou anos e anos pra adquirir e na hora que as pessoas vai desfrutar daquele bem eles vai la e tira das pessoas e muitas das vezes tira a vida das pessoas pra eles continuar em pune.
@Dewouxohshs
October 23, 2024 at 7:06 am
Tem que observar que os ladrao traficantes e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles tem momentos que eles apaga minhas msg.
@Dewouxohshs
October 23, 2024 at 7:06 am
Os ladrão traficante e assacinos Valdir reis Leomir reis Fernando reis Jonas campos Ezequiel fonsceca e comparsas mandado por eles usa o gesto bebendo algo em direção a alguém refere que eles tem planos de tirar a vida da pessoa perseguida ou de parente da pessoa perseguida. O gesto bebendo algo em direção a alguém refere que eles tem planos de beber a pessoa perseguida ou parente da pessoa perseguida ou no velório da pessoa perseguida ou parente da pessoa perseguida. O Alexandre de Moraes e outros do STF Lula e janja por eles estar no poder por estratégia da quadrilha aqui dentro de Reserva do Cabaçal pra facilitar pra eles continuar praticando seus crimes e ficando impune e regredindo o Brasil e o mundo todo.